تصنيف البيانات للمترجمين

ما هو تصنيف البيانات؟

تصنيف البيانات (Data Annotation) هو عملية إضافة علامات (Labels) وتفسيرات لبيانات خام بهدف تعليم نموذج ذكاء اصطناعي كيف يفهم اللغة ويتخذ القرارات الصحيحة. هو الجسر بين النص العادي ونموذج AI ذكي.

لماذا التصنيف ضروري؟

أنواع التصنيف التي يحتاجها المترجم

ست فئات رئيسية تغطي كل احتياجات شركات الترجمة وتدريب AI.

🔍 تطبيق عملي: تصنيف NER

📊 Translation Quality Labels

معايير الجودة: IAA & Cohen's Kappa

IAA = Inter-Annotator Agreement: نسبة الاتفاق بين مصنّفَين مختلفَين على نفس البيانات. كلما ارتفع، كلما كان التصنيف أكثر موثوقية وصلاحية للتدريب.

تفسير قيمة Cohen's Kappa (κ)

حساب Kappa بـ Python

from sklearn.metrics import cohen_kappa_score

# تصنيفات المصنّف الأول والمصنّف الثاني لنفس الجمل
annotator_1 = ['PER', 'ORG', 'LOC', 'PER', 'DATE', 'PER']
annotator_2 = ['PER', 'ORG', 'LOC', 'ORG', 'DATE', 'PER']

kappa = cohen_kappa_score(annotator_1, annotator_2)
print(f"Cohen's Kappa: {kappa:.3f}")
# Output: Cohen's Kappa: 0.737  →  جيد جداً

لماذا Guidelines مهمة؟

تجهيز البيئة: تثبيت Python 3.11

قبل تثبيت Label Studio، لازم نتجهز ببيئة Python سليمة. هذه الخطوة مهمة جداً ولو تخطيتها هتقابل أخطاء غريبة لاحقاً.

⚡ الخطوة 1 — تثبيت Python Install Manager (PyManager)

PyManager هو الأداة الرسمية الجديدة من مايكروسوفت لإدارة إصدارات Python على Windows. هي الأنسب لإدارة عدة إصدارات على نفس الجهاز بدون تعارض. عندك طريقتان للتثبيت:

الطريقة الأولى: من Microsoft Store (واجهة رسومية)

1. افتح Microsoft Store من قائمة Start.
2. ابحث عن Python Install Manager.
3. اضغط Get / Install وانتظر اكتمال التحميل.

الطريقة الثانية: من سطر الأوامر (الأسرع)

افتح PowerShell أو CMD كمسؤول (Run as Administrator) ونفّذ:

# تثبيت PyManager بأمر واحد عبر winget
winget install 9P97S12CXL71

# بعد التثبيت، أغلق نافذة CMD وافتحها من جديد
# للتأكد إن PyManager اشتغل، نفّذ:
py help

⚡ الخطوة 2 — استعراض الإصدارات المتاحة

قبل تثبيت Python 3.11، شوف الإصدارات المتاحة:

# عرض كل الإصدارات المتاحة للتثبيت من الإنترنت
py list --online

# عرض الإصدارات المثبتة بالفعل على جهازك
py list

# ابحث في القائمة عن أحدث إصدار 3.11.x
# مثلاً: 3.11.9 (آخر إصدار مستقر من فرع 3.11)

⚡ الخطوة 3 — تثبيت Python 3.11

# تثبيت Python 3.11 (آخر إصدار مستقر)
py install 3.11

# أو حدد إصدار دقيق
py install 3.11.9

# تهيئة الإعدادات بعد أول تشغيل
py install --configure

# تأكد من نجاح التثبيت
py -3.11 --version
# المتوقع: Python 3.11.9

⚡ الخطوة 4 — اختيار مجلد العمل والانتقال إليه

قبل إنشاء البيئة الافتراضية، لازم نختار مجلد مناسب لمشروع Label Studio. تجنب وضع المشروع داخل C:\Windows\System32 (مجلد حساس).

الطريقة الأسهل: حيلة شريط العنوان

1. افتح File Explorer (مستعرض الملفات).
2. اذهب للمجلد اللي عاوز تحط فيه المشروع — مثلاً D:\ أو D:\MyProjects.
3. اضغط على شريط العنوان أعلى النافذة.
4. امسح ما فيه واكتب cmd ثم اضغط Enter.
5. هتفتح نافذة CMD موجهة مباشرة إلى ذلك المجلد. وفّرت عليك كل أوامر التنقل!

الطريقة البديلة: التنقل بأمر cd

لو فضّلت التنقل من سطر الأوامر مباشرة:

# 1) الانتقال للمجلد الرئيسي للمستخدم (آمن)
cd %userprofile%

# 2) الانتقال لقرص D (لاحظ النقطتين بدون cd)
D:

# 3) إنشاء مجلد جديد للمشروع
mkdir LabelStudioProject
cd LabelStudioProject

# 4) للتأكد من مكانك الحالي
cd
# المتوقع يطبع: D:\LabelStudioProject

⚡ الخطوة 5 — إنشاء بيئة افتراضية بـ Python 3.11

دلوقتي وأنت في مجلد المشروع، أنشئ بيئة معزولة:

# 1) إنشاء البيئة الافتراضية باستخدام Python 3.11
py -3.11 -m venv ls_stable_env

# 2) تنشيط البيئة (Windows)
ls_stable_env\Scripts\activate

# لاحظ ظهور (ls_stable_env) في بداية السطر
# دي علامة إن البيئة شغالة

# 3) للتأكد إن البيئة بتستخدم Python 3.11
python --version
# المتوقع: Python 3.11.9

# 4) تحديث pip لآخر إصدار
python -m pip install --upgrade pip

# macOS — استخدم Homebrew لتثبيت Python 3.11
brew install python@3.11

# Linux (Ubuntu/Debian)
sudo apt update
sudo apt install python3.11 python3.11-venv

# إنشاء البيئة الافتراضية
python3.11 -m venv ls_stable_env

# التنشيط على Mac/Linux
source ls_stable_env/bin/activate

# التأكد من الإصدار
python --version
# المتوقع: Python 3.11.x

⚡ الخطوة 6 — تثبيت Label Studio داخل البيئة

تأكد إن البيئة مُنشّطة (شايف (ls_stable_env) في بداية السطر) ثم نفّذ:

# تثبيت Label Studio (هياخد 2-5 دقايق حسب سرعة الإنترنت)
pip install label-studio

# تأكد من التثبيت
label-studio version

# تشغيل Label Studio لأول مرة
label-studio start

# المتصفح هيفتح تلقائياً على:
# http://localhost:8080

🔁 إعادة التشغيل لاحقاً

كل مرة تفتح المشروع من جديد، اتبع هذه الخطوات الـ 3 فقط:

# 1) افتح CMD في مجلد المشروع (حيلة شريط العنوان)

# 2) نشّط البيئة
ls_stable_env\Scripts\activate

# 3) شغّل Label Studio
label-studio start

# للخروج من البيئة لاحقاً
deactivate

🛠️ حل المشاكل الشائعة (Troubleshooting)

دليل Label Studio التفصيلي

الأداة الأشمل والأكثر مرونة في السوق. مجانية ومفتوحة المصدر، تعمل في المتصفح، وتدعم النصوص والصور والصوت والفيديو. هنشرحها من التثبيت إلى التصدير خطوة بخطوة.

⚡ الخطوة 1 — التثبيت

عندك ٣ طرق لتثبيت Label Studio. اختر اللي يناسبك:

الطريقة الأولى: pip (الأسرع)

# تأكد إن عندك Python 3.11 (مش 3.14)
python --version

# أنشئ بيئة افتراضية بـ Python 3.11 تحديداً
py -3.11 -m venv labelstudio_env       # Windows
python3.11 -m venv labelstudio_env     # Linux/Mac

# تنشيط البيئة
labelstudio_env\Scripts\activate       # Windows
source labelstudio_env/bin/activate    # Linux/Mac

# ثبّت Label Studio
pip install label-studio

# شغّله — هيفتح في المتصفح تلقائياً
label-studio start

الطريقة الثانية: Docker (الأنسب للفرق)

# سحب الصورة وتشغيلها في خطوة واحدة
docker run -it -p 8080:8080 \
  -v $(pwd)/mydata:/label-studio/data \
  heartexlabs/label-studio:latest

# ثم افتح في المتصفح:
# http://localhost:8080

الطريقة الثالثة: السحابة (بدون تثبيت)

⚡ الخطوة 2 — الدخول الأول وإنشاء حساب

1. افتح المتصفح روح على http://localhost:8080 هتظهر صفحة Sign Up.
2. سجّل حساب جديد أدخل Email + Password. (الحساب محلي على جهازك مش على الإنترنت).
3. دخول لوحة التحكم هتلاقي قائمة Projects فاضية — اضغط Create Project.

⚡ الخطوة 3 — إنشاء أول مشروع NER

1. Project Name مثلاً: Arabic_Legal_NER_v1. سمّي مشروعك بطريقة تعكس المحتوى والإصدار.
2. Data Import ارفع ملف TXT أو CSV أو JSON. كل سطر = جملة منفصلة هتصنّفها.
3. Labeling Setup اختر قالب جاهز: Named Entity Recognition من قسم Natural Language Processing.
4. تخصيص Labels احذف Labels الافتراضية (PER, ORG, LOC) وحطّ بتاعتك. لو نص قانوني: PER, ORG, LAW, DATE, MONEY, COURT.
5. Save Project اضغط Save — هتدخل صفحة Tasks الفاضية اللي فيها كل الجمل المرفوعة.

⚡ الخطوة 4 — تخصيص XML Config

Label Studio بيستخدم XML بسيط لتعريف الواجهة. ده مثال جاهز لتصنيف NER عربي مع 6 Labels:

<View>
  <Labels name="label" toName="text">
    <Label value="PER"   background="#FFB830"/>
    <Label value="ORG"   background="#00F0FF"/>
    <Label value="LOC"   background="#4ADE80"/>
    <Label value="DATE"  background="#8B5CFF"/>
    <Label value="MONEY" background="#FF8C42"/>
    <Label value="LAW"   background="#FF2BD6"/>
  </Labels>

  <!-- النص الذي سيتم تصنيفه -->
  <Text name="text" value="$text" granularity="word"/>
</View>

⚡ الخطوة 5 — التصنيف الفعلي

1. افتح أول Task اضغط على أي صف في قائمة Tasks، هتفتح صفحة التصنيف.
2. اختر Label اضغط على Label من اليمين (مثلاً PER) أو استخدم اختصار الكيبورد (1, 2, 3...).
3. حدد النص بالماوس، اسحب على الكلمات اللي تنتمي لهذا Label. هتلاقيها اتلونت بلون Label.
4. Submit لما تخلص الجملة، اضغط Submit — هتروح للجملة التالية تلقائياً.
5. اختصارات سريعة Ctrl+Enter للحفظ، Ctrl+Z للتراجع، Esc لإلغاء التحديد.

⚡ الخطوة 6 — إضافة فريق تصنيف (للحساب IAA)

1. Settings → Members من إعدادات المشروع، اضغط Members ثم Invite.
2. اختر دور المستخدم Annotator (يصنّف فقط) أو Reviewer (يراجع) أو Manager (يدير المشروع).
3. تفعيل Multiple Annotations من Settings → Quality، فعّل خيار Overlap of annotations وحدد عدد المصنّفين لكل Task (مثلاً 2 أو 3).
4. تشغيل IAA Calculation Label Studio بيحسب Cohen's Kappa تلقائياً ويعرض النتيجة في Dashboard.

⚡ الخطوة 7 — Pre-labeling بـ ML Backend

أقوى ميزة في Label Studio: ربط نموذج spaCy/HuggingFace ليصنّف تلقائياً قبل المراجعة البشرية. ده يوفر 60% من وقت التصنيف.

# 1. ثبّت Label Studio ML SDK
pip install label-studio-ml

# 2. أنشئ ML Backend جديد بـ spaCy
label-studio-ml init my_ner_backend \
  --script /path/to/spacy_ner.py

# 3. شغّل الـ Backend
label-studio-ml start my_ner_backend

# 4. اربطه بـ Label Studio:
# Project Settings → Machine Learning → Add Model
# URL: http://localhost:9090

⚡ الخطوة 8 — تصدير البيانات المصنّفة

Label Studio يدعم 9+ صيغ تصدير. الأكثر استخداماً للمترجمين:

💡 أهم النصائح لاستخدام Label Studio باحتراف

دليل Doccano — الأفضل للعربية

أداة ويب مجانية مفتوحة المصدر، أبسط من Label Studio لكن أسرع للمشاريع الصغيرة والمتوسطة. دعمها للعربية والـ RTL ممتاز من خارج الصندوق.

⚡ التثبيت السريع بـ Docker

# تشغيل Doccano في خطوة واحدة
docker run -d --name doccano \
  -e "ADMIN_USERNAME=admin" \
  -e "ADMIN_EMAIL=admin@example.com" \
  -e "ADMIN_PASSWORD=password" \
  -p 8000:8000 \
  doccano/doccano

# افتح في المتصفح: http://localhost:8000
# Login: admin / password

⚡ التثبيت بـ pip

pip install doccano

# إنشاء قاعدة البيانات
doccano init

# إنشاء مستخدم admin
doccano createuser --username admin --password pass123

# تشغيل الخادم
doccano webserver --port 8000

⚡ خطوات إنشاء مشروع NER عربي

1. Create Project → اختر النوع Sequence Labeling.
2. Project Name → مثلاً Arabic News NER.
3. Random Order → فعّله لتجنب التحيز في التصنيف.
4. Import Dataset → ارفع ملف TXT (كل سطر = جملة).
5. Define Labels → أضف: شخص (مفتاح 1)، منظمة (مفتاح 2)، مكان (مفتاح 3)، تاريخ (مفتاح 4).
6. Annotate → ابدأ التصنيف بضغط الأرقام + تحديد النص.
7. Export → JSONL أو CoNLL.

💡 مميزات Doccano

• دعم العربية والـ RTL ممتاز من البداية.
• واجهة بسيطة — أسهل من Label Studio للمبتدئين.
• سرعة عالية في تصنيف Sequence Labeling.
• دعم متعدد المستخدمين مع إدارة الأدوار.
• API REST كامل للتكامل مع Python.

دليل Prodigy — الأسرع في السوق

الأداة المدفوعة الوحيدة في القائمة، من فريق spaCy. أسرع أداة تصنيف بفضل نظام Active Learning الذي يعرض لك أصعب الأمثلة أولاً.

⚡ التثبيت

# تحتاج license key من prodigy.ai
pip install prodigy -f https://YOUR_LICENSE_KEY@download.prodi.gy

# تأكد من التثبيت
prodigy stats

⚡ تصنيف نصوص مع Active Learning

# تصنيف نصوص باستخدام نموذج جاهز
prodigy textcat.teach my_dataset en_core_web_lg \
  ./data.jsonl --label LEGAL,MEDICAL,FINANCIAL

# تصنيف NER على العربية
prodigy ner.manual ar_ner_data ar_core_news_md \
  ./arabic_texts.jsonl --label PER,ORG,LOC

# تدريب النموذج مباشرة من البيانات المصنّفة
prodigy train ./output --ner ar_ner_data \
  --base-model ar_core_news_md

💡 لماذا Prodigy تستحق السعر؟

• Active Learning — يوفر 80% من وقت التصنيف.
• Custom Recipes بـ Python — كود قصير لكل سيناريو.
• تدريب فوري — صنّف ودرّب وقيّم في يوم واحد.
• واجهة بسيطة — قبول/رفض بضغطة واحدة.

دليل INCEpTION — للأبحاث الأكاديمية

منصة أكاديمية-احترافية متخصصة في التصنيف اللغوي المتقدم. الأفضل لو شغال على بحث ماجستير/دكتوراه أو مشروع يحتاج Knowledge Graph.

⚡ التثبيت السريع

# INCEpTION يحتاج Java 11+
java --version

# تنزيل آخر إصدار
wget https://github.com/inception-project/inception/releases/latest/download/inception-app-standalone.jar

# التشغيل
java -jar inception-app-standalone.jar

# افتح: http://localhost:8080

💡 مميزات INCEpTION

• NER + Relation Extraction في واجهة واحدة.
• ربط الكيانات بـ Wikidata و DBpedia تلقائياً.
• تصنيف الخطاب (Discourse Analysis) — متفرد بهذه الميزة.
• Active Learning مدمج.
• دعم كامل للعربية والـ RTL.
• الموقع الرسمي: inception-project.github.io

دليل BRAT — البسيط والسريع

أداة ويب خفيفة لتصنيف النصوص. تصدر ملفات .ann بجانب ملفات .txt النصية مباشرة. مثالية للبحث الأكاديمي.

⚡ التثبيت

# استنساخ المستودع
git clone https://github.com/nlplab/brat.git
cd brat

# تشغيل سكربت التثبيت
./install.sh

# تشغيل خادم Python بسيط
python standalone.py

# افتح: http://localhost:8001

💡 لماذا BRAT؟

• سهل جداً وبدون إعداد معقد.
• تصنيف NER + Relations بالماوس.
• ملفات .ann قابلة للقراءة بالعين (تنسيق نصي بسيط).
• مستخدم في معظم الأبحاث الأكاديمية منذ 2012.
• الموقع الرسمي: brat.nlplab.org

التصنيف البرمجي بـ Python

للمشاريع الكبيرة (10K+ جملة)، الجمع بين التصنيف اليدوي الدقيق و التصنيف الآلي السريع هو الحل الأمثل. هنستخدم spaCy و HuggingFace لـ Pre-labeling.

🔥 spaCy NER Pre-labeling (إنجليزي وعربي)

import spacy
import json
from pathlib import Path

# تحميل النموذج
nlp = spacy.load('en_core_web_sm')
# للعربية: nlp = spacy.load('xx_ent_wiki_sm')

# قراءة الملف النصي
texts = Path('texts.txt').read_text(encoding='utf-8').splitlines()

annotations = []
for text in texts:
    doc = nlp(text)
    ents = [(e.start_char, e.end_char, e.label_) for e in doc.ents]
    annotations.append({
        'text': text,
        'entities': ents,
        'status': 'pre-labeled'
    })

# تصدير للمراجعة في Label Studio
with open('prelabeled.jsonl', 'w', encoding='utf-8') as f:
    for ann in annotations:
        f.write(json.dumps(ann, ensure_ascii=False) + '\n')

print(f"✓ تم تصنيف {len(annotations)} جملة آلياً")

🔥 HuggingFace Zero-Shot Classification

from transformers import pipeline

# تصنيف بدون تدريب مسبق — يدعم العربية
classifier = pipeline(
    'zero-shot-classification',
    model='joeddav/xlm-roberta-large-xnli'
)

texts = [
    'The contract is null and void.',
    'Payment was not received on time.',
    'The patient shows symptoms of fever.',
]
labels = ['legal', 'financial', 'medical', 'general']

for text in texts:
    result = classifier(text, labels)
    best_label = result['labels'][0]
    confidence = result['scores'][0]
    print(f"{text[:40]}...")
    print(f"  → {best_label} ({confidence:.2%})")

🔥 تحليل المشاعر للعربية بـ CAMeL-BERT

from transformers import pipeline

# نموذج عربي متخصص في تحليل المشاعر
sentiment = pipeline(
    'sentiment-analysis',
    model='CAMeL-Lab/bert-base-arabic-camelbert-msa-sentiment'
)

arabic_texts = [
    'العقد ممتاز وشروطه عادلة',
    'الخدمة سيئة جداً ولا أنصح بها',
    'تم استلام البضاعة في الموعد',
]

for text in arabic_texts:
    result = sentiment(text)[0]
    print(f"{text}")
    print(f"  → {result['label']} ({result['score']:.2%})\n")

🔥 محاذاة كلمات (Word Alignment) بـ awesome-align

# pip install simalign
from simalign import SentenceAligner

# استخدام نموذج XLM-R متعدد اللغات
aligner = SentenceAligner(
    model="xlm-roberta-base",
    token_type="bpe",
    matching_methods="mai"
)

src = "The contract was signed yesterday".split()
tgt = "تم توقيع العقد أمس".split()

alignments = aligner.get_word_aligns(src, tgt)
print("Alignments:", alignments['mwmf'])
# Output: [(0, 2), (1, 2), (2, 0), (3, 1), (4, 3)]

خط سير التصنيف الاحترافي

من البيانات الخام إلى Dataset جاهز للتدريب — 7 مراحل.

صيغ تصدير البيانات المصنّفة

كل صيغة لها استخدامها. اختر الصيغة حسب الـ Framework اللي هتدرّب عليه نموذجك.

📄 JSONL (الأكثر مرونة)

{
  "text": "Ahmed signed the contract.",
  "entities": [
    {"start": 0, "end": 5, "label": "PER"},
    {"start": 17, "end": 25, "label": "LEGAL_DOC"}
  ],
  "sentiment": "neutral",
  "quality_label": "Good",
  "annotator": "Sara.K",
  "iaa_score": 0.87
}

📄 CoNLL 2003 (المعيار الأكاديمي)

Token    POS    Label
-----------------------
Ahmed    NNP    B-PER
signed   VBD    O
the      DT     O
contract NN     B-LEGAL
.        .      O

The      DT     O
court    NN     B-ORG
ruled    VBD    O
yesterday RB    B-DATE
.        .      O

نصائح احترافية لمشاريع التصنيف

فرص العمل في سوق التصنيف

المترجم العربي مطلوب جداً في شركات AI العالمية بسبب ندرة المتخصصين في تصنيف اللغة العربية.

التدريبات العملية

5 تدريبات من سيناريوهات شركات الترجمة الحقيقية. كل تدريب يضيف قطعة لـ Portfolio احترافي.

مقارنة الأدوات — أي أداة تختار؟

ملخص المحاضرة