ما المقصود بالإشراف على المحتوى؟

الإشراف على المحتوى هو الطريقة التي تقرر بها المنصة، على نطاق واسع، أي الرسائل والصور والملفات التي يرسلها المستخدمون ستصل إلى مستخدمين آخرين — وأيها سيُحظر أو يُعلَّم أو يُعلَّق بانتظار مراجعة بشرية. والتحدي يبقى دائمًا نفسه: إن كان الإشراف متساهلًا أكثر من اللازم، فإن الرسائل المزعجة والتحرش والمحتوى غير القانوني تطرد المستخدمين الحقيقيين؛ وإن كان صارمًا أكثر من اللازم، فإنك تدفن المنشورات المشروعة تحت وطأة النتائج الإيجابية الخاطئة. كل منصة تعتمد على محتوى ينشئه المستخدمون تقع في موضع ما على هذا الطيف، سواء كانت تمارس الإشراف عن قصد أو يحدث ذلك عَرَضًا.

يتولى Discuse نصف القرار المتعلق بـالاكتشاف. فاستدعاء API واحد يعيد تفصيلًا بحسب الفئات — الرسائل المزعجة، والسمّية، وNSFW، والبرمجيات الخبيثة، واللغة — مع درجة ثقة لكل فئة، بحيث تبقى العتبات والإجراءات مملوكة للكود الخاص بك. أنت تحتفظ بالتحكم في السياسة؛ وتتولى API التصنيف.

ما الذي تقرره فعليًا

يجيب نظام الإشراف عن ثلاثة أسئلة لكل قطعة محتوى:

1. هل هذا ضار، وكيف؟ ليس الأمر نعم/لا — بل درجة لكل فئة، لأن الرسالة الواحدة قد تكون رسالة مزعجة خفيفة و سامة بوضوح في الوقت نفسه.
2. ما مدى ثقة النموذج؟ درجة سمّية 0.98 تختلف تمامًا عن 0.55 من حيث القرار. يعيد Discuse درجة الثقة لتتمكن من اتخاذ إجراء تلقائي في الحالات الواضحة وتوجيه الحالات الرمادية الملتبسة إلى إنسان.
3. ماذا تفعل أنت حياله؟ الحظر، أو الوسم الخفي، أو الإرسال إلى طابور المراجعة، أو السماح. هذه سياسة، وتبقى بين يديك.

الفئات التي يصنفها Discuse:

Category	What it catches	Example
الرسائل المزعجة	الترويج غير المرغوب فيه، والاحتيال، ومزارع الروابط	"🎁 You won! Claim at bit.ly/…"
السمّية	التحرش، وخطاب الكراهية، والتهديدات	الإهانات الموجهة، ونشر المعلومات الشخصية، والتهديد بالعنف
NSFW	صور البالغين أو الصور الصادمة	العري، والمواد الإباحية، والمشاهد الدموية
البرمجيات الخبيثة	الملفات والروابط الخبيثة	المرفقات المصابة، وروابط التصيد
اللغة	اللغة التي كُتبت بها الرسالة	التوجيه، وقواعد اللغة المحلية، والتحقق من اللغة المتوقعة

الإشراف المسبق مقابل الإشراف اللاحق

أول اختيار حقيقي هو متى تُجري الفحص.

الإشراف المسبق — افحص المحتوى قبل أن يصبح مرئيًا. لا يُعرض أي محتوى ضار مطلقًا، لكن كل منشور ينتظر رحلة ذهاب وإياب إلى API، لذلك يناسب الأسطح التي يُقبل فيها تأخير قصير (فحص النص سريع؛ أما فحص الصورة أو الملف فيستغرق وقتًا أطول لأن URL يجب جلبه وتحليله). استخدمه للحالات عالية المخاطر: أول منشورات الحسابات الجديدة تمامًا، والرسائل المباشرة إلى الغرباء، وأي شيء حساس قانونيًا.

الإشراف اللاحق — انشر فورًا، وافحص في الخلفية، ثم أزِل المحتوى بعد ذلك. التجربة فورية للمستخدم، لكن المحتوى الضار يكون منشورًا لفترة وجيزة. استخدمه عندما تكون السرعة مهمة ويكون التعرض لبضع ثوانٍ منخفض المخاطر (المستخدمون الموثوقون، والقنوات منخفضة الحساسية).

تشغّل معظم المنصات كلا الأسلوبين وتختار حسب السطح وحسب المستخدم: تُنشر رسالة العضو الموثوق فورًا، بينما يُعلّق أول رابط من حساب جديد حتى يجتاز الفحص.

آلي، بشري، أم كلاهما

المراجعة البشرية الخالصة لا تتوسع وتُرهق الناس عند التعامل مع أسوأ أنواع المحتوى. أما الأتمتة الخالصة فهي سريعة ومتسقة، لكنها تخطئ في الحالات الملتبسة فعلًا — فالكلمات نفسها قد تكون مزحة في سياق وتهديدًا في سياق آخر.

النهج الأكثر صمودًا هو التقسيم حسب نطاقات الثقة: دع النموذج يتخذ القرار تلقائيًا في الحالات الواضحة، وأرسل فقط المنطقة الوسطى غير المؤكدة إلى البشر.

• ثقة عالية (مثلًا أعلى من 0.95): السماح التلقائي أو الإزالة التلقائية.
• ثقة متوسطة (تقريبًا 0.5–0.95): النشر أو التعليق، مع الإضافة إلى طابور المراجعة البشرية.
• ثقة منخفضة: السماح، مع أخذ عينات للمراقبة.

بهذا يتركز انتباه البشر على الشريحة الصغيرة من المحتوى التي تضيف فيها الخبرة الحكمية قيمة حقيقية، بدلًا من الأغلبية التي يتعامل معها النموذج بالفعل بشكل صحيح. يتناول تكوين العتبات كيفية اختيار هذه النطاقات لمنصتك.

البدء مع Discuse

يتيح Discuse كل ذلك عبر نقطة نهاية واحدة. أرسل نصًا أو URLs لصور أو ملفات؛ واحصل في المقابل على فئات ودرجات وعلامة has_violations واحدة:

curl -X POST https://api.discuse.com/api/v2/check \
  -H "Content-Type: application/json" \
  -H "X-API-Key: YOUR_API_KEY" \
  -d '{
    "content": {
      "text": "Hello, this is a test message!"
    }
  }'

بعد ذلك تطبق عتباتك وإجراءاتك الخاصة. يتيح لك دليل البدء السريع تشغيل تكامل عملي خلال بضع دقائق، ويتناول دليل الإشراف على المحتوى بالذكاء الاصطناعي بنية التقسيم حسب نطاقات الثقة بتعمق.