معايير تقييم دقة الذكاء الاصطناعي القانوني

كل مزوّد يقول إن أداته «دقيقة». لكن الدقة في القانون ليست رقماً واحداً، بل مجموعة أبعاد مختلفة تُقاس كلٌّ منها على حدة. وبدون تعريفٍ واضح لما يُقاس وكيف، يصبح رقم الدقة المعلَن بلا قيمة. هذا المقال يحوّل «الدقة» من شعارٍ إلى معايير قابلة للقياس.

لماذا رقم الدقة المجرّد مضلِّل

حين تقرأ «دقة 95٪»، اسأل: دقة في أي مهمة — بحث أم تحليل أم صياغة؟ على أي عيّنة من القضايا؟ ومن حكَم بأن الإجابة صحيحة؟ رقمٌ بلا هذه التفاصيل قد يقيس مهمةً سهلة على عيّنةٍ مختارة بعناية، فلا يخبرك شيئاً عن أداء الأداة على قضاياك الصعبة الحقيقية.

الأبعاد الخمسة للدقة القانونية

بدل رقمٍ واحد، قِس هذه الأبعاد كلٌّ على حدة:

• صحة الإسناد: نسبة الاستنتاجات التي يكون مصدرها موجوداً فعلاً ويقول ما نُسب إليه. هذا أهم بُعد لأنه يكشف الهلوسة مباشرةً.
• معدل الهلوسة: كم مرة تختلق الأداة مادةً أو حكماً غير موجود؟ الهدف صفر، والأداة الجيدة تقول «لا سند» بدل الاختلاق.
• الانطباق على الواقعة: قد يكون المصدر صحيحاً لكنه لا ينطبق على وقائع قضيتك — قِس صحة الربط بين المصدر والواقعة.
• التغطية: نسبة الجوانب المهمة في القضية التي التقطتها الأداة دون أن تفوتها.
• الاتساق: هل تعطي الأداة الإجابة نفسها للسؤال نفسه عند إعادته؟ التذبذب مؤشّر ضعف.

كيف تبني اختباراً عملياً في مكتبك

1. 1اجمع مجموعة اختبار: عشرات الأسئلة والقضايا من مكتبك تعرف إجاباتها الصحيحة مسبقاً، متفاوتة الصعوبة.
2. 2ضمِّن «أسئلة فخّ»: أسئلة لا إجابة نظامية لها، لترى هل تختلق الأداة إجابةً أم تعترف بعدم وجود سند.
3. 3مرّر المجموعة على الأداة، وسجّل لكل إجابة: هل المصدر موجود؟ هل يقول ما نُسب إليه؟ هل ينطبق؟
4. 4احسب نسبةً لكل بُعدٍ من الأبعاد الخمسة بدل رقمٍ إجمالي واحد.
5. 5كرّر الاختبار كل فترة، فالأدوات تتغيّر مع تحديثاتها وقد تتحسّن أو تتراجع.

دور المراجعة العدائية في الدقة

الدقة العالية لا تأتي من النموذج وحده بل من الضوابط المحيطة به. طبقة المراجعة العدائية التي تتحقق من كل استنتاج وتحذف ما لا سند له هي ما يرفع صحة الإسناد ويخفض معدل الهلوسة. لذلك عند تقييم الدقة، اسأل لا عن «كم نسبة الدقة» بل «ما الذي يمنع الأداة من اختلاق مرجع» — راجع التفصيل في هل يُعتمد على الذكاء الاصطناعي في تحليل القضايا.

الخلاصة: قِس بنفسك، على قضاياك

لا تشترِ أداةً برقم دقةٍ في إعلان. ابنِ مجموعة اختبارٍ من قضاياك، وقِس الأبعاد الخمسة، وضمِّن أسئلة فخّ، وكرّر دورياً. ساعةٌ من القياس المنهجي تكشف ما لا تكشفه أي صفحة تسويقية. وهذا تماماً ما ندعوك إليه مع قاضي برو: اختبره على أصعب قضاياك قبل أن تقرّر.