كيف تُقيّمون جودة العربية في نظام ذكاء اصطناعي قبل شرائه؟

يتكرر النمط نفسه في الخليج: يعرض مورّد نظام ذكاء اصطناعي بالإنجليزية، فيبهر الأداء الحضور، ويوقَّع العقد — وبعد ثلاثة أشهر تصبح التجربة العربية محرجة بصمت. يتحول المواطنون إلى الواجهة الإنجليزية، ويتوقف الموظفون عن استخدام المساعد، وتتلقى مصداقية البرنامج ضرراً لا تصلحه عروض تقديمية.

لا شيء من هذا مفاجئ متى عرفتم كيف تُبنى هذه الأنظمة. فمعظمها دُرّب أساساً على الإنجليزية، وقُيّم على اختبارات إنجليزية، وغُلّف بمرشحات أمان ضُبطت على الإنجليزية. وقدرة النماذج بالعربية تتفاوت تفاوتاً هائلاً بين نموذج وآخر — وبين إصدارات النموذج الواحد. والجواب الموثوق الوحيد هو أن تقيسوا بأنفسكم، على أحمال عملكم، قبل الالتزام.

لماذا العربية أصعب فعلاً؟

تطرح العربية تحديات هندسية محددة تسيء الأنظمة العامة التعامل معها:

• الازدواجية اللغوية. الفصحى الحديثة واللهجات الخليجية المحكية تختلفان اختلافاً جوهرياً. النظام المدرَّب على نصوص الأخبار يقرأ الوثائق الرسمية بقبول، ثم يتعثر أمام رسالة مواطن بأسلوب واتساب.
• خلط اللغات. التواصل الخليجي الواقعي يمزج العربية والإنجليزية في الجملة الواحدة — وكثيراً ما تأتي أسماء المنتجات والتواريخ والمصطلحات التقنية بالحرف اللاتيني داخل نص عربي. وهنا ينكسر الفهم والاستخراج بانتظام.
• تنوع الرسم الإملائي. الكلمة الواحدة تظهر بالهمزة أو دونها، وبمعالجات مختلفة للتاء المربوطة، وبالتشكيل أو بغيره. والأسماء تُكتب لاتينياً بعشرات الصور. والمطابقة الساذجة تفشل بصمت.
• المصطلحات الرسمية. للمفردات الحكومية والمصرفية والسريرية صيغ عربية معتمدة. والنموذج الذي يرتجل ترجماته يُنتج نصاً لا تستطيع فرقكم القانونية والإعلامية نشره.
• التقويمان والأرقام. التواريخ الهجرية والميلادية، والأرقام المشرقية والمغربية — كلها تتعايش، وغالباً في مستند واحد.

ابنوا مجموعة التقييم من حركة استخدامكم أنتم

الاختبارات العربية العامة أفضل من لا شيء، لكنها تقيس الشيء الخطأ: الأداء على توزيع بيانات شخص آخر. أما التقييم الذي يتنبأ بنتيجتكم فيُبنى من موادكم أنتم:

1. اختاروا عينة من 150 إلى 300 حالة حقيقية من العمل الذي تشترون النظام من أجله — استفسارات مواطنين، عقود، مطالبات، رسائل — تغطي اللغتين والخليط بينهما.
2. أدرجوا الحالات الصعبة عمداً: اللهجة، والأخطاء الإملائية، والمستندات الممسوحة، والنص المختلط، والوثائق الطويلة. حركة الإنتاج فوضوية؛ فليكن تقييمكم كذلك.
3. لكل حالة، دوّنوا شكل المخرج الصحيح قبل الاختبار. فالحكم اللاحق ينزلق نحو التساهل.
4. كلّفوا مراجعين ثنائيي اللغة بتقييم المخرجات على مقياس بسيط — صحيح، صالح بتحرير، خاطئ، ضار — وتتبعوا الدرجات منفصلة للفصحى واللهجة والنص المختلط.

مئتا حالة حسنة الاختيار مُقيَّمة بأمانة تخبركم أكثر من أي لوحة تصنيف.

قيّموا النظام لا النموذج

من أخطاء الشراء الشائعة تقييم النموذج الأساسي بينما الذي تشترونه نظام كامل: نموذج مع استرجاع مع أوامر مع مرشحات مع معالجة لاحقة. وكل طبقة قادرة على إنقاذ جودة العربية أو إفسادها. فالاسترجاع المضبوط على متجهات إنجليزية سيجلب المستندات الخطأ مهما بلغت جودة النموذج؛ ومرشح الأمان المضبوط على الإنجليزية سيحجب استفسارات عربية مشروعة بنسب مفاجئة — وهي حالة فشل نغطيها في عملنا الأمني أيضاً لأنها تقطع في الاتجاهين.

اختبروا النظام من طرفه إلى طرفه، عبر الواجهة التي سيستخدمها جمهوركم فعلاً، باللغتين، وبالصرامة نفسها.

اجعلوا الأرقام تعاقدية

التقييم ليس أداة اختيار فحسب — بل ورقة تفاوض. اكتبوا الدرجات في العقد: حداً أدنى مقبولاً للدقة على مجموعة تقييمكم عند الاستلام، وحقاً في إعادة تشغيل المنظومة بعد كل تحديث كبير مع تعويضات إن تراجعت الجودة. المورّدون الواثقون من عربيتهم يقبلون ذلك بسهولة. والمورّدون الذين يقاومون يخبرونكم بشيء مفيد.

«العربية أولاً» ليست شعاراً في هذه المنطقة؛ بل شرط أساسي لأي نظام يواجه المواطنين أو الموظفين. المؤسسات التي تقيس قبل أن تشتري تنتهي بذكاء اصطناعي يستخدمه الناس فعلاً — باللغتين. أما التي وثقت بالعرض الإنجليزي فتنتهي بكتابة دراسة الحالة التي لا يرغب أحد في بطولتها.