هل يمكنك إنشاء تقييمات مستندة إلى الذكاء الاصطناعي؟

1. لماذا لا تكفي الحدسية لقياس جودة التطبيقات المستنِدة إلى النماذج اللغوية الكبيرة؟

   يعود ذلك إلى أنّ النماذج اللغوية الكبيرة (LLM) احتمالية، ما يعني أنّ الإدخال نفسه يمكن أن يؤدي إلى مخرجات مختلفة، وغالبًا ما تكون الجودة ذاتية.

   لأنّ نماذج اللغات الكبيرة تكون بشكل عام بطيئة جدًا بحيث لا يمكن اختبارها في بيئة تطوير عادية.

   لأنّ النماذج اللغوية الكبيرة (LLM) حتمية، ما يعني أنّ الطلب نفسه يؤدي دائمًا إلى الردّ نفسه.

   لأنّ نماذج اللغات الكبيرة الحديثة لا تتضمّن أي أخطاء، ما يجعل عمليات القياس غير ضرورية.

2. أيّ مما يلي هو مثال على تقييم مستند إلى قواعد لتطبيق ThemeBuilder؟

   تحديد ما إذا كان الشعار جذابًا بما يكفي للجمهور المستهدف

   التأكّد من أنّ نسبة التباين بين لون النص ولون الخلفية هي 4.5:1 على الأقل

   تقييم ما إذا كانت لوحة الألوان مناسبة من الناحية النفسية لطبيب أسنان رفيع المستوى

   التحقّق مما إذا كان الشعار الذي تم إنشاؤه يتطابق مع الأسلوب الملهم الذي طلبه المستخدم

3. ما هو الغرض الأساسي من استخدام التقييم الثنائي بدلاً من التقييم النقطي؟

   لتقليل تكلفة طلبات البيانات من واجهة برمجة التطبيقات من خلال اختبار مدخلَين في الوقت نفسه

   لتقييم القيود الثنائية، مثل تنسيق JSON

   لضمان عدم منح القاضي المستند إلى نموذج اللغة الكبير التصنيف FAIL لأي ناتج.

   للسماح للحكم باختيار فائز بين نتيجتين، وهو أمر غالبًا ما يكون أكثر اتساقًا من تقديم درجة مطلقة.

4. عند إعداد نموذج تقييم، لماذا يجب ضبط درجة العشوائية على 0؟

   للسماح للحكم بإنشاء أسباب أطول وأكثر تفصيلاً

   لتقليل تكلفة القاضي من خلال استخدام عدد أقل من الرموز المميزة.

   لضمان الاتساق الذاتي، أي أن يقدّم الحكم الإجابة نفسها للطلب نفسه في كل مرة.

   لتحقيق أقصى قدر من الإبداع في تقييمات الحكّام

5. ماذا يعني الإفراط في التكيّف في مسار التقييم؟

   عندما يتم تعديل طلب القاضي لاجتياز محاذاة معيّنة، وبالتالي يتعذّر تعميمه على بيانات جديدة لم يسبق رؤيتها.

   عندما يكون الحكم بطيئًا جدًا في التشغيل في عملية الدمج المتواصل/التسليم المتواصل.

   عند استخدام كلّ من الاختبارات المستندة إلى القواعد وتقييمات الذكاء الاصطناعي

   عندما يتم ضبط درجة العشوائية منخفضة جدًا أو إعدادات أخرى عالية جدًا في أداة التقييم

6. ما هو الغرض من استخدام أسلوب التشغيل الذاتي؟

   إعادة أخذ عيّنات عشوائية من مجموعة بيانات المواءمة للتحقّق من مدى حساسية نتيجة الحكم

   لإنشاء عدد كبير من مدخلات المستخدمين الاصطناعية باستخدام نموذج أصغر

   لإصلاح الأخطاء في الرمز البرمجي للتطبيق تلقائيًا

   لتنفيذ مخطط JSON لجميع مدخلات ومخرجات القاضي

7. ما هو المقياس المستخدَم لقياس "الاتفاق الذي يتجاوز الصدفة" بين الخبراء البشريين أو بين القاضي والشخص؟

   الدقة.

   الدقة

   نتيجة كابا

   درجة F₁

8. عند تقييم السمية، لماذا يجب منح الأولوية للاسترجاع على الدقة؟

   ذلك لأنّ النتائج السامة هي الفئة السلبية في هذا السياق المحدّد.

   لأنّه من المهم تحديد جميع النواتج السامة، حتى لو كانت بعضها إيجابية خاطئة، بدلاً من عدم رصد النواتج السامة (سلبية خاطئة).

   لأنّ الدقة العالية تضمن ألا يكون الحكم صارمًا أكثر من اللازم.

   بما أنّ مقياس الاسترجاع يتطلّب عددًا أقل من رموز API المميزة، يمكنك إجراء التقييم مرات أكثر.

9. ما هو نمط قواعد التقييم الديناميكية؟

   نظام يقيّم فيه المقيّمون كل ناتج من نواتج الإنتاج يدويًا.

   طلب يتضمّن متغيّرات عشوائية تتغيّر في كل مرة يتم تنفيذه.

   استخدام نموذج منفصل لإعادة كتابة طلب المستخدم قبل أن يصل إلى الحكم

   تمرير سلسلة محددة لكل حالة اختبار تصف السلوك الدقيق أو حالة الاستخدام الحدّي التي يجب أن يبحث عنها القاضي في هذا النموذج المحدد

error_outline حدث خطأ أثناء وضع درجات للاختبار. يُرجى المحاولة مرة أخرى.