האם אתה יכול ליצור הערכות AI?

1. למה אינטואיציה היא דרך לא מספקת למדידת האיכות של אפליקציות מבוססות-LLM?

   הסיבה היא שמודלים מסוג LLM מבוססים על הסתברות, כלומר אותה הנחיה יכולה להוביל לפלטים שונים, והאיכות היא לרוב סובייקטיבית.

   הסיבה לכך היא שבדרך כלל מודלים גדולים של שפה פועלים לאט מדי כדי שאפשר יהיה לבדוק אותם בסביבת פיתוח רגילה.

   הסיבה היא שמודלים מסוג LLM הם דטרמיניסטיים, כלומר אותו קלט תמיד מוביל לאותו פלט.

   הסיבה לכך היא שלמודלים מודרניים מסוג LLM יש שיעורי שגיאה אפסיים, ולכן המדידות מיותרות.

2. איזו מהאפשרויות הבאות היא דוגמה להערכה מבוססת-כללים עבור האפליקציה ThemeBuilder?

   האם הסיסמה קליטה מספיק בשביל קהל היעד.

   צריך לוודא שיחס הניגודיות בין צבע הטקסט לצבע הרקע הוא לפחות 4.5:1.

   הערכה של התאמה פסיכולוגית של לוח צבעים לרופא שיניים יוקרתי.

   בודקים אם הסיסמה שנוצרה תואמת לטון המעורר שהמשתמש ביקש.

3. מה המטרה העיקרית של שימוש בהערכה זוגית במקום בהערכה נקודתית?

   כדי לצמצם את העלות של קריאות ה-API על ידי בדיקה של שני קלטים בו-זמנית.

   כדי להעריך אילוצים בינאריים כמו פורמט JSON.

   כדי לוודא שהשופט של ה-LLM אף פעם לא מקצה תוצאה של 'נכשל' לפלט.

   כדי לאפשר לשופט לבחור מנצח בין שני פלטים, מה שלרוב עקבי יותר מאשר לתת ציון מוחלט.

4. למה כדאי להגדיר את רמת האקראיות ל-0 כשמגדירים מודל שופט?

   כדי לאפשר לשופט ליצור נימוקים ארוכים ומפורטים יותר.

   כדי להוזיל את העלות של השופט על ידי שימוש בפחות טוקנים.

   כדי להבטיח עקביות עצמית, כך שהשופט יספק את אותה תשובה לאותה קלט בכל פעם.

   כדי למקסם את היצירתיות של הביקורות של השופט.

5. מה המשמעות של התאמת יתר בצינור ההערכה?

   כשההנחיה לשופט משתנה כדי לעבור התאמה מסוימת, ולכן היא לא מצליחה להכליל נתונים חדשים שלא נראו.

   כשהשופט איטי מדי להרצה ב-CI/CD.

   כשמשתמשים גם בבדיקות מבוססות-כללים וגם בהערכות מבוססות-AI.

   כשהשופט מוגדר עם טמפרטורה נמוכה מדי או הגדרות אחרות גבוהות מדי.

6. למה משמשת טכניקת ה-bootstrapping?

   כדי לבצע דגימה מחדש באופן אקראי של מערך הנתונים של ההתאמה, כדי לבדוק את רגישות הניקוד של השופט.

   כדי ליצור נפח גדול של קלט משתמש סינתטי באמצעות מודל קטן יותר.

   כדי לתקן שגיאות בקוד של האפליקציה באופן אוטומטי.

   הטמעה של סכימת JSON לכל הקלט והפלט של השופט.

7. איזה מדד משמש למדידת 'הסכמה מעבר למקריות' בין מומחים אנושיים או בין שופט לאדם?

   דיוק.

   דיוק.

   ניקוד קאפה

   ציון F₁.

8. כשמעריכים רעילות, למה כדאי לתת עדיפות לשיעור ההחזרה (recall) על פני הדיוק (precision)?

   הסיבה לכך היא שפלט רעיל הוא הסיווג השלילי בהקשר הספציפי הזה.

   כי חשוב יותר לזהות את כל הפלטים הרעילים, גם אם חלקם הם חיוביים כוזבים, מאשר לפספס פלטים רעילים (שליליים כוזבים).

   כי דיוק גבוה מבטיח שהשופט אף פעם לא יהיה קפדני מדי.

   העלות של שליפת מידע היא פחות טוקנים של API, ולכן אפשר לבצע יותר הערכות.

9. מהו דפוס קריטריון ההערכה הדינמי?

   מערכת שבה מעריכים אנושיים נותנים ציון ידני לכל פלט של ייצור.

   הנחיה שמשנה משתנים אקראיים בכל פעם שמריצים אותה.

   שימוש במודל נפרד כדי לשכתב את ההנחיה של המשתמש לפני שהיא מגיעה לשופט.

   העברת מחרוזת ספציפית לכל מקרה בדיקה שמתארת את ההתנהגות המדויקת או את מקרה הקצה שהשופט צריך לחפש בדוגמה הספציפית הזו.

error_outline מתן הציונים בבוחן נכשל בגלל שגיאה. אפשר לנסות שוב.