האם אתה יכול ליצור הערכות AI?

1. למה אינטואיציה היא דרך לא מספקת למדידת האיכות של אפליקציות מבוססות-LLM?

   הסיבה לכך היא שמודלים גדולים של שפה הם הסתברותיים, והאיכות היא לרוב סובייקטיבית.

   הסיבה לכך היא שבדרך כלל מודלים גדולים של שפה פועלים לאט מדי כדי שאפשר יהיה לבדוק אותם בסביבת פיתוח רגילה.

   הסיבה היא שמודלים מסוג LLM הם דטרמיניסטיים, כלומר אותו קלט תמיד מוביל לאותו פלט.

   הסיבה לכך היא שלמודלים מודרניים מסוג LLM יש שיעורי שגיאה אפסיים, ולכן המדידות מיותרות.

2. איזו מהאפשרויות הבאות היא דוגמה להערכה מבוססת-כללים עבור האפליקציה ThemeBuilder?

   האם הסיסמה קליטה מספיק בשביל קהל היעד.

   צריך לוודא שיחס הניגודיות בין צבע הטקסט לצבע הרקע הוא לפחות 4.5:1.

   הערכה של התאמה פסיכולוגית של לוח צבעים לרופא שיניים יוקרתי.

   בודקים אם הסיסמה שנוצרה תואמת לטון המעורר שהמשתמש ביקש.

3. מה המטרה העיקרית של שימוש בהערכה זוגית במקום בהערכה נקודתית?

   כדי לצמצם את העלות של קריאות ה-API על ידי בדיקה של שני קלטים בו-זמנית.

   כדי להעריך אילוצים בינאריים כמו פורמט JSON.

   כדי לוודא שהשופט של ה-LLM אף פעם לא מקצה תוצאה של 'נכשל' לפלט.

   כדי לאפשר לשופט לבחור מנצח בין שני פלטים, מה שלרוב עקבי יותר מאשר לתת ציון מוחלט.

4. למה כדאי להגדיר את רמת האקראיות ל-0 כשמגדירים מודל שופט?

   כדי לאפשר לשופט ליצור נימוקים ארוכים ומפורטים יותר.

   לגבי עלות, כדי להוזיל את השופט על ידי שימוש בפחות טוקנים.

   כדי לשמור על עקביות, כך שהשופט יספק את אותה תשובה לאותה קלט בכל פעם.

   כדי למקסם את היצירתיות של הביקורות של השופט.

5. מה המשמעות של התאמת יתר בצינור ההערכה?

   כשההנחיה משתנה כדי להעביר התאמה מסוימת, אבל לא מצליחה להכליל נתונים חדשים שלא נראו קודם.

   כשהשופט איטי מדי להרצה ב-CI/CD.

   כשמשתמשים גם בבדיקות מבוססות-כללים וגם בהערכות מבוססות-AI.

   כשהשופט מוגדר עם טמפרטורה נמוכה מדי או הגדרות אחרות גבוהות מדי.

6. למה משמשת טכניקת ה-bootstrapping?

   כדי לבצע דגימה מחדש באופן אקראי של מערך הנתונים של ההתאמה, כדי לבדוק את רגישות הניקוד של השופט.

   כדי ליצור נפח גדול של קלט משתמש סינתטי באמצעות מודל קטן יותר.

   כדי לתקן שגיאות בקוד של האפליקציה באופן אוטומטי.

   הטמעה של סכימת JSON לכל הקלט והפלט של השופט.

7. איזה מדד משמש למדידת 'הסכמה מעבר למקריות' בין מומחים אנושיים או בין שופט לאדם?

   דיוק

   דיוק

   ניקוד קאפה

   ציון F₁

8. כשמעריכים רעילות, למה חשוב יותר להתמקד בזיכרון מאשר בדיוק?

   הסיבה לכך היא שפלט רעיל הוא הסיווג השלילי בהקשר הספציפי הזה.

   כי חשוב יותר לזהות את כל הפלטים הרעילים, גם אם חלקם הם חיוביים כוזבים, מאשר לפספס פלטים רעילים (שליליים כוזבים).

   כי דיוק גבוה מבטיח שהשופט אף פעם לא יהיה קפדני מדי.

   העלות של שליפת מידע היא פחות טוקנים של API, ולכן אפשר לבצע יותר הערכות.

9. מהו דפוס קריטריון ההערכה הדינמי?

   מערכת שבה מעריכים אנושיים נותנים ציון ידני לכל פלט של ייצור.

   הנחיה שמשנה משתנים אקראיים בכל פעם שמריצים אותה.

   שימוש במודל נפרד כדי לשכתב את ההנחיה של המשתמש לפני שהיא מגיעה לשופט.

   העברת מחרוזת שמתארת את ההתנהגות המדויקת או את מקרה הקצה שהשופט צריך לחפש בדוגמה ספציפית.

error_outline מתן הציונים בבוחן נכשל בגלל שגיאה. אפשר לנסות שוב.