רשימה חלקית של מקורות שנעשה בהם שימוש בקורס הזה ובכלי ההערכות שיכולים לעזור לכם.
Maud Nalpas
למקורות מידע נוספים על בדיקות ו-AI, מומלץ לעיין במקורות המידע הבאים.
- לומדים על בדיקות: משפרים את הגישה לבדיקות.
- לומדים על AI: עיצוב מערכות AI לאתרים ולאפליקציות אינטרנט.
- Google DeepMind Evals: כלי השוואה סטנדרטיים רבים לסוגים שונים של מודלים
- מדריך Gemini Evaluations: מתכונים לניסוי והערכה של מודלים של AI גנרטיבי באמצעות Vertex AI.
- ערכת כלים לשימוש אחראי ב-AI: הערכת מודלים ומערכות לצורך בטיחות.
- הערכת ההערכות: שיעור מטא שמסביר איך להבין באילו הערכות כדאי להשתמש ומה עובד בצורה יעילה.
- יצירת מדדים טובים יותר ל-AI: כמה בודקים מספיקים? להבין מסגרת להערכת מודלים של למידת מכונה שמבצעת אופטימיזציה של האיזון בין מספר הפריטים למספר המדרגים לכל פריט, כדי ליצור מדדי השוואה של AI שניתנים לשחזור.
מקורות הקורס
הסתמכנו על כמה מקורות כדי לכתוב את הסדרה הזו, כולל:
- AI Engineering: Building Applications with Foundation Models, Chip Huyen
- De-risking QA for LLM-powered applications מאת Michael Hablich, Chrome DevTools
- Using LLM-as-a-Judge For Evaluation: A Complete Guide by Hamel Husain
כלים להערכה
דוגמאות לפתרונות ולכלים להערכות:
- AlignEval
- Arize AX ו-Phoenix
- Braintrust
- Datadog
- DeepEval
- שירות להערכת AI גנרטיבי ו- API
- בדיקת הערכות
- JudgeLM
- LangSmith
- Evaluation harness
- OpenEvals
יש עוד הרבה כלים להערכה. אם אתם משתמשים בכלים אחרים, נשמח לשמוע עליהם.