รายการแหล่งข้อมูลที่ใช้ในหลักสูตรนี้และเครื่องมือประเมินผลที่อาจเป็นประโยชน์
Maud Nalpas
หากต้องการแหล่งข้อมูลเพิ่มเติมเกี่ยวกับการทดสอบและ AI เราขอแนะนำแหล่งข้อมูลต่อไปนี้
- Learn Testing: Refresh your approach to testing
- Learn AI: Design AI systems for your websites and web applications
- Google DeepMind Evals: Multiple standardized benchmarking tools for different types on models
- Gemini Evaluations Playbook: Recipes for experimenting and evaluating generative AI models with Vertex AI.
- Responsible AI toolkit: Evaluate models and systems for safety.
- Evaluating your evals: A meta lesson on how to understand what evals to use, and what works effectively.
- Building better AI benchmarks: How many raters are enough? Understand an evaluation framework for ML models that optimizes the trade-off between the number of items and raters per item, to build reproducible AI benchmarks
แหล่งข้อมูลของหลักสูตร
เราอ้างอิงแหล่งข้อมูลหลายแหล่งในการเขียนชุดข้อมูลนี้ ซึ่งรวมถึง
- AI Engineering: Building Applications with Foundation Models, Chip Huyen
- De-risking QA for LLM-powered applications by Michael Hablich, Chrome DevTools
- Using LLM-as-a-Judge For Evaluation: A Complete Guide by Hamel Husain
เครื่องมือประเมินผล
ตัวอย่างโซลูชันและเครื่องมือประเมินผล ได้แก่
- AlignEval
- Arize AX and Phoenix
- Braintrust
- Datadog
- DeepEval
- Gen AI evaluation service and API
- Inspect Evals
- JudgeLM
- LangSmith
- Evaluation harness
- OpenEvals
นอกจากนี้ยังมีเครื่องมือประเมินผลอีกมากมาย หากคุณใช้เครื่องมืออื่นๆ โปรดแชร์ให้เราทราบ