Liste non exhaustive des sources utilisées dans ce cours et des outils d'évaluation qui peuvent vous aider.
Maud Nalpas
Pour en savoir plus sur les tests et l'IA, nous vous recommandons les ressources suivantes.
- Learn Testing : repensez votre approche des tests.
- Learn AI : concevez des systèmes d'IA pour vos sites Web et applications Web.
- Google DeepMind Evals : plusieurs outils d'analyse comparative standardisés pour différents types de modèles
- Playbook d'évaluations Gemini: recettes pour expérimenter et évaluer des modèles d'IA générative avec Vertex AI.
- Boîte à outils d'IA responsable: évaluez la sécurité des modèles et des systèmes.
- Évaluer vos évaluations : une méta-leçon sur la façon de comprendre quelles évaluations utiliser et ce qui fonctionne efficacement.
- Créer de meilleures analyses comparatives de l'IA : combien d'évaluateurs sont nécessaires ? Comprendre un framework d'évaluation pour les modèles de ML qui optimise le compromis entre le nombre d'éléments et d'évaluateurs par élément, afin de créer des analyses comparatives d'IA reproductibles.
Sources du cours
Nous nous sommes appuyés sur plusieurs sources pour rédiger cette série, y compris les suivantes :
- AI Engineering: Building Applications with Foundation Models, Chip Huyen
- De-risking QA for LLM-powered applications by Michael Hablich, Chrome DevTools
- Using LLM-as-a-Judge For Evaluation: A Complete Guide by Hamel Husain
Outils d'évaluation
Voici quelques exemples de solutions et d'outils d'évaluation :
- AlignEval
- Arize AX and Phoenix
- Braintrust
- Datadog
- DeepEval
- Service d'évaluation de l'IA générative et API
- Inspect Evals
- JudgeLM
- LangSmith
- Evaluation harness
- OpenEvals
De nombreux autres outils d'évaluation sont disponibles. Si vous utilisez d'autres outils, partagez-les avec nous.