Unvollständige Liste der in diesem Kurs verwendeten Quellen und der Tools, die Ihnen helfen können.
Maud Nalpas
Weitere Ressourcen zum Testen und zu KI finden Sie hier:
- Tests durchführen: Hier finden Sie Tipps, wie Sie Ihre Tests optimieren können.
- KI lernen: KI-Systeme für Ihre Websites und Webanwendungen entwickeln.
- Google DeepMind Evals: Mehrere standardisierte Benchmarking-Tools für verschiedene Modelltypen
- Gemini Evaluations Playbook: Rezepte zum Testen und Bewerten generativer KI-Modelle mit Vertex AI.
- Toolkit für verantwortungsbewusste KI: Modelle und Systeme auf Sicherheit prüfen.
- Bewertungen bewerten: Eine Meta-Lektion dazu, wie Sie verstehen, welche Bewertungen Sie verwenden sollten und was effektiv funktioniert.
- Bessere KI-Benchmarks entwickeln: Wie viele Rater sind genug? Ein Bewertungsframework für ML-Modelle verstehen, das den Kompromiss zwischen der Anzahl der Elemente und der Anzahl der Rater pro Element optimiert, um reproduzierbare KI-Benchmarks zu erstellen.
Kursquellen
Für diese Serie haben wir uns auf verschiedene Quellen gestützt, darunter:
- AI Engineering: Building Applications with Foundation Models, Chip Huyen
- Risikominimierung bei der Qualitätssicherung für LLM-basierte Anwendungen von Michael Hablich, Chrome-Entwicklertools
- Using LLM-as-a-Judge For Evaluation: A Complete Guide von Hamel Husain
Bewertungstools
Beispiele für Lösungen und Tools für die Evaluierung:
- AlignEval
- Arize AX und Phoenix
- Braintrust
- Datadog
- DeepEval
- Gen AI Evaluation Service und API
- Evals prüfen
- JudgeLM
- LangSmith
- Evaluierungstool
- OpenEvals
Es gibt viele weitere Tools für die Auswertung. Wenn Sie andere Tools verwenden, teilen Sie uns das bitte mit.