Lista no exhaustiva de fuentes que se usaron en este curso y herramientas de evaluación que pueden ayudarte.
Maud Nalpas
Para obtener más recursos sobre pruebas y la IA, te recomendamos los siguientes recursos.
- Learn Testing: Actualiza tu enfoque de pruebas
- Learn AI: Diseña sistemas de IA para tus sitios web y aplicaciones web
- Google DeepMind Evals: Varias herramientas de comparativa estandarizadas para diferentes tipos de modelos
- Guía de evaluaciones de Gemini: Recetas para experimentar y evaluar modelos de IA generativa con Vertex AI
- Responsible AI toolkit: Evalúa modelos y sistemas en cuanto a seguridad.
- Evaluating your evals: Una metalección sobre cómo comprender qué evaluaciones usar y qué funciona de manera eficaz
- Building better AI benchmarks: ¿Cuántos evaluadores son suficientes? Comprende un marco de evaluación para modelos de AA que optimiza la compensación entre la cantidad de elementos y evaluadores por elemento para compilar comparativas de IA reproducibles
Fuentes del curso
Nos basamos en varias fuentes para escribir esta serie, incluidas las siguientes:
- AI Engineering: Building Applications with Foundation Models, Chip Huyen
- De-risking QA for LLM-powered applications de Michael Hablich, Chrome DevTools
- Using LLM-as-a-Judge For Evaluation: A Complete Guide de Hamel Husain
Herramientas de evaluación
Algunos ejemplos de soluciones y herramientas de evaluación son los siguientes:
- AlignEval
- Arize AX y Phoenix
- Braintrust
- Datadog
- DeepEval
- Gen AI evaluation service and API
- Inspect Evals
- JudgeLM
- LangSmith
- Evaluation harness
- OpenEvals
Hay muchas más herramientas de evaluación disponibles. Si usas otras herramientas, compártelas con nosotros.