Elenco non esaustivo di fonti utilizzate in questo corso e strumenti di valutazione che possono aiutarti.
Maud Nalpas
Per ulteriori risorse su test e AI, ti consigliamo le seguenti risorse.
- Learn Testing: aggiorna il tuo approccio ai test.
- Learn AI: progetta sistemi di AI per i tuoi siti web e le tue applicazioni web.
- Google DeepMind Evals: più strumenti di benchmarking standardizzati per diversi tipi di modelli
- Gemini Evaluations Playbook: ricette per sperimentare e valutare i modelli di AI generativa con Vertex AI.
- Responsible AI Toolkit: valuta la sicurezza di modelli e sistemi.
- Evaluating your evals: una meta-lezione su come capire quali valutazioni utilizzare e cosa funziona in modo efficace.
- Building better AI benchmarks: quanti valutatori sono sufficienti? Comprendi un framework di valutazione per i modelli ML che ottimizza il compromesso tra il numero di elementi e valutatori per elemento, per creare benchmark di AI riproducibili.
Fonti del corso
Per scrivere questa serie, ci siamo basati su diverse fonti, tra cui:
- AI Engineering: Building Applications with Foundation Models, Chip Huyen
- De-risking QA for LLM-powered applications by Michael Hablich, Chrome DevTools
- Using LLM-as-a-Judge For Evaluation: A Complete Guide by Hamel Husain
Strumenti di valutazione
Esempi di soluzioni e strumenti di valutazione:
- AlignEval
- Arize AX e Phoenix
- Braintrust
- Datadog
- DeepEval
- Servizio di valutazione dell'AI generativa e API
- Inspect Evals
- JudgeLM
- LangSmith
- Evaluation harness
- OpenEvals
Sono disponibili molti altri strumenti di valutazione. Se utilizzi altri strumenti, condividili con noi.