이 과정 및 평가에 사용되며 도움이 될 수 있는 도구의 전체 목록은 아닙니다.
Maud Nalpas
테스트 및 AI에 관한 자세한 리소스는 다음 리소스를 참고하세요.
- 테스트 학습: 테스트 접근 방식을 새로고침합니다.
- AI 학습: 웹사이트 및 웹 애플리케이션을 위한 AI 시스템을 설계합니다.
- Google DeepMind 평가: 다양한 유형의 모델을 위한 여러 표준화된 벤치마킹 도구
- Gemini 평가 플레이북: Vertex AI를 사용하여 생성형 AI 모델을 실험하고 평가하는 방법
- 책임감 있는 AI 툴킷: 안전을 위해 모델 및 시스템을 평가합니다.
- 평가 평가: 사용할 평가와 효과적인 평가를 이해하는 방법에 관한 메타 학습
- 더 나은 AI 벤치마크 구축: 평가자는 몇 명이나 필요할까요? 재현 가능한 AI 벤치마크를 구축하기 위해 항목 수와 항목당 평가자 간의 균형을 최적화하는 ML 모델의 평가 프레임워크를 이해합니다.
과정 소스
이 시리즈를 작성하는 데 다음과 같은 여러 소스를 사용했습니다.
- AI 엔지니어링: 파운데이션 모델을 사용한 애플리케이션 빌드(Chip Huyen)
- LLM 기반 애플리케이션의 QA 위험 완화(Michael Hablich, Chrome DevTools)
- 평가를 위한 LLM을 심판으로 사용: 전체 가이드(Hamel Husain)
평가 도구
평가 솔루션 및 도구의 예는 다음과 같습니다.
- AlignEval
- Arize AX 및 Phoenix
- Braintrust
- Datadog
- DeepEval
- 생성형 AI 평가 서비스 및 API
- 평가 검사
- JudgeLM
- LangSmith
- 평가 하네스
- OpenEvals
더 많은 평가 도구를 사용할 수 있습니다. 다른 도구를 사용하는 경우 Google에 공유해 주세요.