सोर्स और टूल

इस कोर्स में इस्तेमाल किए गए सोर्स की पूरी सूची नहीं दी गई है. साथ ही, ऐसे आकलन टूल के बारे में भी बताया गया है जो आपकी मदद कर सकते हैं.

Maud Nalpas

जांच और एआई के बारे में ज़्यादा जानने के लिए, हम इन संसाधनों को देखने का सुझाव देते हैं.

• टेस्टिंग के बारे में जानें: टेस्टिंग के अपने तरीके को बेहतर बनाएं.
• एआई के बारे में जानें: अपनी वेबसाइटों और वेब ऐप्लिकेशन के लिए एआई सिस्टम डिज़ाइन करें.
• Google DeepMind Evals: अलग-अलग तरह के मॉडल के लिए, स्टैंडर्ड बेंचमार्किंग टूल
• Gemini के आकलन की प्लेबुक: Vertex AI की मदद से, जनरेटिव एआई मॉडल को आज़माने और उनका आकलन करने के तरीके.
• ज़िम्मेदारी के साथ एआई का इस्तेमाल करने से जुड़े टूलकिट: मॉडल और सिस्टम की सुरक्षा का आकलन करें.
• अपने इवैल का आकलन करना: यह एक मेटा लेसन है. इसमें यह समझने के बारे में बताया गया है कि कौनसे इवैल इस्तेमाल किए जाएं और कौनसे इवैल बेहतर तरीके से काम करते हैं.
• एआई के लिए बेहतर बेंचमार्क बनाना: कितने रेटर काफ़ी हैं? एआई के ऐसे बेंचमार्क बनाने के लिए, एमएल मॉडल के आकलन के फ़्रेमवर्क को समझें जो हर आइटम के लिए आइटम की संख्या और रेटिंग देने वालों की संख्या के बीच ट्रेड-ऑफ़ को ऑप्टिमाइज़ करता है.

कोर्स के सोर्स

इस सीरीज़ को लिखने के लिए, हमने कई सोर्स का इस्तेमाल किया है. इनमें ये शामिल हैं:

• AI Engineering: Building Applications with Foundation Models, Chip Huyen
• Michael Hablich, Chrome DevTools की ओर से एलएलएम की मदद से काम करने वाले ऐप्लिकेशन के लिए, क्यूए से जुड़े जोखिमों को कम करना
• Hamel Husain की लिखी गई Using LLM-as-a-Judge For Evaluation: A Complete Guide

आकलन करने वाले टूल

ईवैल्यूएशन के समाधान और टूल के उदाहरणों में ये शामिल हैं:

• AlignEval
• Arize
• Braintrust
• Datadog
• DeepEval
• जनरेटिव एआई के आकलन की सेवा और एपीआई
• जवाबों की जांच करना
• JudgeLM
• LangSmith
• इवैल्यूएशन हार्नेस
• OpenEvals

इसके अलावा, आकलन करने वाले कई और टूल भी उपलब्ध हैं. अगर किसी अन्य टूल का इस्तेमाल किया जा रहा है, तो हमें बताएं.