सोर्स और टूल

इस कोर्स में इस्तेमाल किए गए सोर्स और ऐसे इवैल टूल की सूची यहां दी गई है जो आपकी मदद कर सकते हैं. हालांकि, यह सूची पूरी नहीं है.

Maud Nalpas

हमारा सुझाव है कि टेस्टिंग और एआई के बारे में ज़्यादा जानने के लिए, यहां दिए गए सोर्स देखें.

• टेस्टिंग के बारे में जानें: टेस्टिंग के लिए, अपने तरीके को बेहतर बनाएं.
• एआई के बारे में जानें: अपनी वेबसाइटों और वेब ऐप्लिकेशन के लिए, एआई सिस्टम डिज़ाइन करें.
• Google DeepMind Evals: अलग-अलग तरह के मॉडल के लिए, बेंचमार्किंग के कई स्टैंडर्ड टूल
• Gemini Evaluations Playbook: Vertex AI की मदद से, जनरेटिव एआई मॉडल को आज़माने और उनका आकलन करने के तरीके.
• ज़िम्मेदार एआई टूलकिट: सुरक्षा के लिए मॉडल और सिस्टम का आकलन करना.
• अपने इवैल का आकलन करना: यह समझने के लिए कि किन इवैल का इस्तेमाल करना है और कौनसे इवैल ज़्यादा असरदार हैं, यह मेटा लेसन देखें.
• एआई के बेहतर बेंचमार्क बनाना: कितने रेटर काफ़ी हैं? एमएल मॉडल के लिए, आकलन के फ़्रेमवर्क के बारे में जानें. इससे, एआई के ऐसे बेंचमार्क बनाए जा सकते हैं जिन्हें दोहराया जा सके. इसके लिए, हर आइटम के लिए आइटम की संख्या और रेटर के बीच ऑप्टिमाइज़ किया जाता है.

कोर्स के सोर्स

यह सीरीज़ लिखने के लिए, हमने कई सोर्स का इस्तेमाल किया है. इनमें ये शामिल हैं:

• AI Engineering: Building Applications with Foundation Models, Chip Huyen
• De-risking QA for LLM-powered applications by Michael Hablich, Chrome DevTools
• Using LLM-as-a-Judge For Evaluation: A Complete Guide by Hamel Husain

इवैल टूल

इवैल के समाधान और टूल के उदाहरण:

• AlignEval
• Arize AX and Phoenix
• Braintrust
• Datadog
• DeepEval
• Gen AI evaluation service and API
• Inspect Evals
• JudgeLM
• LangSmith
• Evaluation harness
• OpenEvals

इवैल के कई और टूल भी उपलब्ध हैं. अगर आपने किसी और टूल का इस्तेमाल किया है, तो कृपया उसके बारे में हमें बताएं.