अपने इवैलुएशन डिज़ाइन करना

अपने एआई ऐप्लिकेशन के लिए, "अच्छा" और "खराब" कॉन्टेंट तय करें.

Maud Nalpas

टेस्ट डिज़ाइन करने से पहले, ThemeBuilder से मिलने वाले एक सामान्य और सही आउटपुट को देखें. हर आकलन में, इस ऑब्जेक्ट के वर्शन को प्रोसेस किया जाता है:

{
  "id": "example-002",
  "userInput": {
    "companyName": "Nova news",
    "description": "Space exploration news and educational content.",
    "audience": "science enthusiasts",
    "tone": [
      "informative",
      "scientific",
      "inspiring"
    ]
  },
  "appOutput": {
    "motto": "Unveiling the universe.",
    "colorPalette": {
      "textColor": "#E2E8F0",
      "backgroundColor": "#0B0D17",
      "primary": "#7000FF",
      "secondary": "#00C2FF"
    }
  }
}

सफलता और असफलता के बारे में जानकारी देना

आकलन बनाने का पहला चरण, सफलता और असफलता को तय करना है. इसके लिए, आपको अपने डेटा के बारे में पूरी जानकारी होनी चाहिए. साथ ही, आपको यह भी पता होना चाहिए कि प्रोडक्शन में कौनसे गलत आउटपुट दिख सकते हैं. अगर उपलब्ध हो, तो प्रोडक्शन डेटा की समीक्षा करें.

ThemeBuilder के लिए, गलत आउटपुट के उदाहरण:

• डेटा स्ट्रक्चर गलत है:
  • अमान्य JSON, कुंजियां मौजूद नहीं हैं
  • कलर पैलेट की वैल्यू हेक्साडेसिमल नहीं हैं
  • मोटो या कुछ रंगों के लिए, स्ट्रिंग खाली है
  • यह मोटो, छह शब्दों की तय सीमा से ज़्यादा है.
• गलत आदर्श वाक्य:
  • यह नारा, ब्रैंड, ऑडियंस या टोन से मैच नहीं करता.
  • यह सिद्धांत बुरा बर्ताव है.
• गलत कलर पैलेट:
  • कलर पैलेट, ब्रैंड, ऑडियंस या टोन से मेल नहीं खाता.
  • टेक्स्ट और बैकग्राउंड के रंग के कंट्रास्ट का अनुपात 4.5 से कम है.

User input: {
 "companyName": "Moon Cafe",
 "description": "A cozy nocturnal coffee shop serving late-night espresso and pastries.",
 "audience": "night owls and students"
}

// Wrong key `tagline` instead of `motto`.
// Array of colors instead of the required `colorPalette` object.
Output: {"tagline": "Freshly brewed", "colors": \["\#f0f0f0"\]}

// The motto is over our 6-word limit
Output: {
  "motto": "The best place for late night espresso and cozy pastries",
  "colorPalette": ...
}

// Colors are invalid hexadecimal strings
Output: {
  "motto": "Brewed for the moon.",
  "colorPalette": {"textColor": "grey", "backgroundColor": "white", "primary": "neon-purple", "secondary": "\#\#00C2FF"}
}

// Brand and tone mismatch (too cold for a cozy vibe)
Output motto: "Beans for maximum productivity."

// Toxic (rude and unwelcoming)
Output motto: "Go away loser, we're busy."

// Brand and tone mismatch (clashing neon colors for a cozy cafe)
Output color palette: {
  "textColor": "\#00FF00", "backgroundColor": "\#FF00FF",
  "primary": "\#FFFF00", "secondary": "\#0000FF"
}

// Contrast ratio below the 4.5:1 requirement
Output color palette: {
  "textColor": "\#CCCCCC", "backgroundColor": "\#FFFFFF",
  "primary": "\#EEEEEE", "secondary": "\#DDDDDD"
}

आकलन के मानदंड और तरीके तय करना

आउटपुट आपकी उम्मीदों के मुताबिक नहीं है, तो इसके आधार पर आकलन के मानदंड और तरीके तय किए जा सकते हैं:

• मकसद से जुड़ी शर्तों की जांच करने के लिए, नियम पर आधारित आकलन बनाएं. इसके लिए, सामान्य कोड का इस्तेमाल करें.
• व्यक्तिपरक शर्तों की जांच करने के लिए, जज मॉडल का इस्तेमाल करें.

रूब्रिक

क्रिएटिव मोटो या कलर पैलेट के लिए, कोई भी चीज़ एकदम सही नहीं होती. इसलिए, ThemeBuilder के आउटपुट की तुलना किसी आदर्श नतीजे से करने के बजाय, जज को साफ़ तौर पर दिशा-निर्देश दें.

// Example rubric for color palette brand fit 
Criteria:
1. **Psychological and literal association**: Do the colors logically map
   to the literal product and evoke the right vibe?
2. **Constraint verification**: Does the palette violate any fundamental
   keywords (such as "sustainable", "discreet", or "organic")?
3. **Appropriate and harmonious**: Is the palette suitable for the company's
   industry baseline, regardless of secondary trendy adjectives?

टास्क के हिसाब से शर्तें इस्तेमाल करना

इस्तेमाल के उदाहरण के हिसाब से तय की गई मेट्रिक के साथ-साथ, टास्क से जुड़े स्टैंडर्ड मानदंड और मेट्रिक का इस्तेमाल करें. उदाहरण के लिए, खास जानकारी के लिए, सामान्य मेट्रिक में ये शामिल हैं:

• अलाइनमेंट: जवाब में, उपयोगकर्ता के निर्देशों, लहजे या स्टाइल का पालन किया गया हो.
• कम शब्दों में जानकारी देना: जवाब में सिर्फ़ ज़रूरी जानकारी दी गई है.
• जानकारी का पूरा होना: जवाब में सभी मुख्य पॉइंट शामिल हैं.
• सही जानकारी: जवाब में दी गई जानकारी तथ्यों के हिसाब से सही है.
• तथ्यों के साथ जानकारी: हर दावे की पुष्टि करने के लिए, उसके सोर्स का पता लगाया जाता है, ताकि एआई से गलत जानकारी न मिले.

पहले से बनाए गए आकलन

Evals solutions and tools, मैनेज किए गए evals या पहले से बनी मेट्रिक उपलब्ध कराते हैं. ये मेट्रिक, आपके इस्तेमाल के उदाहरण के हिसाब से सही हो सकती हैं. देखें कि क्या-क्या उपलब्ध है.