अपने इवैलुएशन डिज़ाइन करना

अपने एआई ऐप्लिकेशन के लिए, "अच्छे" और "खराब" आउटपुट की परिभाषा तय करें.

Maud Nalpas

टेस्ट डिज़ाइन करने से पहले, ThemeBuilder से मिलने वाले एक सामान्य और सटीक आउटपुट को देखें. हर जांच में, इस ऑब्जेक्ट के एक वर्शन को प्रोसेस किया जाता है:

{
  "id": "example-002",
  "userInput": {
    "companyName": "Nova news",
    "description": "Space exploration news and educational content.",
    "audience": "science enthusiasts",
    "tone": [
      "informative",
      "scientific",
      "inspiring"
    ]
  },
  "appOutput": {
    "motto": "Unveiling the universe.",
    "colorPalette": {
      "textColor": "#E2E8F0",
      "backgroundColor": "#0B0D17",
      "primary": "#7000FF",
      "secondary": "#00C2FF"
    }
  }
}

सफलता और गड़बड़ी की परिभाषा तय करना

जांच करने के लिए, सबसे पहले सफलता और गड़बड़ी की परिभाषा तय करें. इसके लिए, आपको अपने डेटा के बारे में पता होना चाहिए. साथ ही, यह समझना होगा कि प्रोडक्शन में गड़बड़ी वाले आउटपुट दिखने की संभावना कितनी है. अगर प्रोडक्शन डेटा उपलब्ध है, तो उसकी समीक्षा करें.

ThemeBuilder के लिए, गड़बड़ी वाले आउटपुट के उदाहरण यहां दिए गए हैं:

• डेटा का स्ट्रक्चर गलत होना:
  • JSON अमान्य होना, कुंजियां मौजूद न होना
  • कलर पैलेट की वैल्यू हेक्साडेसिमल में न होना
  • मोटो या कुछ रंगों की स्ट्रिंग खाली होना
  • मोटो, छह शब्दों की तय सीमा से ज़्यादा लंबा होना.
• मोटो गलत होना:
  • मोटो, ब्रैंड, ऑडियंस या टोन से मेल न खाना.
  • मोटो में बुरा बर्ताव दिखना.
• कलर पैलेट गलत होना:
  • कलर पैलेट, ब्रैंड, ऑडियंस या टोन से मेल न खाना.
  • टेक्स्ट और बैकग्राउंड के कलर कंट्रास्ट का रेशियो 4.5 से कम होना.

User input: {
 "companyName": "Moon Cafe",
 "description": "A cozy nocturnal coffee shop serving late-night espresso and pastries.",
 "audience": "night owls and students"
}

// Wrong key `tagline` instead of `motto`.
// Array of colors instead of the required `colorPalette` object.
Output: {"tagline": "Freshly brewed", "colors": \["\#f0f0f0"\]}

// The motto is over our 6-word limit
Output: {
  "motto": "The best place for late night espresso and cozy pastries",
  "colorPalette": ...
}

// Colors are invalid hexadecimal strings
Output: {
  "motto": "Brewed for the moon.",
  "colorPalette": {"textColor": "grey", "backgroundColor": "white", "primary": "neon-purple", "secondary": "\#\#00C2FF"}
}

// Brand and tone mismatch (too cold for a cozy vibe)
Output motto: "Beans for maximum productivity."

// Toxic (rude and unwelcoming)
Output motto: "Go away loser, we're busy."

// Brand and tone mismatch (clashing neon colors for a cozy cafe)
Output color palette: {
  "textColor": "\#00FF00", "backgroundColor": "\#FF00FF",
  "primary": "\#FFFF00", "secondary": "\#0000FF"
}

// Contrast ratio below the 4.5:1 requirement
Output color palette: {
  "textColor": "\#CCCCCC", "backgroundColor": "\#FFFFFF",
  "primary": "\#EEEEEE", "secondary": "\#DDDDDD"
}

आकलन के मानदंड और तरीके तय करना

आकलन के मानदंड और तरीके तय किए जा सकते हैं. यह इस बात पर निर्भर करता है कि कोई आउटपुट, आपकी उम्मीदों पर खरा क्यों नहीं उतरता:

• ऑब्जेक्टिव क्राइटेरिया की जांच करने के लिए, नियम-आधारित जांच बनाएं. इसके लिए, सामान्य कोड का इस्तेमाल करें.
• सब्जेक्टिव क्राइटेरिया की जांच करने के लिए, जज मॉडल का इस्तेमाल करें.

रूब्रिक

क्रिएटिव मोटो या कलर पैलेट सटीक नहीं हो सकता. इसलिए, ThemeBuilder के आउटपुट की तुलना किसी सटीक नतीजे से करने के बजाय, जज को साफ़ तौर पर दिशा-निर्देश दें.

// Example rubric for color palette brand fit 
Criteria:
1. **Psychological and literal association**: Do the colors logically map
   to the literal product and evoke the right vibe?
2. **Constraint verification**: Does the palette violate any fundamental
   keywords (such as "sustainable", "discreet", or "organic")?
3. **Appropriate and harmonious**: Is the palette suitable for the company's
   industry baseline, regardless of secondary trendy adjectives?

टास्क के हिसाब से मानदंड इस्तेमाल करना

अपने इस्तेमाल के उदाहरण के हिसाब से तय की गई मेट्रिक के अलावा, टास्क के लिए ज़रूरी स्टैंडर्ड मानदंड और मेट्रिक का इस्तेमाल करें. उदाहरण के लिए, खास जानकारी देने के लिए, खास जानकारी, सामान्य मेट्रिक में ये शामिल हैं:

• अलाइनमेंट: खास जानकारी, उपयोगकर्ता के खास निर्देशों, टोन या स्टाइल के मुताबिक होती है.
• संक्षिप्तता: खास जानकारी में सिर्फ़ ज़रूरी बातें होती हैं.
• जानकारी से भरपूर होना: खास जानकारी में सभी मुख्य बातें शामिल होती हैं.
• सटीकता: खास जानकारी, तथ्यों पर आधारित और सही होती है.
• ग्राउंडेडनेस: हर दावे को सोर्स से ट्रैक किया जाता है, ताकि गलत जानकारी न दी जा सके.

पहले से बनी जांच

जांच के समाधान और टूल, मैनेज की गई जांच या पहले से बनी मेट्रिक उपलब्ध कराते हैं. ये आपके इस्तेमाल के उदाहरण के हिसाब से हो सकती हैं. देखें कि क्या उपलब्ध है.