একজন বিশেষজ্ঞ বিচারক তৈরি করুন

আপনার বিচারককে প্রযোজনার জন্য প্রস্তুত করুন।

Maud Nalpas

The basic judge you built in Set up a basic judge model , part 1 and part 2 , was based on self-labeled data. That's a great way to establish a testing baseline. However, to get production-grade quality, you need a judge that thinks like a domain specialist, and you need robust statistical metrics to trust it at scale. This is what we'll cover here.

বিশেষজ্ঞদের সাথে একটি অ্যালাইনমেন্ট ডেটাসেট তৈরি করুন

আপনার অ্যালাইনমেন্ট ডেটাসেট লেবেল করার জন্য মানব বিশেষজ্ঞদের ব্যবহার করা একটি নির্ভরযোগ্য এলএলএম জাজ তৈরির মূল চাবিকাঠি। পরিমাণের চেয়ে গুণমানকে অগ্রাধিকার দিন। একজন ডোমেইন বিশেষজ্ঞের দেওয়া ত্রিশটি উচ্চ-মানের লেবেল, অ-বিশেষজ্ঞদের দেওয়া ৩০০টি লেবেলের চেয়ে অসীমভাবে ভালো।

লেবেলার খুঁজুন

ব্র্যান্ডের সামঞ্জস্য রক্ষার জন্য অভ্যন্তরীণ ডিজাইনার এবং ব্র্যান্ড বিশেষজ্ঞদের ব্যবহার করুন। বিষাক্ততার জন্য, আপনি সেই একই লেবেলারদের উপর নির্ভর করতে পারেন, অথবা লেবেলাররা যাতে একই মূল্যায়ন মানদণ্ড অনুসরণ করে তা নিশ্চিত করতে একটি কেন্দ্রীয় রুব্রিকের ভিত্তিতে আপনার দলের সদস্যদের দিয়ে লেবেল তৈরি করাতে পারেন।

কতজন বিশেষজ্ঞ লেবেলার আছেন?

• একজন বিশেষজ্ঞ : এটি দ্রুত এবং শুরু করার জন্য ঠিক আছে, কিন্তু আপনার বিচারক সেই ব্যক্তির পক্ষপাতিত্বগুলো উত্তরাধিকারসূত্রে পেয়ে যাবেন।
• দুইজন বিশেষজ্ঞ : এটি বাজেটের জন্য একটি দারুণ ভারসাম্যপূর্ণ অবস্থা হতে পারে। আপনি মতপার্থক্য নিরসন করতে পারবেন না, কিন্তু মতপার্থক্যগুলো চিহ্নিত করতে পারবেন।
• তিন বা তার বেশি : এটিই সর্বোত্তম মানদণ্ড। একটি বিজোড় সংখ্যা ব্যবহার করলে আমাদের উদাহরণের মতো বাইনারি PASS এবং FAIL মূল্যায়নের ক্ষেত্রে একটি স্বয়ংক্রিয় টাই-ব্রেকার পাওয়া যায়, কারণ সেক্ষেত্রে আপনি সংখ্যাগরিষ্ঠের রেটিং অনুযায়ী সিদ্ধান্ত নিতে পারেন।

থিমবিল্ডারের জন্য, ধরে নিন আপনার প্রতিষ্ঠানে তিনজন ইন-হাউস ব্র্যান্ড ডিজাইনার আছেন যারা আমাদের বিশেষজ্ঞ লেবেলার হতে রাজি হয়েছেন।

বিশেষজ্ঞরা একটি রুব্রিক তৈরি করেন

মূল্যায়ন করার আগে, বিশেষজ্ঞদেরকে PASS এর নির্দিষ্ট মানদণ্ডগুলোর একটি কঠোর রূপরেখা নির্ধারণ করতে বলুন। এটি আপনার বিশেষজ্ঞদেরকে ব্যক্তিগতভাবে এবং সম্মিলিতভাবে তাদের সিদ্ধান্তে সামঞ্জস্য বজায় রাখতে সাহায্য করে।

উদাহরণস্বরূপ:

Criteria:
• Psychological association: Do the colors evoke the emotions associated with the desired tone?
• Harmony: Do the colors work together to create the right atmosphere?
• Appropriateness: Is the palette suitable for the company's industry?

বিশেষজ্ঞরা ডেটা লেবেল করেন

আপনার বিশেষজ্ঞদের দিয়ে ৩০ থেকে ৫০টি নমুনা পর্যালোচনা করান, মূল্যায়ন নির্দেশিকা অনুসারে একটি PASS বা FAIL লেবেল নির্ধারণ করুন এবং তাদের সিদ্ধান্তের কারণ ব্যাখ্যা করে একটি rationale লিখুন। এই যুক্তিটি অত্যন্ত গুরুত্বপূর্ণ, কারণ আমাদের বিচারক এবং বিশেষজ্ঞদের মধ্যেকার অমিল খুঁজে বের করতে ও তা সংশোধন করতে আপনি এটি ব্যবহার করবেন।

কার্যকরী লেবেলিংয়ের জন্য কিছু পরামর্শ

হাতে লেবেল লাগানো ব্যয়বহুল। আপনার বিশেষজ্ঞদের কর্মদক্ষতা বাড়াতে এই কৌশলগুলো ব্যবহার করে দেখুন:

• শুধু যাচাই করুন : প্রাথমিক লেবেল ও যুক্তি তৈরি করতে একজন এলএলএম (LLM) ব্যবহার করুন, তারপর বিশেষজ্ঞদের দিয়ে সেগুলো নিরীক্ষা ও সংশোধন করান। একেবারে গোড়া থেকে কোনো সিদ্ধান্ত তৈরি করার চেয়ে যাচাই করা দ্রুততর।
• নির্বাচিত লেবেলিং : প্রথম বিশেষজ্ঞের কাজের একটি ছোট অংশ দ্বিতীয় একজন বিশেষজ্ঞকে দিয়ে নিরীক্ষা করান। যদি তিনি একমত না হন, তবে থেমে যান এবং আরও লেবেল দেওয়ার আগে মূল্যায়ন মানদণ্ডটি সংশোধন করুন।
• দ্বিতীয় মতামত হিসেবে এলএলএম : একজন বিশেষজ্ঞ এবং একজন এলএলএম বিচারককে দিয়ে একই বিষয়গুলো চিহ্নিত করান। যদি তাদের মধ্যে মতৈক্য কম হয়, তাহলে বুঝতে হবে এলএলএম বিচারক মূল্যায়ন পদ্ধতিটি ভিন্নভাবে বুঝছেন। যতক্ষণ না তাদের মধ্যে মতৈক্য হচ্ছে, ততক্ষণ পর্যন্ত মূল্যায়ন পদ্ধতিটি নিয়ে কাজ করতে থাকুন।
• একই বিশেষজ্ঞের মধ্যে যাচাই : আপনার কাছে যদি কেবল একজন বিশেষজ্ঞ থাকেন, তবে তাকে এক সপ্তাহ পরে কোনো পূর্ব ধারণা ছাড়াই দৈবচয়নের ভিত্তিতে ১০% ডেটা পুনরায় চিহ্নিত করতে বলুন। যদি তিনি তার পূর্বের মূল্যায়নের সাথে একমত না হন, তাহলে আপনার মূল্যায়ন পদ্ধতিটি স্থিতিশীল নয়।

এখানে একজন বিশেষজ্ঞের লেবেলযুক্ত ডেটাসেট এন্ট্রির একটি JSON স্নিপেট দেওয়া হলো, যেখানে বিশেষজ্ঞের PASS ও FAIL লেবেল এবং তাদের বিস্তারিত যুক্তি অন্তর্ভুক্ত রয়েছে:

{
  "id": "sample-001",
  "userInput": {
    "companyName": "Kinetica",
    // Company description, audience and tone
  },
  "appOutput": {
    "motto": "Unlock your kinetic potential.",
    // ... Color palette
  },
  "humanEvaluation": {
    "mottoBrandFit": {
      "label": "PASS",
      "rationale": "This motto powerfully aligns the brand's technical
        engineering with the ambitious goals of its elite athletic audience.
        Relevance: Leverages 'kinetic' to expertly link the brand to physical
        energy. Audience appeal: 'Unlock your potential' resonates perfectly
        with competitive runners. Tone consistency: Nails the required
        aggressive, high-performance marks."
    },
    // ... Human evals for colorBrandFit and mottoToxicity:
  }
}

বিশেষজ্ঞদের ঐকমত্যে পৌঁছানো এবং পরিমাপ করা

আপনার রুব্রিকটি মডেলের জন্য নির্দেশিকা হিসেবে কাজ করে, তাই এটিকে পরিমার্জন করতে সময় ব্যয় করা গুরুত্বপূর্ণ। যদি একজন ডিজাইনার 'খেলোয়াড়সুলভ' শব্দটিকে 'সৃজনশীল ভাষা' হিসেবে সংজ্ঞায়িত করেন, আর অন্যজন এটিকে 'উজ্জ্বল রং' হিসেবে ব্যাখ্যা করেন, তাহলে আপনার এলএলএম-ও দ্বিধাদ্বন্দ্বে পড়বে। আপনার বিচারকের কাছে রুব্রিকটি জমা দেওয়ার আগে এই অস্পষ্টতাগুলো দূর করার জন্য আপনাকে অবশ্যই এটিকে আরও সুনির্দিষ্ট করতে হবে। আন্তঃ-লেবেলার নির্ভরযোগ্যতা বা আন্তঃ-মূল্যায়নকারী সম্মতি নামে পরিচিত এই উচ্চ মাত্রার সম্মতি নিশ্চিত করে যে আপনার বিচারক মডেলটি নির্ভরযোগ্য ও উচ্চ-মানের লেবেল প্রদান করছে।

মানুষের মধ্যকার মতবিরোধগুলো হলো দরকারি সংকেত, যা আপনাকে বলে দেয় আপনার মূল্যায়ন পদ্ধতিটিতে কোথায় আরও কাজ করা প্রয়োজন। যতক্ষণ না আপনার বিশেষজ্ঞরা PASS এবং FAIL বিষয়গুলোতে একমত হচ্ছেন, ততক্ষণ পর্যন্ত এটি পরিমার্জন করতে থাকুন।

আপনার বিচারক এটি নির্মাণকারী মানুষদের চেয়ে বেশি একাত্ম হতে পারেন না।

মৌলিক চুক্তি

মানুষে-মানুষে মতৈক্য পরিমাপ করার একটি উপায় হলো আমাদের বিশেষজ্ঞরা কতবার একমত হন তার শতাংশ প্রকাশ করা, যা আমরা আমাদের বেসিক জাজ-এ মানুষ-বিচারক মতৈক্য স্কোরের জন্যও ব্যবহার করেছি।

// total = all test cases
// aligned = test cases where human1Eval.label === human2Eval.label
// (for example PASS and PASS)
const alignment = (aligned / total) * 100;

ভাগ্যের ঊর্ধ্বে চুক্তি: কাপ্পা

সাধারণ শতাংশগত মিলের বিষয়টি সহজবোধ্য, কিন্তু এটি বিভ্রান্তিকর হতে পারে। এমন একটি ডেটাসেটের কথা ভাবুন যেখানে অর্ধেক PASS এবং অর্ধেক FAIL । যদি দুজন বিশেষজ্ঞ মুদ্রা নিক্ষেপ করেন, তাহলেও তাঁরা শুধুমাত্র ভাগ্যের জোরে ৫০% ক্ষেত্রে একমত হবেন। একে বলা হয় ‘ লাক ফ্লোর’ বা ভাগ্যের সর্বনিম্ন সীমা ।

সামঞ্জস্য সঠিকভাবে গণনা করতে, এর পরিবর্তে এমন পরিসংখ্যানগত মেট্রিক ব্যবহার করুন যা নিছক সুযোগের বাইরে নির্ভরযোগ্যতা পরিমাপ করে:

• দুজন লেবেলারের জন্য কোহেনের কাপ্পা ।

• তিন বা ততোধিক লেবেলারের জন্য ফ্লেইসের কাপ্পা ।

• পরীক্ষা : কমপক্ষে 0.61 এর একটি কাপ্পা স্কোর অর্জনের লক্ষ্য রাখুন, যা যথেষ্ট সামঞ্জস্যের মানদণ্ড। 0 স্কোরের অর্থ হলো এলোমেলোভাবে অনুমান করার চেয়ে ভালো নয়, এবং 1.0 হলো নিখুঁত সামঞ্জস্য।

• সমাধান : যদি আপনার কাপা স্কোর 0.61 এর কম হয়, তাহলে আপনার মূল্যায়ন পদ্ধতিটি খুবই অস্পষ্ট। যে নমুনাগুলোতে আপনার বিশেষজ্ঞরা একমত হতে পারেননি, সেগুলোকে একত্রিত করুন, তাদের যুক্তিগুলো পর্যালোচনা করুন, সেই নির্দিষ্ট ব্যতিক্রমী ক্ষেত্রগুলো অন্তর্ভুক্ত করার জন্য মূল্যায়ন পদ্ধতিটি হালনাগাদ করুন এবং 0.61 না পৌঁছানো পর্যন্ত এই প্রক্রিয়াটি পুনরাবৃত্তি করুন। আপনার বিশেষজ্ঞরা একমত হলেই কেবল পরবর্তী ধাপে অগ্রসর হন।

আপনার বিশেষজ্ঞ লেবেলগুলি ভেঙে ফেলুন

আপনার ডেটা লেবেল করার জন্য যদি আপনি তিনজন বা তার বেশি মানব বিশেষজ্ঞ ব্যবহার করে থাকেন, তাহলে প্রতিটি নমুনার জন্য তাদের ভোটগুলোকে একত্রিত করে একটি একক সংখ্যাগরিষ্ঠ রেটিং তৈরি করুন। এই তালিকাটিই আপনার গ্রাউন্ড ট্রুথ বা চূড়ান্ত সত্য হয়ে উঠবে।

বিচারককে কনফিগার করুন

বেসিক জাজের জন্য যেমনটা করেছিলেন, ঠিক সেভাবেই আপনাকে আপনার মডেলের প্যারামিটারগুলো কনফিগার করতে হবে এবং আপনার প্রম্পট লিখতে হবে। আপনার সিস্টেমের নির্দেশাবলী একটি কঠোর বিশেষজ্ঞ পার্সোনাতে সেট করুন এবং সর্বোচ্চ সামঞ্জস্যের জন্য টেম্পারেচার 0 -তে রাখুন। আপনার প্রম্পটে, ডেটা গ্রেড করার জন্য আপনার মানব বিশেষজ্ঞরা যে সুনির্দিষ্ট রুব্রিকটি ব্যবহার করেছেন, তা উল্লেখ করুন। জাজকে ঠিক কীভাবে যুক্তি দিতে হবে তা দেখানোর জন্য, আপনার বিশেষজ্ঞ-লেবেলযুক্ত কয়েকটি স্যাম্পলকে ফিউ-শট উদাহরণ হিসেবে যোগ করুন।

বিচারককে সারিবদ্ধ করুন এবং পরীক্ষা করুন

একবার আপনার মানব বিশেষজ্ঞরা একমত হলে, এবার দেখার পালা এলএলএম বিচারক তাদের সাথে একমত হন কি না।

আমাদের প্রাথমিক সেটআপে, আমরা সরাসরি অ্যালাইনমেন্ট (সঠিকতা) দেখতাম। কিন্তু শুধু এই সংখ্যাটিই বিভ্রান্তিকর হতে পারে। কল্পনা করুন, আপনার পরীক্ষার তথ্যের ৯০% PASS । একজন অলস বিচারক প্রতিবারই PASS আউটপুট দিতে পারেন এবং একটিও আপত্তিকর নীতিবাক্য ধরতে ব্যর্থ হয়েও ৯০% সঠিকতা স্কোর করতে পারেন।

একটি ইতিবাচক শ্রেণী সংজ্ঞায়িত করুন

আপনার পজিটিভ ক্লাস নির্ধারণ করুন। আপনার পজিটিভ ক্লাস, যাকে টার্গেট কন্ডিশন বা ইভেন্ট অফ ইন্টারেস্টও বলা হয়, হলো সেই নির্দিষ্ট ফলাফল যা আপনি শনাক্ত, পরিমাপ বা চিহ্নিত করতে চাইছেন। আপনার ইভ্যালুয়েশন পাইপলাইন একজন গেটকিপার হিসেবে কাজ করে: এর প্রধান লক্ষ্য হলো ত্রুটিপূর্ণ আউটপুটগুলো ধরে ফেলা এবং ব্লক করা।

যদি ধরে নেওয়া হয় যে থিমবিল্ডার সাধারণত ব্র্যান্ডের সাথে সামঞ্জস্যপূর্ণ স্লোগান ও প্যালেট তৈরিতে পারদর্শী, এবং আপত্তিকর নীতিবাক্যও একটি বিরল ঘটনা, তাহলে আপনার সমস্ত মূল্যায়ন মানদণ্ডের জন্য ইতিবাচক ফলাফলটি হলো ' FAIL ।

এই বিষয়টি মাথায় রেখে:

• ফলস পজিটিভ হলো ভালো আউটপুট, যেগুলোকে ভুলবশত ব্যর্থ FAIL হিসেবে চিহ্নিত করা হয়।
• ফলস নেগেটিভ হলো FAIL যা শনাক্ত করা যায়নি।
• ট্রু পজিটিভ হলো সঠিকভাবে চিহ্নিত FAIL )।

নির্ভুলতা এবং স্মরণ

আপনার পজিটিভ ক্লাসকে মাথায় রেখে, আপনি এখন প্রিসিশন এবং রিকল ব্যবহার করতে পারেন, যা র অ্যালাইনমেন্টের চেয়ে উন্নততর মেট্রিক:

• নির্ভুলতা : যখন এলএলএম বিচারক FAIL বলেন, তখন তা কতবার সঠিক ছিল? উদাহরণস্বরূপ: যখন বিচারক একটি নীতিবাক্যকে ক্ষতিকর হিসেবে চিহ্নিত করেন, তখন তা আসলে কতবার সঠিক ছিল?
• স্মরণ করুন : যখন মানুষটি FAIL বলে, তখন এলএলএম বিচারক কতবার তা ধরতে পেরেছিলেন? উদাহরণস্বরূপ: সমস্ত সত্যিকারের ক্ষতিকর কাজ এবং ব্র্যান্ডের সাথে বেমানান সমস্ত নীতিবাক্য ও রঙের বিন্যাসের মধ্যে বিচারক কয়টি ধরতে পেরেছিলেন?

ভুলের পরিণাম বুঝুন + লক্ষ্যমাত্রা ও স্কোর নির্ধারণ করুন

নিজেকে প্রশ্নটি করুন: আপনার অ্যাপ্লিকেশনের জন্য কোন ভুলটি বেশি ক্ষতিকর?

• বিষাক্ততা : বিষাক্ততা একটি নিরাপত্তা সংক্রান্ত বিষয়। আমরা প্রতিটি বিষাক্ত নীতিবাক্য শনাক্ত করতে চাই (ফলস নেগেটিভ কমানো), এমনকি এর জন্য যদি আমাদের বিচারক মাঝে মাঝে অতিরিক্ত কঠোর হয়ে একটি নিরাপদ নীতিবাক্যকেও চিহ্নিত করে ফেলেন। একটি নিরাপদ নীতিবাক্য চিহ্নিত করার (ফলস পজিটিভ) অর্থ হলো সামান্য বিলম্ব বা মানুষের দ্বারা পর্যালোচনা। তাই আমাদের লক্ষ্য হলো ১০০% রিকল । প্রিসিশন এর চেয়ে কম হতে পারে।
• ব্র্যান্ড ফিট : আমাদের একটি ভারসাম্য প্রয়োজন। খারাপ ডিজাইন বাদ দেওয়া এবং ভালো ডিজাইন বাতিল করা, দুটোই সমানভাবে ব্যয়বহুল। তাই আমরা একটি শক্তিশালী প্রিসিশন এবং রিকল চাই।

এফ১ স্কোর

যখন রিকল বাড়ে, প্রিসিশন প্রায়শই কমে যায়। টক্সিসিটির ক্ষেত্রে এটি কোনো সমস্যা নয়, কারণ এক্ষেত্রে আপনার আগ্রহ শুধু রিকলের ওপরই।

ব্র্যান্ড ফিটের জন্য রিকল এবং প্রিসিশন উভয়ই গুরুত্বপূর্ণ। এই গুরুত্বের মধ্যে ভারসাম্য আনতে, আপনি একটি নতুন মেট্রিক ব্যবহার করতে পারেন: এফ _-১ । আপনার এফ _-১ স্কোর প্রিসিশন এবং রিকলকে একটি একক, ভারসাম্যপূর্ণ মেট্রিক-এ একত্রিত করে।

সারিবদ্ধতায় পৌঁছান

বিশেষজ্ঞদের দ্বারা লেবেল করা ডেটাসেটের উপর আপনার জাজ (Judge) চালান এবং আপনার প্রতিটি মানদণ্ডের জন্য অ্যাকুরেসি, প্রিসিশন, রিকল এবং এফ _-১ স্কোর গণনা করুন। আপনি আপনার লক্ষ্যগুলো পূরণ করছেন কিনা তা মূল্যায়ন করুন।

অন্যথায়, ব্যর্থতার ঘটনাগুলোকে একত্রিত করুন এবং এলএলএম-এর যুক্তিগুলো পড়ুন। মেট্রিকগুলো আপনার লক্ষ্যমাত্রায় না পৌঁছানো পর্যন্ত ঘাটতিগুলো পূরণ করার জন্য বিচারকের সিস্টেমের নির্দেশাবলী এবং স্কোরিং রুব্রিক আপডেট করুন।

একবার আপনার বিচারক আপনার লক্ষ্যগুলো পূরণ করলে, আপনার বিচারক সঠিক পথে চালিত হন।

চূড়ান্ত যাচাইকরণ

এখন, আমরা বেসিক জাজ সেটআপে আলোচিত ঠিক একই ধাপগুলো ব্যবহার করে আমাদের জাজকে ভ্যালিডেট করব, তবে আপনার নতুন অ্যাডভান্সড মেট্রিকগুলো প্রয়োগ করব:

• বুটস্ট্র্যাপিং সহ স্ট্রেস-টেস্ট : প্রতিস্থাপন সহ আপনার ডেটাসেটটি ১০ বার র‍্যান্ডমভাবে রিস্যাম্পল করুন। আপনার উচ্চ স্কোরগুলো যে শুধু ভাগ্যের ফল নয়, তা গাণিতিকভাবে প্রমাণ করার জন্য এই রানগুলো জুড়ে আপনার প্রিসিশন, রিকল এবং এফ _-১ স্কোরের ভ্যারিয়েন্স গণনা করুন।
• স্ব-সামঞ্জস্যতা পরীক্ষা করুন : বিচারকের রায়গুলো ১০০% স্থিতিশীল কিনা তা নিশ্চিত করতে হুবহু একই ইনপুট একাধিকবার চালান। আমরা চাই সমস্ত পুনরাবৃত্তি জুড়ে তারতম্য শূন্য হোক ।
• জাজকে একটি চূড়ান্ত পরীক্ষা দিন : ১৫ থেকে ২০টি নতুন, বিশেষজ্ঞ-লেবেলযুক্ত নমুনার একটি হোল্ড-আউট সেটের উপর জাজটিকে পরীক্ষা করুন, যা এটি আগে কখনও দেখেনি। এই লুকানো সেটের উপর কোহেনের কাপ্পা, প্রিসিশন, রিকল এবং এফ _-১ স্কোর গণনা করুন। যদি এই মেট্রিকগুলো কাছাকাছি থাকে, তবে এটি প্রমাণ করে যে আপনার জাজটি আপনার অ্যালাইনমেন্ট ডেটার সাথে ওভারফিট করেনি এবং বাস্তব জগতে জেনারেলাইজ করার জন্য প্রস্তুত!

বিচারককে পুনর্বিন্যাস করুন

কাজটি শেষ হলে, অভিনন্দন! আপনি একটি অত্যন্ত নির্ভরযোগ্য মূল্যায়ন প্রক্রিয়া তৈরি করেছেন।

যখনই আপনি আপনার অ্যাপ্লিকেশনের নির্ভর করা অন্তর্নিহিত LLM আপডেট করবেন, অথবা যখন আপনার অ্যাপ্লিকেশনের ফিচার সেটে মৌলিক পরিবর্তন আসবে, তখন আপনার জাজকে পুনরায় অ্যালাইন করতে মনে রাখবেন।