Создание базовой модели судьи (часть 2)

Завершите настройку базовой модели оценки, чтобы запустить субъективные оценки.

Maud Nalpas

Выровняйте и проверьте судью.

У вас есть первоначальный судья, но пока вы не можете ему доверять. Ваш судья будет готов только тогда, когда он будет последовательно совпадать с человеческим суждением.

Создайте набор данных для выравнивания.

Для калибровки вашего судьи вам потребуется набор данных о соответствии. Это небольшой, высококачественный набор входных и выходных данных, оцененных вручную людьми. Этот набор данных служит эталоном . Вы будете использовать его для проверки того, что логика судьи последовательно соответствует вашим ожиданиям.

Ваш набор данных для выравнивания должен содержать 30-50 пар «вход-выход» . Набор достаточно большой, чтобы охватить некоторые крайние случаи, но достаточно маленький, чтобы вы могли разметить его за короткий промежуток времени.

В примере ThemeBuilder запись в наборе данных выравнивания выглядит следующим образом (входные данные, выходные данные, человеческая метка):

{
  "id": "sample-014",
  "userInput": {
    "companyName": "Rawrr!",
    "audience": "kids 5-10",
    "tone": ["prehistoric", "loud", "fun"]
  },
  "appOutput": {
    "motto": "Experiencing the prehistoric era."
  },
  "humanEvaluation": {
    "mottoBrandFit": {
      "label": "FAIL",
      "rationale": "While on-theme, this motto is too formal for kids.
        It fails to capture the required 'loud' and 'fun' energy."
    }
  }
}

Для генерации входных и выходных данных можно использовать производственные журналы (если они доступны), создавать данные вручную , использовать LLM ( синтетические данные ) или начать с нескольких отобранных вручную образцов и попросить LLM дополнить ваш набор данных .

Как только ваши входные и выходные данные будут готовы, используйте свою рубрику, чтобы вместе с командой обозначить результаты как PASS или FAIL . Это станет вашей эталонной информацией .

Убедитесь, что ваш набор данных для выравнивания включает как примеры PASS , так и примеры FAIL различной сложности, например:

• 10 примеров успешных сценариев, которые ваш судья должен отметить как PASS .
• 20 примеров дел, которые ваш судья должен признать FAIL :
  • Очевидные неудачи , например, крайне токсичный или совершенно не соответствующий бренду девиз.
  • Незначительные недостатки , например, девиз, грамматически безупречный, но слишком формальный для игривого бренда, или тот, который лишь частично соответствует тону.

Ваш судья на экзамене LLM — это своего рода привратник. Использование набора данных, содержащего больше случаев неудачи, чем успехов, дает вам больше возможностей скорректировать критерии оценки для выявления ошибок и, в конечном итоге, позволяет судье лучше обнаруживать нарушения.

Когда ваш набор данных для выравнивания будет готов, он должен выглядеть примерно так:

// Easy, clean input + Good output
{
  "id": "sample-001",
  "userInput": {
    "companyName": "Kinetica",
    "description": "Carbon-fiber plated performance footwear engineered for
    elite marathon runners.",
    "audience": "competitive triathletes and professional runners",
    "tone": [
      "aggressive",
      "high-performance",
      "technical"
    ]
  },
  "appOutput": {
    "motto": "Unlock your kinetic potential.",
    "colorPalette": {
      "textColor": "#FFFFFF",
      "backgroundColor": "#000000",
      "primary": "#DC2626",
      "secondary": "#E2E8F0"
    }
  },
  "humanEvaluation": {
    "mottoBrandFit": {
      "label": "PASS",
      "rationale": "This motto powerfully aligns the brand's technical
      engineering with the ambitious goals of its elite athletic audience.
      Relevance: Uses 'kinetic' to expertly link the brand to physical
      energy. Audience appeal: 'Unlock your potential' resonates perfectly
      with competitive runners. Tone consistency: Nails the required
      aggressive, high-performance marks."
    },
    "mottoToxicity": {
      "label": "PASS",
      "rationale": "Perfectly clean and motivational. No offensive or
      exclusionary language."
    },
    "colorBrandFit": {
      "label": "PASS",
      "rationale": "The chosen color palette perfectly mirrors Kinetica's
      aggressive and technical brand identity by utilizing high-impact tones
      that resonate with elite athletes. Relevance: Psychological association:
      Blood red creates urgency and speed. Harmony: Stark contrast against
      black/white feels highly technical.
      Appropriateness: Extremely effective aesthetic for premium athletic gear."
    }
  }
}

// Off-brand color palette
{
  "id": "sample-014",
  "userInput": {
    "companyName": "Rawrr!",
    "description": "Dinosaur themed playground and party venue.",
    "audience": "kids 5-10",
    "tone": [
      "prehistoric",
      "loud",
      "fun"
    ]
  },
  "appOutput": {
    "motto": "Experiencing the prehistoric era.",
    "colorPalette": {
      "textColor": "#4A4A4A",
      "backgroundColor": "#F5F5DC",
      "primary": "#D2B48C",
      "secondary": "#C0C0C0"
    }
  },
  "humanEvaluation": {
    "mottoBrandFit": {
      "label": "FAIL",
      "rationale": "While the motto relates to the dinosaur theme, its overly
      academic and formal tone fails to capture the loud and fun energy
      essential for a children's playground brand. Relevance: Effectively fits
      the dinosaur theme. Audience appeal: A bit formal ('Experiencing' versus
      something punchy), acceptable for parents booking events but should be
      more exciting for kids, it's too formal and academic for a children's
      playground, lacks the 'loud' and 'fun' energy requested in the tone.
      Tone consistency: It touches on the 'prehistoric' element adequately."
    },
    "mottoToxicity": {
      "label": "PASS",
      "rationale": "A completely family-friendly, educational-sounding statement."
    },
    "colorBrandFit": {
      "label": "FAIL",
      "rationale": "This muted and sophisticated color scheme fails to capture
      the high-energy, prehistoric spirit required to attract and excite a young
      audience. Relevance: Psychological association: The 'sad beige', tan, and
      muted greys evoke a sterile, 'adult minimalist' home décor aesthetic.
      Harmony: The colors are muddy and lifeless. Appropriateness: For a 'loud'
      and 'fun' children's playground targeting 5-10 year olds, this palette is
      a spectacular failure. It desperately needs vibrant, exciting primary
      colors to attract kids."
    }
  }
},

// Almost on-brand color palette
{
  "id": "sample-023",
  "userInput": {
    "companyName": "Apex Dental",
    "description": "High-end cosmetic dentistry specializing in porcelain
        veneers and laser whitening.",
    "audience": "Professionals seeking a perfect smile",
    "tone": [
      "clean",
      "professional",
      "bright"
    ]
  },
  "appOutput": {
    "motto": "Designing your brightest smile.",
    "colorPalette": {
      "textColor": "#1A202C",
      "backgroundColor": "#FFFFFF",
      "primary": "#FFC107",
      "secondary": "#E2E8F0"
    }
  },
  "humanEvaluation": {
    "mottoBrandFit": {
      "label": "PASS",
      "rationale": "The motto perfectly captures the premium essence of the
      brand by combining high-end dental aesthetics with a clear appeal to a
      professional clientele. Relevance: Relates perfectly to cosmetic
      dentistry and teeth whitening. Audience appeal: 'Brightest smile' is a
      highly effective, aspirational hook for professionals wanting to look
      their best. Tone consistency: Clean, upbeat, and exceedingly professional."
    },
    "mottoToxicity": {
      "label": "PASS",
      "rationale": "A very positive, medical-grade, and safe statement."
    },
    "colorBrandFit": {
      "label": "FAIL",
      "rationale": "The choice of bright yellow is a fundamental branding
      failure for a cosmetic dental practice as it creates a direct and
      repellent visual link to tooth discoloration, undermining the clinic's
      high-end whitening positioning. Relevance: Psychological association:
      While yellow technically fulfills the word 'bright', in the specific
      context of dentistry, a primary bright yellow is subconsciously and
      intensely associated with plaque, decay, and stained teeth.
      Harmony: It stands out strongly but sends the wrong message.
      Appropriateness: This is a massive psychological misstep for a whitening
      clinic. It subverts trust in their core service by visually reminding
      customers of the problem rather than the solution."
    }
  }
},

Выравнивание по осям

Подготовив эталонные данные, пора сопоставить оценку судьи с оценками, данными человеком . Ваша цель — обеспечить, чтобы оценка судьи последовательно совпадала с вашей и имитировала человеческое суждение. Показатель соответствия можно рассчитать как процент оценок, созданных судьей, которые совпадают с оценками, созданными человеком.

// total = all test cases
// aligned = test cases where humanEval.label === llmJudgeEval.label
// For example, PASS and PASS
const alignment = (aligned / total) * 100;

Установите целевой показатель соответствия, например, 85%. Ваш целевой показатель может варьироваться в зависимости от конкретного случая.

Запустите модель оценки соответствия на основе вашего набора данных для выравнивания. Если оценка соответствия ниже целевого значения, прочтите обоснование оценки, чтобы понять, почему произошла ошибка. Измените инструкции системы и подсказки оценки, чтобы устранить несоответствия. Повторяйте это до тех пор, пока не достигнете целевого значения.

Передовые методы

Чтобы помочь судье выставлять оценки стабильно, следуйте этим рекомендациям:

• Избегайте переобучения. Инструкции должны быть обобщенными и не слишком специфичными для вашего набора данных выравнивания. Если вы дадите конкретные инструкции, например, избегать определенных фраз, судья отлично справится с этим конкретным тестом на выравнивание, но не сможет обобщить результаты на новые данные. Эта проблема известна как переобучение.
• Оптимизируйте инструкции вашей системы и оцените подсказки. Методы оптимизации подсказок включают ручную модификацию подсказок, обращение к другому специалисту по LLM с предложением улучшений или внесение изменений на основе комбинации этих методов. Методы оптимизации подсказок могут варьироваться от ручных до очень сложных, например, алгоритмы, имитирующие биологическую эволюцию . Ведите журнал внесенных изменений, чтобы при необходимости отменить их.

Чтобы увидеть, как работает выравнивание в ThemeBuilder, запустите тест выравнивания самостоятельно .

Стресс-тест с использованием самофинансирования

Достижение целевого показателя согласованности в 85% не гарантирует, что ваш судья будет хорошо работать с реальными данными. Проведите стресс-тест вашего судьи с помощью статистического приема, называемого бутстреппингом . Бутстреппинг создает новые версии вашего набора данных без дополнительных усилий по разметке.

** Тест: ** Случайным образом выберите 30 элементов из вашего набора данных с заменой . За один запуск сложный случай может быть выбран пять раз, что значительно усложнит тест. Запустите тест на выравнивание на этих случайных наборах несколько раз и рассчитайте среднее выравнивание и дисперсию оценки по всем этим запускам. Универсального числа нет, но 10 итераций — это хорошая отправная точка для проектов среднего размера. Для большей уверенности сделайте больше итераций. ** Исправление: ** Если ваша оценка выравнивания значительно колеблется (высокая дисперсия), ваш критерий оценки еще не надежен. Ваша первоначальная оценка была случайностью, обусловленной несколькими простыми случаями. Расширьте свою рубрику и добавьте в свой набор данных для выравнивания более разнообразные и сложные примеры.

Вы можете попробовать это сами .

Проверка самосогласованности

Судье можно доверять только в том случае, если он всегда дает один и тот же ответ на одни и те же входные данные. Если вы установили температуру на 0 , судья должен быть на 100% последовательным. Проверьте это.

• Тестирование : Запустите свой инструмент проверки несколько раз на одном и том же наборе данных, например, на случайно выбранном наборе данных для выравнивания. Вычислите дисперсию для каждого тестового случая по результатам этих повторений. Стремитесь к 100% согласованности (нулевой дисперсии). Если дисперсия больше нуля, тест не пройден, поскольку это означает, что ваш инструмент проверки дает разные ответы для одних и тех же входных данных.
• Исправление : Возможно, ваше задание для судьи неоднозначно или уровень сложности слишком высок. Перепишите те части задания, которые кажутся неясными, в частности, критерии оценки. Если это еще не сделано, понизьте уровень сложности до 0 (или установите уровень thinking_level на высокий).

Чтобы увидеть это в действии, проведите тест самостоятельно .

Итоговый экзамен

Метод бутстреппинга помог вам провести первоначальную проверку, чтобы предотвратить переобучение. Теперь вы проведете заключительный тест, используя новые данные. Это ваше окончательное подтверждение того, что судья может правильно оценивать новые входные данные.

• Тест : Сохраните отдельный набор данных для итогового экзамена, состоящий из 20 образцов, размеченных человеком, которые вы не использовали во время выравнивания. Проведите проверку с помощью вашего эксперта на этом наборе данных.
• Решение : Если ваш показатель соответствия остается высоким, судья готов! Если показатель резко падает, вы, вероятно, переобучились: вы слишком часто меняли условия задания, чтобы пройти проверку по вашим конкретным данным о соответствии. Расширьте задание, критерии оценки и количество примеров.

Чтобы увидеть это в действии, проведите тест самостоятельно .

Краткое содержание

Для создания базового судьи вы провели различные тесты, в том числе:

• Проверка правильности выравнивания позволяет определить, прав ли судья.
• Метод бутстреппинга и проверка чувствительности данных в итоговом экзаменационном тесте. Достаточно ли часто судья оказывается прав, сталкиваясь с новыми данными?
• Тест на самосогласованность измеряет системный шум , то есть, насколько внутренняя случайность, присущая самому эксперту LLM, влияет на результаты.