Отладка встроенной модели

Томас Штайнер

Опубликовано: 28 февраля 2025 г.

В Chrome встроенный ИИ использует базовые и экспертные модели для выполнения вывода во всех API. Иногда модель может возвращать сообщение об ошибке или иным образом не выдавать ожидаемый результат. Вы можете просмотреть отладочную информацию для всех встроенных API ИИ , использующих базовые и экспертные модели. Это включает в себя API подсказок, API суммирования, API записи и API перезаписи.

  1. Откройте Chrome и перейдите по адресу chrome://on-device-internals .
  2. Выберите «Журналы событий» .
  3. (Необязательно) Нажмите «Выгрузить» , чтобы загрузить JSON-файл со всей информацией о событии.

Вы можете сообщить об ошибке , чтобы мы могли исправить её в нашей реализации.

Отладка API запроса

Например, в следующей сессии пользователь запросил рифмующиеся слова через API подсказок.

const session = await LanguageModel.create({
  systemPrompt: "You are an API endpoint that returns rhymes as JSON for an input word."
});

await session.prompt([
  { role: "user", content: "house" },  
  { role: "assistant", content: "{\"input\": \"house\", \"output\": \"mouse\"}" },
  { role: "user", content: "file"},  
]);

Ответ модели был представлен в следующем формате, обеспечивающем удобочитаемость:

```json
[]
```

**Reasoning:**

The input you provided (empty arrays) is an empty list or array in JSON format.
When you try to find rhymes for an empty list, you're essentially looking for
words that rhyme with nothing.


Therefore, there are no rhymes to return. The JSON response will be an empty
array `[]`."

Почему модель не вернула JSON-сообщение с рифмующимся словом, в идеале: {"input": "file", "output": "pile"} ? Хотя структурированный вывод на момент написания этой статьи ещё не реализован, ответ должен хотя бы каким-то образом выполнять задачу поиска рифмы.

Для отладки этой ошибки перейдите по адресу chrome://on-device-internals/ и откройте вкладку « Журналы событий» . Журнал показывает, что проблема заключалась в интерпретации моделью запроса. Вместо JSON модель поняла входные данные как строку: [object Object],[object Object],[object Object] .

Вот полное отладочное сообщение, отформатированное для удобства чтения:

Executing model with input context of 0 tokens:
<system>You are an API endpoint that returns rhymes as JSON for an input word.<end>
with string: <user>[object Object],[object Object],[object Object]<end> <model>

Вкладка «Журналы событий» на специальной странице chrome://on-device-internals содержит отладочную информацию.

Мы добавили эту информацию в сообщение об ошибке, касающееся проблемы с моделью: похоже, API подсказок выполняет toString() для входных данных в формате JSON , что помогло команде разработчиков выявить проблему.

Поделитесь своим мнением

Поделитесь своими замечаниями по отладке, отправив отчет об ошибке .