Отладка Gemini Nano

Томас Штайнер

Опубликовано: 28 февраля 2025 г.

Встроенный ИИ полагается на Gemini Nano для выполнения вывода для всех API. Иногда Gemini Nano может возвращать сообщение об ошибке или иным образом не возвращать ожидаемый вами результат. Вы можете просмотреть отладочную информацию для всех встроенных API ИИ , которые используют Gemini Nano. Сюда входят Prompt API, Summarizer API, Writer API и Rewriter API.

  1. Откройте Chrome и перейдите по адресу chrome://on-device-internals .
  2. Выберите Журналы событий .
  3. (Необязательно) Нажмите «Сброс» , чтобы загрузить JSON-файл со всей информацией о событиях.

Вы можете сообщить об ошибке , чтобы мы могли устранить ее в нашей реализации.

Отладка API Prompt

Например, в следующем сеансе пользователь запросил рифмующиеся слова из API Prompt.

const session = await LanguageModel.create({
  systemPrompt: "You are an API endpoint that returns rhymes as JSON for an input word."
});

await session.prompt([
  { role: "user", content: "house" },  
  { role: "assistant", content: "{\"input\": \"house\", \"output\": \"mouse\"}" },
  { role: "user", content: "file"},  
]);

Ответ модели был следующим (отформатирован для удобства чтения):

```json
[]
```

**Reasoning:**

The input you provided (empty arrays) is an empty list or array in JSON format.
When you try to find rhymes for an empty list, you're essentially looking for
words that rhyme with nothing.


Therefore, there are no rhymes to return. The JSON response will be an empty
array `[]`."

Почему модель не вернула сообщение JSON с рифмующимся словом, в идеале {"input": "file", "output": "pile"} ? Хотя на момент написания статьи структурированный вывод еще не реализован, ответ должен хотя бы каким-то образом выполнить задачу рифмовки.

Чтобы отладить эту ошибку, посетите chrome://on-device-internals/ и перейдите на вкладку Event Logs . Журнал показывает, что проблема была в интерпретации подсказки моделью. Вместо JSON модель поняла ввод как строку: [object Object],[object Object],[object Object] .

Вот полное отладочное сообщение, отформатированное для удобства чтения:

Executing model with input context of 0 tokens:
<system>You are an API endpoint that returns rhymes as JSON for an input word.<end>
with string: <user>[object Object],[object Object],[object Object]<end> <model>

Вкладка «Журналы событий» специальной страницы chrome://on-device-internals с отладочной информацией.

Мы добавили эту информацию в описание ошибки для проблемы модели. Prompt API, по-видимому, запускает toString() для входных данных JSON , что помогло команде инженеров выявить проблему.

Поделиться отзывом

Поделитесь своими отзывами об отладке, отправив отчет об ошибке .