ניפוי באגים במודל המובנה

Thomas Steiner

תאריך פרסום: 28 בפברואר 2025

ב-Chrome, ה-AI המובנה מסתמך על מודלים בסיסיים ומודלים של מומחים כדי לבצע הסקה לכל ממשקי ה-API. יכול להיות שהמודל יחזיר הודעת שגיאה או לא יחזיר את התוצאה שציפיתם לקבל. אפשר לעיין במידע על ניפוי הבאגים של כל ממשקי ה-API המובנים של AI שמשתמשים במודלים בסיסיים ובמודלים של מומחים. הם כוללים את Prompt API,‏ Summarizer API,‏ Writer API ו-Rewriter API.

  1. פותחים את Chrome ועוברים אל chrome://on-device-internals.
  2. בוחרים באפשרות יומני אירועים.
  3. (אופציונלי) לוחצים על Dump כדי להוריד קובץ JSON עם כל פרטי האירוע.

אפשר לדווח על באג כדי שנוכל לטפל בשגיאה הזו בהטמעה שלנו.

ניפוי באגים ב-Prompt API

לדוגמה, בסשן הבא המשתמש ביקש מילים מתחרזות מ-Prompt API.

const session = await LanguageModel.create({
  systemPrompt: "You are an API endpoint that returns rhymes as JSON for an input word."
});

await session.prompt([
  { role: "user", content: "house" },  
  { role: "assistant", content: "{\"input\": \"house\", \"output\": \"mouse\"}" },
  { role: "user", content: "file"},  
]);

התשובה של המודל הייתה כדלקמן, בפורמט שקל לקרוא:

```json
[]
```

**Reasoning:**

The input you provided (empty arrays) is an empty list or array in JSON format.
When you try to find rhymes for an empty list, you're essentially looking for
words that rhyme with nothing.


Therefore, there are no rhymes to return. The JSON response will be an empty
array `[]`."

למה המודל לא החזיר הודעת JSON עם מילה מתחרזת, באופן אידיאלי, {"input": "file", "output": "pile"}? למרות שפלט מובנה עדיין לא מיושם בזמן כתיבת המאמר הזה, התשובה צריכה איכשהו לבצע את משימת החרוזים.

כדי לנפות באגים בשגיאה הזו, אפשר להיכנס אל chrome://on-device-internals/ ולעבור לכרטיסייה Event Logs (יומני אירועים). היומן מגלה שהבעיה הייתה בפרשנות של ההנחיה על ידי המודל. במקום JSON, המודל הבין את הקלט כמחרוזת: [object Object],[object Object],[object Object].

הודעת ניפוי הבאגים המלאה, בפורמט קריא:

Executing model with input context of 0 tokens:
<system>You are an API endpoint that returns rhymes as JSON for an input word.<end>
with string: <user>[object Object],[object Object],[object Object]<end> <model>

הכרטיסייה &#39;יומני אירועים&#39; בדף המיוחד chrome://on-device-internals עם מידע לניפוי באגים.

הוספנו את המידע הזה לבאג שקשור לבעיה במודל, Prompt API seems to run toString() on JSON input, שעזר לצוות המהנדסים לזהות את הבעיה.

שיתוף משוב

כדי לשתף את המשוב על ניפוי הבאגים, אפשר לשלוח דוח על באג.