תאריך פרסום: 21 באוקטובר 2025
יכולות ה-AI המובנות שמבוססות על מודלים בסיסיים ומודלים מומחים נועדו לספק חוויה חלקה למשתמשים ולמפתחים. כשמשתמשים בממשק API מובנה של AI, ניהול המודל מתבצע אוטומטית ברקע. במאמר הזה מוסבר איך Chrome מטפל בהורדות, בעדכונים ובמחיקות של מודלים של AI.
הורדה ראשונית של המודל
כשמשתמש מוריד או מעדכן את Chrome, המודל מוריד לפי דרישה כדי לוודא ש-Chrome מוריד את המודל הנכון לחומרה של המשתמש.
ההורדה הראשונית של המודל מופעלת על ידי הקריאה הראשונה לפונקציה *.create() (לדוגמה, Summarizer.create()) של כל API מובנה של AI שתלוי ב-Gemini Nano. במקרה כזה, Chrome מריץ סדרה של בדיקות כדי לקבוע את דרך הפעולה הטובה ביותר.
קודם, Chrome מעריך את ביצועי ה-GPU של המכשיר על ידי הפעלת shader מייצג. על סמך התוצאות האלה, המערכת מחליטה אם:
- הורדה של גרסה גדולה יותר ומשוכללת יותר של Gemini Nano (למשל, עם 4 מיליארדי פרמטרים).
- הורדה של וריאנט קטן ויעיל יותר של Gemini Nano (כמו 2B פרמטרים).
- אם המכשיר עומד בדרישות סטטיות נפרדות, המערכת תעבור להסקת מסקנות מבוססת-CPU. אם המכשיר לא עומד בדרישות החומרה, הדגם לא יורד.
תהליך ההורדה בנוי כך שהוא עמיד:
- אם החיבור לאינטרנט מופסק, ההורדה ממשיכה מהמקום שבו היא נעצרה ברגע שהחיבור מתחדש.
- אם סוגרים את הכרטיסייה שהפעילה את ההורדה, ההורדה ממשיכה ברקע.
- אם הדפדפן נסגר, ההורדה תתחדש בהפעלה הבאה, בתנאי שהדפדפן ייפתח תוך 30 יום.
לפעמים, התקשרות אל availability() יכולה להפעיל את הורדת המודל. המצב הזה קורה אם השיחה מתבצעת זמן קצר אחרי הפעלה של פרופיל משתמש חדש, ואם התכונה זיהוי תרמיות שמבוסס על Gemini Nano פעילה.
הורדה של משקלי LoRA
חלק מממשקי ה-API, כמו Proofreader API, מסתמכים על משקלים של Low-Rank Adaptation (LoRA) שמוחלים על מודל הבסיס כדי להתאים את הפונקציה שלו. אם ה-API תלוי ב-LoRA, המשקלים של LoRA יורדים יחד עם מודל הבסיס. משקלים של LoRA עבור ממשקי API אחרים לא מורדים באופן יזום.
עדכונים אוטומטיים של מודלים
עדכונים למודל Gemini Nano מתפרסמים באופן קבוע. Chrome בודק אם יש עדכונים כאלה כשהדפדפן מופעל. בנוסף, Chrome בודק מדי יום אם יש עדכונים למקורות משלימים, כמו משקלים של LoRA. אי אפשר לשלוח שאילתה לגרסת המודל מ-JavaScript באופן אוטומטי, אבל אפשר לבדוק ידנית איזו גרסה מותקנת ב-chrome://on-device-internals.
תהליך העדכון נועד להיות חלק וללא הפרעות:
- דפדפן Chrome ממשיך לפעול עם המודל הנוכחי בזמן שהוא מוריד את הגרסה החדשה ברקע.
- אחרי שמורידים את המודל המעודכן, מתבצעת החלפה בזמן אמת, כלומר המודלים מוחלפים ללא השבתה. כל קריאה חדשה ל-AI API תשתמש מיד במודל החדש. הערה: יכול להיות שהנחיה שמופעלת בדיוק ברגע ההחלפה תיכשל.
- כל עדכון הוא הורדה מלאה של מודל חדש, ולא הורדה חלקית. הסיבה לכך היא שהמשקלים של המודלים יכולים להיות שונים באופן משמעותי בין הגרסאות, וחישוב הדלתאות והחלתן על קבצים גדולים כאלה יכולים להיות איטיים.
העדכונים כפופים לאותן דרישות כמו ההורדה הראשונית. עם זאת, אם מודל כבר מותקן, לא מתבצעת בדיקה ראשונית של המקום בדיסק. אפשר גם לעדכן את משקלי LoRA. אפשר להחיל גרסה חדשה של משקלי LoRA על מודל בסיס קיים. עם זאת, גרסה חדשה של מודל בסיסי תמיד דורשת קבוצה חדשה של משקלי LoRA.
מחיקת מודל
Chrome מנהל באופן פעיל את נפח האחסון בדיסק כדי לוודא שלא ייגמר למשתמש. מודל Gemini Nano נמחק באופן אוטומטי אם נפח האחסון הפנוי במכשיר יורד מתחת לסף מסוים. בנוסף, המודל נמחק אם מדיניות ארגונית משביתה את התכונה, או אם משתמש לא עומד בקריטריונים אחרים לזכאות במשך 30 ימים. דרישות הסף עשויות לכלול שימוש בממשקי API ויכולות המכשיר. תהליך ההסרה מאופיין במאפיינים הבאים:
- אפשר למחוק את המודל בכל שלב, גם באמצע סשן, בלי קשר להנחיות שמופעלות. המשמעות היא ש-API שהיה זמין בתחילת סשן יכול להפוך פתאום ללא זמין.
- אחרי שהמודל נמחק, הוא לא יורד מחדש באופן אוטומטי. הורדה חדשה צריכה להיות מופעלת על ידי אפליקציה שקוראת לפונקציה
*.create(). - כשמודל הבסיס נמחק, גם משקלי LoRA שקשורים אליו נמחקים אחרי תקופת חסד של 30 יום.
התפקיד שלכם בניהול מודלים
כדי לספק חוויית משתמש טובה, חשוב להבין את מחזור החיים של מודל ה-AI המובנה. ההורדה של המודל היא לא חד-פעמית, צריך גם להיות מודעים לאפשרות שהמודל ייעלם פתאום שוב בגלל לחץ על שטח הדיסק, או שהמודל יתעדכן כשגרסה חדשה תצא. הדפדפן מטפל בכל זה.
אם תפעלו לפי השיטות המומלצות להורדת המודל, תוכלו ליצור חוויית משתמש טובה בהורדה הראשונית, בהורדות חוזרות ובעדכונים.