כשאנחנו בונים תכונות באמצעות מודלים של AI באינטרנט, אנחנו בדרך כלל מסתמכים על פתרונות בצד השרת למודלים גדולים יותר. זה נכון במיוחד לגבי בינה מלאכותית גנרטיבית, שבה גם המודלים הקטנים ביותר גדולים פי אלף מהגודל החציוני של דף האינטרנט. הדבר נכון גם לגבי תרחישים אחרים לדוגמה של AI, שבהם המודלים יכולים לנוע בין 10 ל-100 מגה-בייט.
מאחר שהמודלים האלה לא משותפים בין אתרים, כל אתר צריך להוריד אותם במהלך טעינת הדף. זהו פתרון לא מעשי למפתחים ולמשתמשים
אומנם אפשר להשתמש ב-AI בצד השרת במודלים גדולים, אבל לגישות היברידיות ובמכשיר יש יתרונות משכנעים משלהן. כדי שהגישות האלה יהיו מעשיות, צריך להתייחס לגודל המודל ולמסירת המודל.
לכן אנחנו מפתחים ממשקי API ותכונות דפדפן לפלטפורמות אינטרנט, שנועדו לשלב מודלים של AI, כולל מודלים גדולים של שפה (LLM), ישירות בדפדפן. זה כולל את Gemini Nano, הגרסה היעילה ביותר של מודלי ה-LLM של Gemini, שתוכננה לפעול באופן מקומי ברוב המחשבים השולחניים והניידים המודרניים. בעזרת AI מובנה, האתר או אפליקציית האינטרנט יכולים לבצע משימות מבוססות-AI בלי שתצטרכו לפרוס או לנהל מודלים משלהם של AI.
כדאי לקרוא על היתרונות של ה-AI המובנה, תוכנית ההטמעה שלנו ואיך אפשר לנצל את הטכנולוגיה הזו.
כדאי לקבל הצצה מוקדמת
אנחנו זקוקים למשוב שלכם כדי לעצב את ממשקי ה-API, להבטיח שהם יתאימו לתרחישים לדוגמה שלכם, וכדי לעדכן את הדיונים שלנו עם ספקי דפדפנים אחרים לצורך תקינה.
אתם יכולים להצטרף לתוכנית טרום-השקה (Preview) מוקדמת כדי לתת משוב על רעיונות מובנים ל-AI בשלב מוקדם, ולגלות הזדמנויות לבדוק ממשקי API בתהליך באמצעות יצירת אב טיפוס מקומי.
מצטרפים לקבוצת ההודעות הציבוריות של מפתחי AI ל-Chrome ומקבלים התראות כשממשקי API חדשים יהיו זמינים.
היתרונות של טכנולוגיית AI מובנית למפתחי אתרים
באמצעות AI מובנה, הדפדפן מספק ומנהל את היסודות והמודלים של המומחים.
בהשוואה לטכנולוגיית ה-AI המובנית במכשיר, שאפשר לעשות זאת בעצמכם, יש לכם את היתרונות הבאים:
- קלות הפריסה: כשהדפדפן מפיץ את המודלים, הוא מביא בחשבון את יכולת המכשיר ומנהל את העדכונים במודל. כלומר, אתם לא אחראים להוריד או לעדכן מודלים גדולים דרך הרשת. לא צריך לפתור בעיות של פינוי נפח אחסון, תקציב זיכרון בזמן ריצה, עלויות שימוש ואתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: זמן הריצה של ה-AI בדפדפן עבר אופטימיזציה כדי להפיק את המיטב מהחומרה הזמינה, בין אם מדובר ב-GPU, ב-NPU או בחזרה למעבד (CPU). כתוצאה מכך, האפליקציה שלכם יכולה להניב את הביצועים הטובים ביותר בכל מכשיר.
יתרונות הריצה במכשיר
בזכות הגישה המובנית של הבינה המלאכותית, לא צריך לבצע משימות AI במכשיר, וזה הופך את הדברים הבאים:
- עיבוד מקומי של מידע אישי רגיש: טכנולוגיית AI במכשיר יכולה לשפר את חוויית הפרטיות שלכם. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו להציע למשתמשים תכונות AI עם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, כשאתם עוזבים את המסלול הלוך ושוב לשרת, אתם יכולים להציע תוצאות כמעט מיידיות. הבינה המלאכותית במכשיר יכולה להיות ההבדל בין תכונה אפשרית לבין חוויית משתמש לא אופטימלית.
- גישה רחבה יותר ל-AI: המכשירים של המשתמשים יוכלו לקחת חלק מעומס העיבוד בתמורה לגישה רחבה יותר לתכונות. לדוגמה, אם אתם מציעים תכונות פרימיום של AI, תוכלו לראות תצוגה מקדימה שלהן בעזרת AI במכשיר, כדי שלקוחות פוטנציאליים יוכלו לראות את היתרונות של המוצר שלכם – בלי שתצטרכו לשלם יותר על השימוש בתכונות האלה. הגישה ההיברידית הזו יכולה גם לעזור לכם לנהל את העלויות של הסקת המסקנות, במיוחד את התהליכים שמשתמשים בהם לעתים קרובות.
- שימוש ב-AI אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם אם אין חיבור לאינטרנט. המשמעות היא שהאתרים והאפליקציות שלכם יכולים לפעול כצפוי, גם במצב אופליין או עם קישוריות משתנה.
בינה מלאכותית היברידית: במכשיר ובצד השרת
טכנולוגיית AI במכשיר יכולה לטפל במגוון רחב של תרחישים לדוגמה, אבל יש תרחישים מסוימים שמחייבים תמיכה בצד השרת.
לדוגמה, יכול להיות שתצטרכו להשתמש בדגמים גדולים יותר או לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
אפשר לשקול גישות היברידיות, בהתאם לגורמים הבאים:
- מורכבות: קל יותר לתמוך בתרחישים ספציפיים ונגישים באמצעות AI במכשיר. בתרחישים מורכבים לדוגמה, כדאי לשקול הטמעה בצד השרת.
- עמידות: שימוש בצד השרת כברירת מחדל, ושימוש במכשיר כשהמכשיר במצב אופליין או כשהחיבור לא יציב.
- חזרה פשוטה: תהליך ההטמעה של דפדפנים עם AI מובנה יימשך זמן מה, יכול להיות שחלק מהדגמים לא יהיו זמינים ומכשירים ישנים יותר או פחות חזקים לא יעמדו בדרישות החומרה להפעלת כל הדגמים בצורה אופטימלית. להציע למשתמשים האלה יכולות AI בצד השרת.
במודלים של Gemini, אפשר להשתמש בשילוב של הקצה העורפי (באמצעות Python, Go, Node.js או REST) או להטמיע באפליקציית האינטרנט באמצעות Google AI Client SDK for Web.
ארכיטקטורת דפדפנים וממשקי API
כדי לתמוך ב-AI מובנה ב-Chrome, יצרנו תשתית שמספקת גישה למודלים בסיסיים ולמודלים מתקדמים להפעלה במכשיר. התשתית הזו כבר מספקת תכונות חדשניות לדפדפן, כמו עזרה בכתיבה, ובקרוב היא תפעיל ממשקי API ל-AI במכשיר.
תהיה לכם גישה ליכולות ה-AI המובנות בעיקר באמצעות ממשקי API למשימות, כמו תרגום API או API לסיכום. ממשקי API למשימות נועדו להריץ הסקת מסקנות בהתאם למודל הטוב ביותר להקצאה.
ב-Chrome, ממשקי ה-API האלה מיועדים להריץ הסקת מסקנות כנגד Gemini Nano באמצעות כוונון עדין או מודל מומחה. Gemini Nano, שמיועד לפעול באופן מקומי ברוב המכשירים המודרניים, הוא המתאים ביותר לתרחישים שקשורים לשפה, כמו סיכום, ניסוח מחדש או סיווג לקטגוריות.
אנחנו מתכננים גם לספק ממשקי API מחקריים, כדי שתוכלו להתנסות באופן מקומי ולשתף תרחישים לדוגמה נוספים.
לדוגמה:
- Prompt API: שולחים משימה שרירותית, מבוטאת בשפה טבעית, למודל השפה הגדול (LLM) המובנה ב-Chrome (Gemini Nano ב-Chrome).
- Fine-tuning (LoRA) API: כדי לשפר את הביצועים של ה-LLM המובנה במשימה, אפשר לשנות את המשקולות של המודל באמצעות כוונון עדין של Low-Rank Adaptation.
מתי כדאי להשתמש בבינה מלאכותית (AI) מובנית
פירטנו כאן כמה דרכים שבהן טכנולוגיית AI מובנית תוכל להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן משופרת באמצעות AI: כולל סיכום, תרגום, מענה על שאלות לגבי תכנים מסוימים, סיווג ואפיון.
- יצירת תוכן עם תמיכה באמצעות AI: למשל, עזרה בכתיבה, הגהה, תיקון דקדוק וניסוח מחדש.
המאמרים הבאים
אנחנו מזמינים אתכם להצטרף לתוכנית טרום-ההשקה (Preview) מוקדמת כדי להתנסות בממשקי AI מובנות בשלב מוקדם.
בינתיים, תוכלו ללמוד איך להשתמש ב-Gemini Pro בשרתים של Google עם האתרים ואפליקציות האינטרנט שלכם, במדריך למתחילים של Google AI JavaScript SDK.