כשאנחנו מפתחים תכונות באמצעות מודלים של AI באינטרנט, אנחנו בדרך כלל מסתמכים על פתרונות בצד השרת למודלים גדולים יותר. זה נכון במיוחד לגבי בינה מלאכותית גנרטיבית, שבה גם המודלים הקטנים ביותר גדולים פי אלף מהגודל החציוני של דף האינטרנט. זה נכון גם לתרחישים אחרים לדוגמה בתחום ה-AI, שבהם המודלים יכולים לנוע בין 10 ל-100 מגה-בייט.
מאחר שהמודלים האלה לא משותפים בין אתרים, כל אתר צריך להוריד אותם מיד עם טעינת הדף. זהו פתרון לא פרקטי למפתחים ולמשתמשים
ל-AI בצד השרת יש אפשרות מצוינת למודלים גדולים, אבל לגישות היברידיות במכשירים ובפלטפורמות היברידיות יש יתרונות משכנעים. כדי ליישם את הגישות האלה, אנחנו צריכים להתייחס לגודל המודל ולאופן שבו ניתן לבצע אותו.
לכן אנחנו מפתחים ממשקי API לפלטפורמות אינטרנט ותכונות דפדפן שנועדו לשלב מודלים של AI, כולל מודלים גדולים של שפה (LLM), ישירות בדפדפן. הוא כולל את Gemini Nano, הגרסה היעילה ביותר של משפחת המודלים מסוג LLM של Gemini, שתוכננה לפעול באופן מקומי ברוב המחשבים הניידים והמחשבים המודרניים. באמצעות AI מובנה, האתר או אפליקציית האינטרנט שלכם יכולים לבצע משימות מבוססות-AI בלי שתצטרכו לפרוס או לנהל מודלים של AI משלהם.
כדאי לקרוא על היתרונות של AI מובנה, על תוכנית ההטמעה שלנו ואיך אפשר לנצל את הטכנולוגיה הזו.
הצצה מוקדמת
אנחנו צריכים את המשוב שלכם כדי לתכנן את ממשקי ה-API, להבטיח שהם עונים על התרחישים לדוגמה שלכם, וכדי לעדכן את הדיונים שלנו עם ספקי דפדפנים אחרים לצורך סטנדרטיזציה.
כדאי להצטרף לתוכנית טרום-השקה (Preview) כדי לתת משוב על רעיונות מבוססי-AI מובנים בשלב מוקדם, ולגלות הזדמנויות לבדוק ממשקי API שנמצאים בתהליך באמצעות יצירת אב טיפוס מקומית.
הצטרפו לקבוצת ההודעות הציבוריות למפתחי AI של Chrome כדי לקבל הודעה כשממשקי API חדשים יהיו זמינים.
היתרונות של AI מובנה למפתחי אתרים
באמצעות AI מובנה, הדפדפן מספק ומנהל בסיס ומודלים של מומחים.
בהשוואה לבינה מלאכותית (AI) במכשיר, אפשר ליהנות מהיתרונות הבאים:
- קלות הפריסה: כשהדפדפן מפיץ את המודלים, הוא לוקח בחשבון את יכולת המכשיר ומנהל את העדכונים למודל. כלומר, אתם לא אחראים להורדה או לעדכון של מודלים גדולים ברשת. לא צריך לדאוג לפינוי נפח האחסון, לתקציב על הזיכרון בזמן הריצה, לעלויות הפרסום ולאתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: סביבת זמן הריצה של AI בדפדפן עברה אופטימיזציה כדי להפיק את המקסימום מהחומרה הזמינה, למשל GPU, NPU או חזרה למעבד (CPU). לכן האפליקציה יכולה להניב את הביצועים הכי טובים בכל מכשיר.
יתרונות של ריצה במכשיר
בזכות הגישה המובנית של ה-AI, קשה יותר לבצע משימות AI במכשיר, וכתוצאה מכך יש את היתרונות הבאים:
- עיבוד מקומי של מידע אישי רגיש: AI במכשיר יכול לשפר את סיפור הפרטיות שלכם. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו להציע למשתמשים תכונות AI עם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, העברה של הנסיעה הלוך ושוב לשרת מאפשרת להציג תוצאות כמעט מיידיות. ה-AI במכשיר יכול להיות ההבדל בין פיצ'ר שמיש לבין חוויית משתמש לא אופטימלית.
- גישה רחבה יותר ל-AI: המכשירים של המשתמשים שלכם יוכלו לעבור חלק מעומס העיבוד בתמורה לגישה רבה יותר לתכונות. לדוגמה, אם אתם מציעים תכונות פרימיום מבוססות-AI, תוכלו להשתמש בתצוגה מקדימה של התכונות האלה עם AI במכשיר, כדי שלקוחות פוטנציאליים יוכלו לראות את היתרונות של המוצר בלי שתצטרכו להיות בתשלום נוסף. הגישה ההיברידית הזו יכולה גם לעזור לכם לנהל את עלויות ההסקה, במיוחד על תהליכי עבודה של משתמשים בתדירות גבוהה.
- שימוש ב-AI אופליין: המשתמשים יכולים לגשת לתכונות AI גם כשאין חיבור לאינטרנט. המשמעות היא שהאתרים ואפליקציות האינטרנט יכולים לפעול כצפוי באופן לא מקוון או עם קישוריות משתנה.
בינה מלאכותית היברידית: במכשיר ובצד השרת
טכנולוגיית ה-AI במכשיר יכולה לטפל במגוון רחב של תרחישים לדוגמה, אבל יש תרחישי שימוש מסוימים שדורשים תמיכה בצד השרת.
לדוגמה, יכול להיות שתצטרכו להשתמש בדגמים גדולים יותר או לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
לשקול גישות היברידיות התלויות ב:
- מורכבות: קל יותר לתמוך בתרחישים לדוגמה ספציפיים ונגישים באמצעות AI במכשיר. בתרחישים מורכבים לדוגמה, כדאי לבצע את ההטמעה בצד השרת.
- גמישות: אפשר להשתמש בצד השרת כברירת מחדל, ולהשתמש במכשיר במכשיר כשהוא אופליין או בחיבור לא יציב.
- חלופה חכמה: השימוש בדפדפנים עם AI מובנה יכול להימשך זמן מה, יכול להיות שחלק מהמודלים לא יהיו זמינים ושמכשירים ישנים יותר או פחות חזקים לא יעמדו בדרישות החומרה להפעלה אופטימלית של כל הדגמים. להציע למשתמשים האלה AI בצד השרת.
במודלים של Gemini, אפשר להשתמש בשילוב של קצה עורפי (עם Python, Go, Node.js או REST) או להטמיע באפליקציית האינטרנט באמצעות ה-SDK החדש של לקוח AI מבית Google.
ארכיטקטורה וממשקי API לדפדפנים
כדי לתמוך ב-AI מובנה ב-Chrome, יצרנו תשתית לגישה למודלים בסיסיים ומודלים של מומחים להפעלה במכשיר. התשתית הזו כבר מפעילה תכונות חדשניות בדפדפן, כמו עזרה בכתיבה, ובקרוב תפעיל ממשקי API ל-AI במכשיר.
תהיה לכם גישה ליכולות של AI מובנות בעיקר באמצעות ממשקי API של משימות, כמו Translation API או API לסיכום. ממשקי ה-API למשימות מיועדים להריץ הסקת מסקנות לפי המודל הטוב ביותר למשימה.
ב-Chrome, ממשקי ה-API האלה מיועדים להריץ מסקנות מול Gemini Nano באמצעות כוונון עדין או מודל מומחה. Gemini Nano מיועד לפעול באופן מקומי ברוב המכשירים המודרניים. הוא מתאים לתרחישים לדוגמה שקשורים לשפה, כמו סיכום, תיאור מחדש או סיווג.
בנוסף, אנחנו מתכוונים לספק ממשקי API לניתוח נתונים, כדי שתוכלו להתנסות באופן מקומי ולשתף תרחישים נוספים לדוגמה.
לדוגמה, אנחנו יכולים לספק:
- Prompt API: שליחת משימה שרירותית, בשפה טבעית, למודל שפה גדול (LLM) המובנה (Gemini Nano ב-Chrome).
- Fine-Adjust (LoRA) API: שיפור הביצועים של ה-LLM המובנה במשימה על ידי שינוי המשקל של המודל באמצעות כוונון עדין של התאמת דירוג נמוכה.
מתי כדאי להשתמש בבינה מלאכותית מובנית
ריכזנו כאן את כל הדרכים שבהן אנחנו צופים שטכנולוגיית AI מובנית יכולה להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן משופרת על ידי AI: כולל סיכום, תרגום, מענה על שאלות לגבי תכנים מסוימים, סיווג ואפיון.
- יצירת תוכן עם תמיכה ב-AI: למשל, עזרה בכתיבה, הגהה, תיקון דקדוק וכתיבה מחדש.
מה השלב הבא
אתם מוזמנים להצטרף לתוכנית שלנו לתצוגה מקדימה מוקדמת כדי להתנסות בממשקי API מובנים של AI בשלב מוקדם.
בינתיים, כדאי לקרוא את המדריך למתחילים של Google AI JavaScript SDK כדי ללמוד איך משתמשים ב-Gemini Pro בשרתים של Google עם האתרים ואפליקציות האינטרנט.