תאריך פרסום: 14 במאי 2024, תאריך עדכון אחרון: 20 במאי 2024
אנחנו מפתחים ממשקי API לפלטפורמות אינטרנט ותכונות בדפדפן שנועדו לפעול עם מודלים של AI, מודלים של מומחים ומודלים גדולים של שפה (LLM), שמוטמעים בדפדפן. הגרסה היעילה ביותר של משפחת ה-LLM של Gemini היא Gemini Nano, שנועדה לפעול באופן מקומי ברוב המחשבים המודרניים, כולל מחשבים נייחים ומחשבים ניידים. בעזרת AI מובנה, האתר או אפליקציית האינטרנט שלכם יכולים לבצע משימות מבוססות-AI, בלי צורך לפרוס, לנהל או לארח בעצמכם מודלים של AI.
תלמדו על היתרונות של AI מובנה, על תוכנית ההטמעה שלנו ועל הדרכים שבהן תוכלו להפיק תועלת מהטכנולוגיה הזו.
היתרונות של AI מובנה למפתחי אתרים
בעזרת AI מובנה, הדפדפן מספק ומנהל מודלים של בסיס ומודלים של מומחים.
ל-AI מובנה יש את היתרונות הבאים:
- קלות הפריסה: הדפדפן מפרסם את המודלים, מתייחס ליכולות המכשיר ומנהל את העדכונים. כלומר, אתם לא אחראים להורדה או לעדכון של מודלים גדולים דרך הרשת. אתם לא צריכים לפתור בעיות של פינוי מקום באחסון, תקציב זיכרון בסביבת זמן ריצה, עלויות הצגה ואתגרים אחרים.
- גישה לשיפור המהירות באמצעות חומרה: סביבת זמן הריצה של ה-AI בדפדפן מבוצעת אופטימיזציה כדי לנצל את מלוא החומרה הזמינה, בין אם באמצעות GPU, NPU או חזרה ל-CPU. כתוצאה מכך, האפליקציה יכולה להציג את הביצועים הטובים ביותר בכל מכשיר.
היתרונות של הפעלה בצד הלקוח
בעזרת AI מובנה, אפשר לבצע פעולות AI בצד הלקוח, כלומר ליהנות מהיתרונות הבאים:
- עיבוד מקומי של מידע אישי רגיש: AI מצד הלקוח יכול לשפר את רמת הפרטיות. לדוגמה, אם אתם עובדים עם מידע אישי רגיש, תוכלו להציע למשתמשים תכונות AI עם הצפנה מקצה לקצה.
- חוויית משתמש מהירה: במקרים מסוימים, אם משמיטים את הנסיעה הלוך ושוב לשרת, אפשר להציע תוצאות כמעט מיידיות. AI בצד הלקוח יכול להוות את ההבדל בין תכונה קיימת לבין חוויית משתמש לא אופטימלית.
- גישה רחבה יותר ל-AI: המכשירים של המשתמשים יכולים לשאת חלק מעומס העיבוד בתמורה לגישה רחבה יותר לתכונות. לדוגמה, אם אתם מציעים תכונות AI פרימיום, תוכלו להציג תצוגה מקדימה של התכונות האלה באמצעות AI בצד הלקוח, כדי שלקוחות פוטנציאליים יוכלו לראות את היתרונות של המוצר שלכם, ללא עלות נוספת. הגישה המשולבת הזו יכולה גם לעזור לכם לנהל את עלויות ההסקה, במיוחד בתהליכי שימוש של משתמשים שמתרחשים לעיתים קרובות.
- שימוש ב-AI במצב אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם כשאין חיבור לאינטרנט. פירוש הדבר הוא שהאתרים ואפליקציות האינטרנט שלכם יכולים לפעול כצפוי אופליין או עם קישוריות משתנה.
AI היברידי: בצד הלקוח ובצד השרת
AI בצד הלקוח יכול לטפל במגוון רחב של תרחישים לדוגמה, אבל לחלק מהתרחישים לדוגמה נדרשת תמיכה בצד השרת. AI בצד השרת הוא פתרון מצוין למודלים גדולים, והוא יכול לתמוך במגוון רחב יותר של פלטפורמות ומכשירים.
כדאי לשקול גישה היברידית אם האפליקציה שלכם דורשת:
- מורכבות: קל יותר לתמוך בתרחישי שימוש ספציפיים ופשוטים באמצעות AI במכשיר. בתרחישי שימוש מורכבים, כדאי להשתמש בהטמעה בצד השרת.
- עמידות: שימוש בצד השרת כברירת מחדל, ושימוש במכשיר כשהמכשיר במצב אופליין או כשהחיבור לא יציב.
- מעבר חלק לחלופה: תהליך ההטמעה של דפדפנים עם AI מובנה ייקח זמן, יכול להיות שחלק מהמודלים לא יהיו זמינים, ומכשירים ישנים או חלשים יותר עשויים לא לעמוד בדרישות החומרה להפעלה אופטימלית של כל המודלים. להציע למשתמשים האלה AI בצד השרת.
לדוגמה, אם משתמשים ב-Prompt API המובנה (בקרוב יהיה זמין בגרסת טרום-השקה), ממשק ה-API יפעל רק בדפדפני Chrome במחשב ובתוספים ל-Chrome ב-Windows, ב-macOS וב-Linux. כדי לוודא שכל המשתמשים יוכלו ליהנות מתכונת ה-AI, כדאי להגדיר ארכיטקטורה היברידית עם Firebase AI Logic.
כשמשתמשים במודלים של Gemini, אפשר ליצור שילוב של הקצה העורפי עם Node.js.
גישה ל-AI מובנה
אפשר לגשת ליכולות ה-AI המובנות בעיקר באמצעות ממשקי API למשימות, כמו Translator API או Summarizer API. ממשקי ה-API של המשימות נועדו להריץ הסקת מידע לפי המודל הטוב ביותר להקצאה.
ב-Chrome, ממשקי ה-API האלה מיועדים להפעלת היסק מול Gemini Nano עם כוונון עדין או מודל מומחה. Gemini Nano תוכנן לפעול באופן מקומי ברוב המכשירים המודרניים, והוא מתאים במיוחד לתרחישי שימוש שקשורים לשפה, כמו סיכום, ניסוח מחדש או סיווג.
מתי כדאי להשתמש ב-AI מובנה
ריכזנו כאן כמה דרכים שבהן AI מובנה יכול להועיל לכם ולמשתמשים שלכם:
- צריכת תוכן שמועשרת באמצעות AI: כולל סיכום, תרגום, סיווג, אפיון וכספק ידע.
- יצירת תוכן בעזרת AI: למשל, עזרה בכתיבה, הגהה, תיקון שגיאות דקדוק ושינוי ניסוח.
כמה מממשקי ה-API המובנים של AI זמינים בגרסאות היציבות ובגרסאות המקור לניסיון של Chrome. ממשקי API לבדיקה וממשקי API בשלב מוקדם זמינים למשתתפים בתוכנית Early Preview Program (EPP).
תצוגה מקדימה של תכונות חדשות
אנחנו זקוקים למשוב שלכם כדי לעצב את ממשקי ה-API, לוודא שהם עומדים בדרישות של התרחישים לדוגמה שלכם ולשפר את הדיונים שלנו עם ספקי דפדפנים אחרים בנושא סטנדרטיזציה.
הצטרפו ל-EPP כדי לספק משוב על רעיונות של AI מובנה בשלב מוקדם, ולגלות הזדמנויות לבדוק ממשקי API שנמצאים בתהליך פיתוח באמצעות יצירת אב טיפוס מקומי.