הרבה דברים השתנו ב-Web AI בשנה האחרונה. אם פספסתם, הרצנו ב-I/O 2024 הרצאה על המודלים, הכלים והממשקי ה-API החדשים לאפליקציית האינטרנט הבאה שלכם.
AI לאינטרנט הוא קבוצה של טכנולוגיות ושיטות לשימוש במודלים של למידת מכונה (ML) בצד הלקוח בדפדפן אינטרנט שפועל ב-CPU או ב-GPU של המכשיר. אפשר ליצור אותו באמצעות JavaScript וטכנולוגיות אינטרנט אחרות, כמו WebAssembly ו-WebGPU. בניגוד ל-AI בצד השרת או ל-'Cloud AI', שבהם המודל פועל בשרת והגישה אליו מתבצעת באמצעות API.
בשיחת הפודקאסט הזו, שיתפו אותנו:
- איך להריץ את המודלים החדשים הגדולים של השפה (LLMs) בדפדפן, וההשפעה של הפעלת המודלים בצד הלקוח.
- הצצה לעתיד של Visual Blocks, כדי ליצור אב טיפוס מהר יותר.
- וגם איך מפתחי אתרים יכולים להשתמש ב-JavaScript ב-Chrome כדי לעבוד עם AI באינטרנט בקנה מידה נרחב.
LLM בדפדפן
Gemma Web הוא מודל פתוח חדש של Google שיכול לפעול בדפדפן במכשיר של המשתמש. המודל הזה מבוסס על אותו מחקר ועל אותה טכנולוגיה שבהם השתמשנו כדי ליצור את Gemini.
כשמפעילים LLM במכשיר, יש פוטנציאל משמעותי לחיסכון בעלויות בהשוואה להפעלה של מודלים לצורך הסקת מסקנות בשרת בענן, וגם שיפור של פרטיות המשתמשים וקיצור זמן האחזור. ה-AI הגנרטיבי בדפדפן עדיין נמצא בשלבים מוקדמים, אבל ככל שהחומרה תמשיך להשתפר (עם יותר זיכרון RAM של מעבדים ושל מעבדי GPU), צפויים להיות זמינים יותר מודלים.
עסקים יכולים לדמיין מחדש את האפשרויות שאפשר לבצע בדף אינטרנט, במיוחד בתרחישי שימוש ספציפיים למשימות, שבהם אפשר לשנות את המשקלים של מודלים קטנים יותר של LLM (2 עד 8 מיליארד פרמטרים) כך שיתאימו להרצה בחומרה של צרכנים.
אפשר להוריד את Gemma 2B ב-Kaggle Models, והיא מגיעה בפורמט שתואם ל-Web LLM inference API שלנו. ארכיטקטורות נתמכות נוספות כוללות את Microsoft Phi-2, Falcon RW 1B ו-Stable LM 3B. אפשר להמיר את הארכיטקטורות האלה לפורמט שזמין בסביבת זמן הריצה באמצעות ספריית הממיר שלנו.
פיתוח אבות טיפוס מהר יותר באמצעות Visual Blocks
אנחנו עובדים בשיתוף עם Hugging Face, שיצרה 16 צמתים בהתאמה אישית חדשים לגמרי ל-Visual Blocks. כך אפשר להשתמש ב-Transformers.js ובסביבת ה-Hugging Face הרחבה יותר ב-Visual Blocks.
שמונה מהצומתים החדשים האלה פועלים לגמרי בצד הלקוח, באמצעות Web AI, כולל:
בנוסף, יש שבעה משימות ML בצד השרת של Hugging Face שמאפשרות להריץ אלפי מודלים באמצעות ממשקי API ב-Visual Blocks. כדאי לעיין באוסף של 'חיבוק פנים' ב-Visual Blocks.
שימוש ב-JavaScript ל-Web AI בקנה מידה נרחב באמצעות Chrome
במקרים הקודמים, כמו Gemma, המודל נטען ומופעל בתוך דף האינטרנט עצמו. אנחנו ב-Chrome עובדים על AI מובנה במכשיר, שבו תוכלו לגשת למודלים באמצעות ממשקי API סטנדרטיים של JavaScript שמותאמים למשימות ספציפיות.
וזה לא הכול. ב-Chrome עודכנו גם הערכים של WebGPU עם תמיכה ב-16 ביט של נקודות צפות.
יש הצעה חדשה ל-WebAssembly, Memory64, שתומכת באינדיקציות של זיכרון ב-64 ביט. כך תוכלו לטעון מודלים גדולים יותר של AI מאשר בעבר.
מתחילים לבדוק מודלים של AI לאינטרנט באמצעות Chrome ללא ממשק משתמש (headless)
עכשיו אפשר לבדוק AI בצד הלקוח (או כל אפליקציה שדורשת תמיכה ב-WebGL או ב-WebGPU) באמצעות Chrome ללא ראש, תוך שימוש ב-GPU בצד השרת לצורך האצה, כמו NVIDIA T4 או P100. מידע נוסף:
חשוב לזכור: כשאתם משתפים את מה שיצרתם, מוסיפים את התג #WebAI כדי שהקהילה הרחבה יותר תוכל לראות את העבודה שלכם. אתם יכולים לשתף את הממצאים וההצעות שלכם ב-X, ב-LinkedIn או בפלטפורמה החברתית המועדפת עליכם.