בשנה האחרונה חלו שינויים רבים ב-AI באינטרנט. אם פספסתם, העברנו הרצאה ב-I/O 2024 על המודלים, הכלים וממשקי ה-API החדשים לאפליקציית האינטרנט הבאה שלכם.
Web AI הוא אוסף של טכנולוגיות וטכניקות לשימוש במודלים של למידת מכונה (ML) בצד הלקוח בדפדפן אינטרנט שפועל במעבד (CPU) או במעבד גרפי (GPU) של מכשיר. אפשר ליצור אותם באמצעות JavaScript וטכנולוגיות אינטרנט אחרות, כמו WebAssembly ו-WebGPU. זה שונה מ-AI בצד השרת או מ-"Cloud AI", שבהם המודל מופעל בשרת ומתבצעת גישה אליו באמצעות API.
בסרטון הזה הסברנו:
- איך להריץ את המודלים החדשים שלנו של שפה גדולה (LLM) בדפדפן וההשפעה של הפעלת מודלים בצד הלקוח.
- הצצה לעתיד של בלוקים חזותיים, כדי ליצור אב טיפוס מהר יותר.
- וגם איך מפתחי אתרים יכולים להשתמש ב-JavaScript ב-Chrome כדי לעבוד עם AI באינטרנט, בקנה מידה גדול.
מודלים של שפה גדולה בדפדפן
Gemma Web הוא מודל חדש של קוד פתוח מבית Google, שיכול לפעול בדפדפן במכשיר של המשתמש. הוא מבוסס על אותו מחקר וטכנולוגיה ששימשו אותנו ליצירת Gemini.
הפעלת מודל LLM במכשיר מאפשרת לחסוך בעלויות בהשוואה להפעלת מודל LLM בשרת ענן לצורך הסקת מסקנות, וגם לשפר את פרטיות המשתמשים ולקצר את זמן האחזור. השימוש ב-AI גנרטיבי בדפדפן עדיין נמצא בשלבים מוקדמים, אבל ככל שהחומרה ממשיכה להשתפר (עם זיכרון RAM גדול יותר במעבד ובמעבד הגרפי), אנחנו צופים שיהיו עוד מודלים זמינים.
עסקים יכולים להמציא מחדש את האפשרויות לשימוש בדף אינטרנט, במיוחד בתרחישי שימוש ספציפיים למשימות, שבהם אפשר לכוונן את המשקלים של מודלים קטנים יותר של LLM (מ-2 עד 8 מיליארד פרמטרים) כדי להפעיל אותם בחומרה לצרכנים.
אפשר להוריד את Gemma 2B ב-Kaggle Models, והוא מגיע בפורמט שתואם ל-Web LLM inference API שלנו. ארכיטקטורות נתמכות אחרות כוללות את Microsoft Phi-2, Falcon RW 1B ו-Stable LM 3B, שאפשר להמיר לפורמט שסביבת זמן הריצה יכולה להשתמש בו באמצעות ספריית ההמרה שלנו.
יצירת אבות טיפוס מהר יותר באמצעות בלוקים חזותיים
אנחנו משתפים פעולה עם Hugging Face, שיצרו 16 צמתים חדשים בהתאמה אישית ל-Visual Blocks. הפעולה הזו מוסיפה את Transformers.js ואת המערכת האקולוגית הרחבה יותר של Hugging Face ל-Visual Blocks.
שמונה מהצמתים החדשים האלה פועלים באופן מלא בצד הלקוח, עם Web AI, כולל:
בנוסף, יש שבע משימות ML בצד השרת מ-Hugging Face שמאפשרות להריץ אלפי מודלים באמצעות ממשקי API ב-Visual Blocks. כדאי לעיין באוסף של בלוקים חזותיים ב-Hugging Face.
שימוש ב-JavaScript ל-AI באינטרנט בהיקף נרחב באמצעות Chrome
בדוגמאות הקודמות, כמו Gemma, המודל נטען ומופעל בתוך דף האינטרנט עצמו. צוות Chrome עובד על AI מובנה במכשיר, שדרכו תוכלו לגשת למודלים באמצעות ממשקי API סטנדרטיים של JavaScript שמותאמים למשימות ספציפיות.
וזה לא הכול. בנוסף, בוצע עדכון של WebGPU ב-Chrome עם תמיכה בערכי נקודה צפה של 16 ביט.
ב-WebAssembly יש הצעה חדשה, Memory64, לתמיכה באינדקסים של זיכרון 64 ביט, שתאפשר לכם לטעון מודלים גדולים יותר של AI מבעבר.
איך מתחילים לבדוק מודלים של AI באינטרנט באמצעות Chrome ללא ממשק משתמש
עכשיו אפשר לבדוק AI בצד הלקוח (או כל אפליקציה שזקוקה לתמיכה ב-WebGL או ב-WebGPU) באמצעות Headless Chrome, תוך שימוש במעבדי GPU בצד השרת להאצה, כמו NVIDIA T4 או P100. מידע נוסף
- הרצה ב-Google Colab
- ניתוח מעמיק של בדיקות
- מומלץ גם לעיין בקוד לדוגמה ב-GitHub
חשוב לזכור: כשמשתפים את מה שיצרתם, כדאי להוסיף את ההאשטאג #WebAI כדי שחברי הקהילה יוכלו לראות את העבודה שלכם. משתפים את הממצאים וההצעות שלכם ב-X, ב-LinkedIn או בפלטפורמה החברתית המועדפת עליכם.