פורסם: 28 באפריל 2025, עדכון אחרון: 21 במאי 2025
ההתפתחות המהירה של ה-AI פותחת אפשרויות חדשות לאפליקציות אינטרנט, במיוחד עם פיתוח היכולות במכשיר. כאן תוכלו לקרוא איך חברת האינטרנט היפנית המובילה CyberAgent משתמשת ב-AI מובנה ב-Chrome וב-Prompt API כדי לשפר את חוויית הבלוגים בפלטפורמה שלה, Ameba Blog.
אנחנו משתפים את היעדים שלהם, את היתרונות של עבודה עם AI מובנה, את האתגרים שהם נתקלו בהם ותובנות חשובות למפתחים אחרים שמשתמשים ב-AI מובנה.
מה זה Prompt API?
| סרטון הסבר | פיתוח אתרים | תוספים | הסטטוס של Chrome | הרציונל |
|---|---|---|---|---|
| GitHub |  גרסת מקור לניסיון |
 Chrome 138 |
תצוגה | כוונה להתנסות |
Prompt API עוזר למפתחים להשתמש במודלים גדולים של שפה כדי להוסיף תכונות מבוססות-AI ישירות לאפליקציות שלהם. הגדרת הנחיות בהתאמה אישית מאפשרת לאפליקציות לבצע משימות כמו חילוץ נתונים, יצירת תוכן ותשובות בהתאמה אישית. ב-Chrome, Prompt API מבצע הסקה בצד הלקוח באמצעות Gemini Nano. העיבוד המקומי הזה, בלי קשר למודל שבו נעשה שימוש, משפר את הפרטיות של הנתונים ואת מהירות התגובה. מהירות התגובה של הלקוח, לא משנה באיזה מודל נעשה שימוש.
עזרה מבוססת-AI לכותבים ב-Ameba Blog
חברת CyberAgent זיהתה נקודת כאב נפוצה בקרב מחברים: התהליך של יצירת תוכן מושך, במיוחד כותרות, שלעתים קרובות גוזל זמן רב. הם העלו את ההשערה ששילוב של פונקציות מבוססות-AI בממשק ליצירת בלוגים יכול לשפר באופן משמעותי את האיכות והיעילות של יצירת התוכן. המטרה שלהם הייתה לספק כלים שיעוררו השראה ויעזרו לבלוגרים ליצור תוכן מעניין.
חברת CyberAgent פיתחה תוסף ל-Chrome באמצעות Prompt API. התוסף הזה מספק חבילה של תכונות מבוססות-AI שנועדו לעזור לכותבים ב-Ameba Blog ליצור כותרות, פסקאות ושיפורים כלליים בטקסט.
חברת CyberAgent רצתה גמישות ביכולות, ולכן בחרה להשתמש ב-Prompt API. עם אינסוף אפשרויות ב-API אחד, חברת CyberAgent הצליחה לקבוע בדיוק מה יעבוד הכי טוב ויהיה הכי שימושי ליוצרי התוכן ב-Ameba.
חברת CyberAgent בדקה את התוסף עם מספר נבחר של בלוגרים, שסיפקו תובנות חשובות לגבי השימושיות של הפונקציות המוצעות. המשוב עזר ל-CyberAgent לזהות יישומים טובים יותר של סיוע מבוסס-AI ולשפר את העיצוב של התוסף. בעקבות התוצאות והמשוב החיוביים, חברת CyberAgent מתכננת להשיק את התכונה הזו בעתיד, כדי להביא את היכולות של AI בצד הלקוח ישירות לקהילת הבלוגרים שלה.
בואו נבחן את התכונות האלה.
שיפור הכתיבה של כותרות וכותרות משנה
התוסף יוצר כמה הצעות לשמות, על סמך התוכן המלא של הבלוג. כותבי בלוגים יכולים לשפר את ההצעות האלה באמצעות אפשרויות כמו 'יצירה מחדש', 'ניסוח מנומס יותר', 'ניסוח לא רשמי יותר' או 'יצירת כותרות דומות' ועוד.
חברת CyberAgent עיצבה את ממשק המשתמש במיוחד כך שהמשתמשים לא יצטרכו לכתוב הנחיות. כך, גם משתמשים שלא מכירים את תחום הנדסת ההנחיות יכולים ליהנות מהיכולות של ה-AI.
התוסף יכול גם ליצור כותרות מושכות לקטעים ספציפיים בבלוג. כדי לבקש כותרת, הכותבים צריכים לבחור את הטקסט הרלוונטי.
הקוד ליצירת כותרת באמצעות Prompt API כולל הנחיה ראשונית והנחיה למשתמש. ההנחיה הראשונית מספקת הקשר והוראות כדי לקבל סוג מסוים של פלט, בעוד שההנחיות של המשתמש מבקשות מהמודל ליצור אינטראקציה עם מה שהמשתמש כותב. מידע נוסף על הקוד שלהם זמין במאמר פריסת כלים מבוססי-AI.
יצירת פסקאות נוספות
התוסף עוזר לבלוגרים להתמודד עם מחסום כתיבה על ידי יצירת פסקאות המשך על סמך הטקסט שנבחר. בעזרת ההקשר מהפסקה הקודמת, ה-AI יוצר טיוטה להמשך הפסקה, וכך מאפשר למחברים לשמור על רצף היצירה.
שיפור ועריכה של הטקסט
Gemini Nano מנתח את הטקסט שנבחר ויכול להציע שיפורים. המשתמשים יכולים ליצור מחדש את השיפורים עם הערות נוספות לגבי הטון ובחירת השפה, כדי שהטקסט יהיה "חמוד יותר" או "פשוט יותר".
פריסת סיוע מבוסס-AI
חברת CyberAgent חילקה את קוד התוסף שלה לשלושה שלבים: יצירת סשן, הפעלה והנחיית המודל.
קודם כול, הם בודקים בדפדפן אם ה-AI המובנה זמין ונתמך. אם כן, הם יוצרים סשן עם פרמטרים שמוגדרים כברירת מחדל.
if (!LanguageModel) {
// Detect the feature and display "Not Supported" message as needed
return;
}
// Define default values for topK and temperature within the application
const DEFAULT_TOP_K = 3;
const DEFAULT_TEMPERATURE = 1;
let session = null;
async function createAISession({ initialPrompts, topK, temperature } = {}) {
const { available, defaultTopK, maxTopK, defaultTemperature } =
await LanguageModel.availability();
// "readily", "after-download", or "no"
if (available === "no") {
return Promise.reject(new Error('AI not available'));
}
const params = {
monitor(monitor) {
monitor.addEventListener('downloadprogress', event => {
console.log(`Downloaded: ${event.loaded} of ${event.total} bytes.`);
});
},
initialPrompts: initialPrompts || '',
topK: topK || defaultTopK,
temperature: temperature || defaultTemperature,
};
session = await LanguageModel.create(params);
return session;
}
לכל תכונה יש פונקציית עזר שמופעלת על ידי המשתמש. אחרי ההפעלה, כשהמשתמש לוחץ על הכפתור הרלוונטי, הסשן מתעדכן בהתאם.
async function updateSession({ initialPrompts, topK, temperature } = {
topK: DEFAULT_TOP_K,
temperature: DEFAULT_TEMPERATURE,
}) {
if (session) {
session.destroy();
session = null;
}
session = await createAISession({
initialPrompts,
topK,
temperature,
});
}
אחרי שהסשן מתעדכן, הם מנחים את המודל בהתאם לפונקציה. לדוגמה, הנה הקוד ליצירת כותרת וליצירה מחדש של כותרת בנימה רשמית יותר.
async function generateTitle() {
// Initialize the model session
await updateSession({
initialPrompts: [
{ role: 'system',
content: `Create 3 titles suitable for the blog post's content,
within 128 characters, and respond in JSON array format.`,
}
]
});
const prompt = `Create a title for the following
blog post.${textareaEl.textContent}`;
const result = await session.prompt(prompt);
try {
const fixedJson = fixJSON(result);
// display result
displayResult(fixedJSON);
} catch (error) {
// display error
displayError();
}
}
async function generateMoreFormalTitle() {
// Do not execute updateSession to reuse the session during regeneration
const prompt = 'Create a more formal title.';
const result = await session.prompt(prompt);
...
}
היתרונות של AI מובנה
AI מובנה הוא סוג של AI בצד הלקוח, כלומר ההסקה מתבצעת במכשיר של המשתמש. חברת CyberAgent בחרה להשתמש בממשקי API מובנים של AI עם Gemini Nano בגלל היתרונות המשמעותיים שהוא מציע למפתחי אפליקציות ולמשתמשים.
היתרונות העיקריים ש-CyberAgent התמקדה בהם כוללים:
- אבטחה ופרטיות
- עלות
- מהירות תגובה ואמינות
- קלות הפיתוח
אבטחה ופרטיות
היכולת להריץ מודלים של AI ישירות במכשיר של המשתמש בלי להעביר נתונים לשרתים חיצוניים היא בעלת חשיבות עליונה. טיוטות של בלוגים לא אמורות להיות גלויות לציבור, ולכן CyberAgent לא רוצה לשלוח את הטיוטות האלה לשרת של צד שלישי.
ה-AI המובנה מוריד את Gemini Nano למכשירי המשתמשים, כך שלא צריך לשלוח ולקבל נתונים מהשרתים. האפשרות הזו שימושית במיוחד כשכותבים, כי טיוטות עשויות לכלול מידע סודי או ביטויים לא מכוונים. ה-AI המובנה שומר את התוכן המקורי והתוכן שנוצר באופן מקומי במקום לשלוח אותו לשרת, וכך משפר את האבטחה ומגן על פרטיות התוכן.
חיסכון בעלויות
יתרון משמעותי בשימוש ב-AI מובנה הוא שדפדפן Chrome כולל את Gemini Nano וממשקי ה-API זמינים לשימוש בחינם. אין עלויות נוספות או נסתרות.
ה-AI המובנה מפחית באופן משמעותי את עלויות השרת, ויכול לבטל לחלוטין את העלויות שקשורות להסקת מסקנות מ-AI. הפתרון הזה ניתן להרחבה מהירה לבסיס משתמשים גדול, והוא מאפשר למשתמשים לשלוח הנחיות עוקבות כדי לשפר את התוצאות בלי לשלם עמלות נוספות.
מהירות תגובה ואמינות
טכנולוגיית ה-AI המובנית מספקת זמני תגובה עקביים ומהירים, ללא תלות בתנאי הרשת. כך המשתמשים יכולים ליצור תוכן שוב ושוב, ולנסות רעיונות חדשים וליצור במהירות תוצאה סופית משביעת רצון.
קלות הפיתוח
ה-AI המובנה ב-Chrome מפשט את תהליך הפיתוח באמצעות API שזמין לשימוש מיידי. מפתחים יכולים ליהנות מהקלות שבה אפשר ליצור תכונות מבוססות-AI לאפליקציה שלהם.
Gemini Nano וממשקי ה-API המובנים של ה-AI מותקנים ב-Chrome, כך שאין צורך בהגדרה נוספת או בניהול מודלים. ממשקי ה-API משתמשים ב-JavaScript, כמו ממשקי API אחרים של דפדפנים, ולא נדרש ידע בלמידת מכונה כדי להשתמש בהם.
איך מתמודדים עם אתגרים כדי לשפר את התוצאות
המסע של CyberAgent עם Prompt API סיפק שיעורים חשובים על הניואנסים של עבודה עם מודלים גדולים של שפה (LLM) בצד הלקוח.
- תשובות לא עקביות: כמו מודלים אחרים של LLM, Gemini Nano לא מבטיח פלט זהה לאותה הנחיה. מערכת CyberAgent נתקלה בתגובות בפורמטים לא צפויים (כמו Markdown ו-JSON לא תקין). גם אם נותנים הוראות, יכול להיות שהתוצאות יהיו שונות מאוד. כשמטמיעים אפליקציה או תוסף ל-Chrome עם AI מובנה, כדאי להוסיף פתרון עקיף כדי לוודא שהפלט תמיד יהיה בפורמט הנכון.
- מגבלת טוקנים: חשוב לנהל את השימוש בטוקנים. חברת CyberAgent השתמשה במאפיינים ובשיטות כמו
inputUsage,inputQuotaו-measureInputUsage()כדי לנהל סשנים, לשמור על ההקשר ולצמצם את צריכת הטוקנים. היה חשוב במיוחד להקפיד על כך כששיפרנו את הכותרות. - מגבלות על גודל המודל: המודל מורד למכשיר של המשתמש ונשמר בו, ולכן הוא קטן משמעותית ממודל שמבוסס על שרת. לכן חשוב מאוד לספק הקשר מספיק בהנחיה כדי לקבל תוצאות משביעות רצון, במיוחד כשמדובר בסיכום. מידע נוסף על גדלים של מודלים גדולים של שפה
ב-CyberAgent מדגישים שבעוד שמודלים בצד הלקוח עדיין לא זמינים באופן אוניברסלי בכל הדפדפנים והמכשירים, ולמודלים הקטנים יותר יש מגבלות, הם עדיין יכולים לספק ביצועים מרשימים למשימות ספציפיות. היכולת לבצע איטרציות במהירות ולערוך ניסויים ללא עלויות בצד השרת הופכת אותו לכלי חשוב.
הם ממליצים למצוא איזון, ולהבין שקשה להשיג תשובות מושלמות באמצעות AI, בין אם הוא בצד השרת או בצד הלקוח. לבסוף, הם רואים עתיד שבו גישה היברידית, שמשלבת את היתרונות של AI בצד השרת ו-AI בצד הלקוח, תאפשר לממש פוטנציאל גדול עוד יותר.
במבט קדימה
המחקר של CyberAgent על AI מובנה מדגים את האפשרויות המלהיבות של שילובים חלקים של AI לשיפור חוויות המשתמש. התוסף שלהם, שנוצר כדי לעבוד עם Ameba Blog, מדגים איך אפשר ליישם את הטכנולוגיות האלה כדי לפתור בעיות בעולם האמיתי, ומציע שיעורים חשובים לקהילת פיתוח האתרים הרחבה יותר.
ככל שהטכנולוגיה מתפתחת והתמיכה בדפדפנים ובמכשירים מתרחבת, אנחנו צופים שיהיו עוד יותר אפליקציות חדשניות של AI מובנה ושל צורות אחרות של AI בצד הלקוח.
משאבים
- מידע נוסף על Prompt API
- איך מתחילים להשתמש בממשקי API מובנים ב-Chrome
- מקרה לדוגמה של CyberAgent בנושא AI לאתרים, שמתייחס לאותו נושא.
- כדאי לצפות בסרטון The future of AI is now (העתיד של ה-AI הוא עכשיו), מחקרים לדוגמה של CyberAgent בנושא AI בצד הלקוח
תודות
תודה לבלוגרים של Ameba, ao, Nodoka, Erin, Chiaki ו-socchi, שסיפקו משוב ועזרו לשפר את התוסף. תודה לתומס שטיינר, אלכסנדרה קלפר וסבסטיאן בנץ על העזרה בכתיבה ובבדיקה של הפוסט הזה בבלוג.