פורסם: 21 בנובמבר 2024
אחרי שקיבלנו מספר רב של הצעות מדהימות לתחרות למפתחים של Gemini API, בחרנו את הזוכה בקטגוריה 'אפליקציית האינטרנט הטובה ביותר': ViddyScribe.
ViddyScribe הוא דוגמה לאופן שבו Gemini יכול לעזור להפוך סרטונים לנגישים יותר ב-YouTube, ואולי גם בפלטפורמות אחרות, על ידי יצירת תיאורי אודיו לכל סרטון שמותאמים לאנשים עם לקויות ראייה.
תכונות ויכולות של Gemini
חברת ViddyScribe יצרה אפליקציה שמתמקדת במשתמשים. קיימים כבר כמה פתרונות ליצירת תמלילים ותיאורי אודיו, אבל ב-ViddyScribe הייתה עדיפות ליצירת פלט שמתמקד גם בתוצאות מהירות וגם בחוויית משתמש נעימה לקהל ספציפי: אנשים עם לקויות ראייה.
הוספת הערות לסרטונים באופן ידני כדי לספק פרטים נוספים לקהל הזה אורכת יותר מדי זמן, ולכן לרוב לא מתבצעת. החברה השתמשה ב-Gemini כדי ליצור פתרון מותאם אישית שמתרחב מעבר להוספת תיאורים שרירותיים של פריימים לקובץ טקסט.
כדי לקבל את התוצאות הכי טובות, נעשה שימוש ב-ViddyScribe ב-הנדסת הנחיות כדי להתאים את השפה והסגנון של השאלה ל-Gemini 1.5 Pro. בהנחיה הזו השתמשנו בטכניקת שרשרת חשיבה כדי לבקש:
- המטרה וההקשר של הסרטון.
- תיאורים קוליים מותאמים אישית שמבוססים על ניתוח והנחיות ספציפיים לסרטון.
- חותמות הזמן והתיאורים עוצבו מחדש כדי ליצור פורמט צפוי ועקבי.
למה בחרנו ב-ViddyScribe
בחרנו ב-ViddyScribe כי זה היה פתרון אלגנטי לבעיה אמיתית של משתמשים.
הם גילו שיש בשוק אפליקציות אחרות שמספקות תיאורי אודיו, אבל הרגישו שהצרכים של אנשים חירשים ולקויי ראייה לא מובנים במלואם. המפתחים האלה עבדו עם אנשים אמיתיים עם מוגבלויות כדי להבין בדיוק מה הם צריכים באפליקציה של תיאור אודיו.
החוויה של אנשים עם מוגבלויות יכולה להיות שונה מאוד, ולפעמים יש להם צרכים סותרים. בנוסף, תיאורי אודיו יכולים להפוך את הסרטונים האלה לנגישים לאנשים עם נוירודיברסיטי ולאנשים אחרים שמעדיפים לקרוא תמליל במקום לצפות בסרטון.
אנחנו שמחים לראות איך מפתחים ממשיכים לשפר את ViddyScribe, ומרחיבים את הקהל ואת היכולות בעתיד.
אפשר להמשיך לעבוד וליצור עם ממשקי AI API מובנים
ViddyScribe הייתה רק אחת מהאפליקציות המדהימות הרבות שיצרתם באמצעות Gemini.
אנחנו מפתחים AI מובנה: ממשקי API של פלטפורמת אינטרנט ותכונות דפדפן שנועדו לשלב מודלים של AI, כולל מודלים גדולים של שפה (LLM), ישירות בדפדפן.
כדי להתחיל ליצור אתרים, אפליקציות אינטרנט ותוספים ל-Chrome, כדאי לעיין בממשקי ה-API הזמינים.
אתם מוזמנים לשתף איתנו את מה שאתם יוצרים בכתובת @ChromiumDev או לשתף עם Chrome for Developers ב-LinkedIn.