影片無障礙功能獲得 Gemini API 開發人員競賽網頁獎

Alexandra Klepper
Alexandra Klepper

發布日期:2024 年 11 月 21 日

Gemini API 開發人員競賽收到許多精彩作品,經過評選,我們已選出最佳網頁應用程式得主:ViddyScribe

ViddyScribe 示範了 Gemini 如何生成適合視障者的影片語音說明,協助 YouTube 上的影片 (甚至其他平台上的影片) 更加容易觀看。

功能和 Gemini 功能

ViddyScribe 打造的應用程式以使用者為優先考量,雖然市面上已有許多解決方案可生成轉錄稿和語音說明,但 ViddyScribe 優先考量為特定對象 (視障人士) 打造輸出內容,兼顧快速生成結果和良好的使用者體驗。

手動為影片加上註解,提供這類觀眾更多詳細資料,需要花費太多時間,因此經常遭到忽略。ViddyScribe 採用 Gemini 打造自訂解決方案,不僅能將任意影格說明新增至文字檔,還可進一步擴充功能。

ViddyScribe 提供兩個樣本和上傳空間。
使用者可以透過 ViddyScribe 應用程式使用範例影片,或上傳自己的影片 (100 MB,長度 2 分鐘),讓 Gemini 生成音訊說明。

ViddyScribe 運用提示工程,為 Gemini 1.5 Pro 調整問題的語言和風格,以獲得最佳結果。這項提示使用思維鏈提示,要求:

  • 影片的用途和背景資訊。
  • 根據影片專屬分析和規範,量身打造語音說明。
  • 重新格式化時間戳記和說明,確保格式一致。

我們選擇 ViddyScribe 的原因

我們選擇 ViddyScribe,是因為這項解決方案能優雅地解決實際使用者問題。

雖然市面上已有提供語音說明的應用程式,但他們認為這些應用程式並未完全瞭解聽障和視障人士的需求。這些開發人員與身心障礙者合作,確切瞭解他們對語音說明應用程式的需求。

身心障礙者的體驗可能大不相同,有時他們的需求甚至會互相衝突。此外,語音說明也能讓神經多樣性者和其他偏好閱讀轉錄稿而非觀看影片的使用者,輕鬆收看這些影片。

我們很期待看到開發人員持續強化 ViddyScribe,在未來擴大觀眾群和功能。

使用內建 AI API 繼續開發

ViddyScribe 只是您使用 Gemini 建構的眾多精彩應用程式之一。

我們正在開發內建 AI:網頁平台 API 和瀏覽器功能,可將 AI 模型 (包括大型語言模型 (LLM)) 直接整合至瀏覽器。

探索可用的 API,開始建構功能強大的網站、網頁應用程式和 Chrome 擴充功能。

歡迎在 @ChromiumDev 分享您建構的內容,或在 LinkedIn 上的 Chrome for Developers 分享。