內建 AI

Kenji Baheux
Kenji Baheux
Alexandra Klepper
Alexandra Klepper
X GitHub LinkedIn

使用 AI 模型網頁版建構功能時，我們通常會依靠伺服器端解決方案來處理大型模型。這對於生成式 AI 而言尤其重要，即使是最小的模型規模都比中位數網頁大小高出一千倍。其他 AI 用途也適用 10 至 100 MB 的模型。

由於這些模型不會跨網站共用，因此每個網站都必須在網頁載入時下載這些模型。對開發人員和使用者來說，這是不切實際的解決方案

雖然伺服器端 AI 是大型模型的絕佳選擇，但裝置端和混合型方法各有其缺點。為了讓這些方法可行，我們必須解決模型大小和模型提供問題。

因此，我們開發網路平台 API 和瀏覽器功能，專為將 AI 模型 (包括大型語言模型 (LLM)) 直接整合至瀏覽器。其中包括最有效率的 Gemini LLM 系列 Gemini Nano，可在大多數的新型桌上型電腦和筆記型電腦上執行。有了內建 AI，您的網站或網頁應用程式就能執行採用 AI 技術的工作，完全不必部署或管理自己的 AI 模型。

探索內建 AI 的優點、我們的實作計畫，以及如何利用這項技術。

搶先體驗

我們需要由您提供輸入內容來打造 API，確保 API 符合您的用途，並讓我們與其他瀏覽器供應商討論，以便進行標準化。

加入早期搶先體驗計畫，針對初期內建 AI 構想提供意見，並尋找機會透過本機原型設計測試開發中的 API。

加入 Chrome AI 開發人員公開公告群組，即可在新的 API 推出時收到通知。

適用於網頁程式開發人員的內建 AI 技術的好處

瀏覽器內建 AI 技術，可提供及管理基礎和專家模型。

相較於自行導入裝置端 AI，內建 AI 具備以下優點：

  • 易於部署：瀏覽器發布模型時，會將裝置的功能與管理模型的更新納入考量。這表示您無需負責透過網路下載或更新大型模型。您不必解決儲存空間剔除問題、執行階段記憶體預算、服務成本和其他難題。
  • 硬體加速存取權：瀏覽器的 AI 執行階段經過最佳化處理，能充分運用可用硬體，無論是 GPU、NPU，還是改回使用 CPU。因此，您的應用程式可在各種裝置上發揮最佳效能。

在裝置端執行的好處

藉由內建的 AI 方法，在裝置端執行 AI 任務變得十分簡單，進而具有以下優點：

  • 在本機處理機密資料：裝置端 AI 可改善您的隱私權故事。舉例來說，處理機密資料時，您可以向使用者提供 AI 功能，並進行端對端加密。
  • Snappy 使用者體驗：在某些情況下，如果在往返伺服器之間進行截斷，可以提供近乎即時的結果。裝置端 AI 可能代表可行的功能，但使用者體驗不佳。
  • 增加 AI 使用率：使用者的裝置可能會承擔部分處理負載，藉此獲得更多功能。舉例來說，如果您提供付費 AI 功能，便可在裝置端 AI 中預覽這些功能，讓潛在顧客能看到產品的優勢，而且不會增加您的額外費用。這種混合型做法也有助於管理推論成本，特別是針對常用使用者流程。
  • 離線 AI 用量：即使沒有網際網路連線，使用者還是可以使用 AI 功能。這表示您的網站和應用程式可以正常運作，也可在離線或變化連線的情況下運作。

混合式 AI：裝置端和伺服器端

裝置端 AI 可以處理大量用途，但某些用途需要伺服器端支援。

舉例來說，您可能需要使用較大的模型，或支援更多的平台和裝置。

您可以考慮採用混合型做法，並取決於：

  • 複雜度：裝置端 AI 比較容易支援具體可行的用途。如有複雜的用途，請考慮伺服器端實作。
  • 彈性：根據預設，使用伺服器端，並在裝置離線或連線不穩時使用裝置端。
  • 安全備用機制：採用內建 AI 的瀏覽器需要時間才能完成，部分模型可能無法使用，且版本較舊或效能較低的裝置可能無法達到執行所有模型的最佳硬體需求。並為這些使用者提供伺服器端 AI。

如果是 Gemini 模型，您可以使用後端整合功能 (透過 Python、Go、Node.js 或 REST)，或是搭配新的網頁版 Google AI 用戶端 SDK 在您的網頁應用程式中實作。

瀏覽器架構和 API

為了支援 Chrome 內建的 AI 技術，我們打造了基礎架構，用於存取裝置端執行的基礎和專家模型。這個基礎架構已支援創新瀏覽器功能，例如幫我寫，不久後也會支援裝置端 AI 適用的 API。

您將主要透過工作 API 存取內建的 AI 功能，例如翻譯 API 或摘要 API。工作 API 的設計宗旨是針對指派的最佳模型執行推論。

在 Chrome 中，這些 API 的設計是為了透過微調或專家模型，針對 Gemini Nano 執行推論。Genmini Nano 專為大多數新型裝置在本機上設計，因此最適合用於語言相關用途，例如摘要、修改或分類。

此外，我們也打算提供探索 API，讓您可以在本機進行實驗並分享其他用途。

舉例來說，我們可能會提供：

  • Prompt API：將以自然語言表示的任意工作傳送至內建的大型語言模型 (Chrome 的 Gemini Nano)。
  • 微調 (LoRA) API：透過低排名調整微調模型的權重，改善內建 LLM 在工作上的效能。
這張圖表展示您的網站或應用程式如何使用工作平台 API 和探索性網路平台 API 存取 Chrome 內建的模型。

內建 AI 技術的使用時機

我們希望內建 AI 技術能為您和使用者帶來以下好處：

  • 使用 AI 強化內容使用功能：包含摘要、翻譯，以及回答部分內容、分類和特性的問題。
  • AI 支援的內容製作：例如寫作協助、校對、文法校正和改寫。

後續步驟

歡迎加入早期搶先體驗計畫，試用早期的內建 AI API。

同時，您可以參閱 Google AI JavaScript SDK 快速入門導覽課程，瞭解如何在 Google 的伺服器和網站和應用程式上使用 Gemini Pro。