「AI in Action」研討會重點

Damani Brown
Damani Brown
GitHub LinkedIn
Melissa Mitchell
Melissa Mitchell
Mari Viana
Mari Viana
LinkedIn
Thierno Thiam

發布日期：2025 年 10 月 14 日

我們與紐約市的一群新創公司合作，舉辦了「AI in Action」技術研討會。目標很簡單：展示如何將用戶端 AI 和內建 AI API 直接整合到產品中，以提升速度、保護隱私權，並提供更優質的使用者體驗。

我們總共接待了 8 間創新新創公司的 24 位開發人員。上午的場次由產品和工程專家發表演說，涵蓋開放原始碼的巨大潛力、裝置端模型，以及直接在網頁平台導入 AI 的策略重要性。技術專家隨後提供實用指南，協助開發人員開始使用內建的 AI API。

與會者認為這項活動非常有價值，並發現無論現有的機器學習知識為何，都能輕鬆使用這些 API。他們也透過實驗，為應用程式發掘新的用途。我們很期待驗證文件。其中一個群組甚至協助我們找出並重現複雜的錯誤，以便提交修正檔。

與會者使用用戶端 AI 成功開發 10 個原型。歡迎瀏覽他們的部分專案，並瞭解他們在活動中的體驗。

使用 Prompt API 偵測介面卡事件

Adapter 的目標是打造「日常生活的任務控制中心，盡可能減少螢幕使用時間，增加自由時間」。他們建構了概念驗證擴充功能，具備兩項功能：

  • 智慧型活動偵測功能會與瀏覽網頁時的活動 (演唱會、餐廳、活動) 保持一致，然後根據個人日曆空檔、生活偏好和即時社群信號等個人情境調整活動，所有處理程序都會在裝置上進行。
  • 即時內容重新排序，可根據個人興趣，隨時調整網頁內容的排序。

Adapter 使用 Prompt API 剖析、推理及呼叫工具，並使用 Writer API 產生本機文字。

「我們在邊緣進行複雜的推理和多步驟工作流程，同時盡量減少隱私權方面的取捨。這項技術可讓個人智慧應用程式在每次推論都必須透過網路傳輸資料時，變得不切實際，同時加深遠端運算。" – Dillon Ponzo，Adapter 創始工程師

Chrome 內建的 AI API 可支援輕量型模型，在本機處理資料，預設保護隱私權。Adapter 的創始工程師 Aidan Crank 和 Dillon Ponzo 認為，這證明瞭他們的架構理念正確無誤。

「大多數 AI 擴充功能都會擷取內容並傳送至其他地方。」Crank 說明道。他加入 Adapter 前，曾在 AWS 負責大規模機器學習工程。「Chrome 內建 AI 則會反轉該模型。您的個人資料會保留在裝置上，但您可享有先前無法取得的智慧體驗。」

Adapter 共同創辦人 Adam Ghetti 認為這項技術的影響更深遠。他先前創立的 Ionic Security 率先大規模採用以資料為中心的自主安全防護機制。他表示：「隱私權不是新增的功能，而是選擇的架構。Chrome 內建 AI 讓這種架構成為可能。」

隨著 Chrome 透過多模態支援和更豐富的 API 擴展這些功能，邊緣裝置不僅能趕上雲端，對於個人和私人 AI，則是在適當情況下超越這項標準。

Sublayer 會使用 Prompt API 分類圖片，以改善變體

Sublayer 團隊開發了名為 Photoslider 的有趣應用程式，旨在徹底改變您與圖片互動的方式，以及生成圖片變體的方式。

如要使用 PhotoSlider，使用者必須上傳相片或拍攝新相片，然後按一下「分析」。Prompt API 會將這些圖片傳送至模型進行分析，要求模型找出 3 項主要屬性，並為這些屬性指定 1 到 10 的值。例如「傳統」或「亮度」。

在前台，使用者會看到圖片和滑桿，可調整值或導入具有自訂值的新屬性。系統會將變更要求和圖片傳送至伺服器端 AI，以便具有多模態輸出功能的大型模型根據變更後的規格生成全新圖片。您可以不斷重複這個疊代程序，完全掌控圖片生成過程，直到獲得理想圖片為止。

Sublayer 執行長 Scott Werner 興奮地表示：「我們一直很想瞭解本機推論的運作方式。在使用者電腦的瀏覽器中預設提供這項功能，比讓使用者直接安裝模型簡單許多。」

Echo3D 會將 3D 模型處理為可搜尋的豐富資料

Echo3D 提供平台和 API，讓企業在不同團隊和機構之間，順暢地儲存、保護及分享 3D 模型和掃描內容。這些管道的進階 3D 和文字管道可有效處理 3D 模型，轉換成可搜尋的豐富資料。

在活動中，echo3D 開發了 3D 轉文字再轉 3D 的工具，可提升素材資源的視覺理解能力。他們使用 Prompt API 自動標記模型、偵測重複項目，並簡化大量 3D 程式庫的編目和記錄作業。

{
  "description": "A 3D model of a large, tan-colored sandcastle with one main
    tower, four small towers, and staircases wrapping around. The towers
    have multiple windows. There is a main gate.",
  "tags": ["sand","castle","gate","tan","tower","staircase"]
}

這樣一來，每項資產都會有豐富、一致且可搜尋的說明，讓使用者更容易整理及存取整個媒體庫。此外，這項功能還能節省儲存空間，並避免因檔案重複而造成版本衝突。

「我們的團隊非常重視這項活動。我們特別驚豔的是，使用內建 AI 就能輕鬆將 AI 功能整合到網頁應用程式中。能在這麼短的時間內，完成安全用戶端 AI 功能的原型設計和部署，是一大優勢。」– Alon Grinshpoon，echo3D 執行長

Spot2 會根據上傳的圖片建立結構化中繼資料

Spot2 的應用程式會列出墨西哥市的房地產出租資訊。這些房源刊登時，通常會缺少重要中繼資料和其他有價值的資訊。詳細資料的變異性很高，取決於供應商對細節的重視程度。Spot2 整天都在使用 Prompt API 提升資料品質。

他們的團隊開發了一項功能，可自動處理及整理房源中繼資料的結構。系統會在相片上傳時立即執行這項程序，確保相片完整一致。這項工作在用戶端執行而非伺服器端，因此這項功能符合成本效益。

這項功能推出後，可望帶來雙重效益：顯著提升資料品質，並大幅降低營運費用。「我們預期，更高品質的商家資訊也會帶來更高的轉換率。」

歡迎下次參加