发布时间：2025 年 10 月 14 日
我们与纽约市的一群初创公司合作，举办了“AI in Action”（AI 在行动）技术研讨会。目标很简单：演示如何将客户端 AI 和内置 AI API 直接集成到产品中，以提高速度、保护隐私并改善用户体验。
我们总共接待了 8 家创新初创公司的 24 位开发者。上午的会议邀请了产品和工程专家发表演讲，内容涵盖开源、设备端模型的巨大潜力，以及将 AI 直接引入 Web 平台的战略重要性。然后，技术专家提供了有关如何开始使用内置 AI API 的实用指南。
与会者认为此次活动非常有价值，并发现无论他们是否具备机器学习知识，都可以轻松使用这些 API。他们还通过实验发现了应用的新使用场景。我们很高兴能验证自己的文档。一个群组甚至帮助我们识别并重现了一个复杂的 bug，以便我们提交修复。
我们的参与者成功开发了 10 个使用客户端 AI 的原型。不妨看看他们的一些项目，了解他们在活动中的体验。
使用 Prompt API 检测适配器的事件
Adapter 的目标是打造“日常生活任务控制中心，让用户有更多自由时间，而不是屏幕时间”。他们构建了一个概念验证扩展程序，该扩展程序具有以下两项功能：
- 智能且一致的活动检测功能，可在浏览网页时识别网页中的活动（音乐会、餐厅、活动），然后根据个人情境（包括个人日历空闲情况、生活偏好和实时社交信号）调整这些活动，所有这些都在本地处理。
- 实时内容重新排名，可根据您的个人兴趣按需对网页上的内容进行个性化排序。
该适配器使用 Prompt API 进行解析、推理和调用工具，并使用 Writer API 进行本地文本生成。
“我们正在边缘设备上进行复杂的推理和多步骤工作流，同时尽可能减少隐私权方面的权衡。这使得个人智能应用成为可能，而以前，每次推理都意味着要在网络间传输数据，这很不实用，同时还会加深远程计算。- Dillon Ponzo，Adapter 的创始工程师
Chrome 的内置 AI API 支持在本地处理数据的轻量级模型，默认情况下可保护隐私。Adapter 的创始工程师 Aidan Crank 和 Dillon Ponzo 认为，这验证了他们的架构理念。
“大多数 AI 扩展程序都会捕获上下文并将其发送到其他地方，”Crank 解释道。他之前曾在 AWS 从事大规模机器学习工程方面的工作，之后加入了 Adapter。“Chrome 的内置 AI 颠覆了这一模式。您的个人数据会保留在设备上，但您可以获得以前无法实现的智能体验。”
Adapter 联合创始人 Adam Ghetti 曾创立 Ionic Security，率先大规模采用以数据为中心的自主安全技术。他认为，隐私保护的意义更加深远：“隐私保护不是一项附加功能，而是一种架构选择。Chrome 的内置 AI 使这种架构成为现实。”
随着 Chrome 通过多模态支持和更丰富的 API 扩展这些功能，边缘设备不仅在追赶云端，对于个人和私密 AI，我们会在适当的时候超越它。
子层使用 Prompt API 对图片进行分类，以改进变体
Sublayer 打造了一款名为 Photoslider 的有趣应用，旨在彻底改变您与图片互动以及生成图片变体的方式。
如需使用 PhotoSlider，用户可以上传照片或拍摄新照片，然后点击分析。Prompt API 会将这些图片发送给模型进行分析，并请求模型识别 3 个关键属性，然后为这些属性赋予 1 到 10 之间的值。例如，属性可以是“传统”或“亮度”。
在前端，系统会向用户显示图片和滑块，以便用户调整值或引入具有自定义值的新属性。更改请求和图片会发送到服务器端 AI，以便具有多模态输出功能的大型模型可以根据更改后的规范生成全新图片。您可以无限次重复此迭代过程，直到获得理想的图片为止。
Sublayer 首席执行官 Scott Werner 表达了他的热情：“我们一直非常想探索本地推理的实现方式。默认情况下，在用户机器上的浏览器中提供该功能，这比让用户直接安装模型要简单得多。”
Echo3D 将 3D 模型处理为可搜索的丰富数据
Echo3D 为企业提供了一个平台和 API，以便在不同的团队和组织之间无缝存储、安全地共享 3D 模型和扫描数据。其先进的 3D 和文本流水线可高效地将 3D 模型处理为可搜索的丰富数据。
在活动中，echo3D 开发了 3D-to-text-to-3D 工具，可增强对素材资源的视觉理解。他们使用 Prompt API 自动执行模型标记、检测重复内容，并简化了对庞大 3D 库的编目和文档编制。
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
这样一来，每项资源都会获得丰富、一致且可搜索的说明，从而让用户的整个媒体库更加井井有条，方便用户访问。此外，它还可以节省存储空间，并防止因冗余文件而导致的版本控制冲突。
“我们的团队非常重视这次活动。我们尤其对使用内置 AI 将 AI 功能轻松集成到 Web 应用中印象深刻。能够在如此短的时间内完成安全客户端 AI 功能的原型设计和部署，是一项显著的优势。” - Alon Grinshpoon，echo3D 首席执行官
Spot2 从上传的图片中创建了结构化元数据
Spot2 的应用列出了墨西哥城的出租房源。在列出这些房源时，房源详情中往往会缺少关键元数据和其他有价值的信息。具体细节因供应商对细节的关注程度而异。Spot2 花了一天时间使用 Prompt API 提升数据质量。
他们的团队开发了一项功能，可自动处理和整理房源元数据的结构。此过程会在照片上传时立即发生，有助于确保完整性和一致性。通过在客户端而非服务器端执行此任务，该功能可节省费用。
如果推出，此功能有望带来双重影响：显著提高数据质量，并大幅降低运营费用。“我们预计，更优质的商品详情也会转化为更高的转化率。”
欢迎下次加入我们
- 报名参加 2025 年 11 月 7 日在旧金山举办的下一场“AI 实战”研讨会。
- 加入 2025 年内置 AI 挑战赛。 我们将面向所有开发者举办虚拟黑客马拉松活动。使用内置 AI API 创建 Web 应用或 Chrome 扩展程序，即有机会赢取总额高达 7 万美元的奖品。