AI in Action ワークショップのハイライト

Damani Brown
Damani Brown
GitHub LinkedIn
Melissa Mitchell
Melissa Mitchell
Mari Viana
Mari Viana
LinkedIn
Thierno Thiam

公開日: 2025 年 10 月 14 日

ニューヨーク市のスタートアップ グループと提携して、「AI in Action」技術ワークショップを開催しました。目標はシンプルでした。クライアントサイド AI と組み込みの AI API を製品に直接統合して、速度、プライバシー、ユーザー エクスペリエンスを向上させる方法を実証することです。

合計で、8 つの革新的なスタートアップから 24 人のデベロッパーが参加しました。午前のセッションでは、プロダクトとエンジニアリングの専門家が、オープンソース、オンデバイス モデルの大きな可能性、AI をウェブ プラットフォームに直接導入することの戦略的な重要性について講演しました。その後、技術スペシャリストが、組み込みの AI API を使い始めるための実践的なガイダンスを提供しました。

参加者は、既存の機械学習の知識に関係なく、これらの API を簡単に使用できることを知り、イベントに高い価値を見出しました。また、テストを通じてアプリケーションの新しいユースケースを発見しました。ドキュメントを検証できることを楽しみにしています。あるグループは、複雑なバグの特定と再現を支援してくれたため、修正を送信することができました。

参加者はクライアントサイド AI を使用して 10 個のプロトタイプを開発しました。参加者のプロジェクトとイベントでの体験談をご覧ください。

Prompt API を使用したアダプタのイベント検出

Adapter の目標は、「スクリーン タイムではなく、自由時間を最大限に活用できる日常生活のミッション コントロール」を構築することです。このチームは、次の 2 つの機能を備えたコンセプト実証拡張機能を構築しました。

  • インテリジェントで調整されたイベント検出。ブラウジング中にウェブページ内のイベント（コンサート、レストラン、イベント）を特定し、個人のカレンダーの空き状況、ライフスタイル、リアルタイムのソーシャル シグナルなどの個人的なコンテキストに合わせて調整します。これらの処理はすべてローカルで行われます。
  • ウェブページのコンテンツの順序を、ユーザーの興味に合わせてオンデマンドでパーソナライズするリアルタイムのコンテンツの再ランキング。

アダプターは、解析、推論、ツール呼び出しに Prompt API を使用し、ローカル テキスト生成に Writer API を使用しました。

「複雑な推論とマルチステップ ワークフローをエッジで実行し、プライバシーのトレードオフを最小限に抑えています。これにより、すべての推論がネットワークを介したデータの送信を意味し、リモート コンピューティングが深化していたため、実用的ではなかったパーソナル インテリジェンス アプリケーションが可能になります。」- Dillon Ponzo 氏（Adapter の創設エンジニア）

Chrome の組み込み AI API により、データをローカルで処理する軽量モデルが実現し、デフォルトでプライバシーが保護されます。Adapter の創設エンジニアである Aidan Crank 氏と Dillon Ponzo 氏は、これをアーキテクチャの哲学の検証と見なしました。

「ほとんどの AI 拡張機能はコンテキストをキャプチャして別の場所に送信します」と、Adapter に入社する前に AWS で大規模な ML エンジニアリングに取り組んでいた Crank 氏は説明します。「Chrome の組み込み AI は、そのモデルを反転させます。個人データはデバイス上に残りますが、これまで実現できなかったインテリジェントなエクスペリエンスを利用できます。」

以前の会社 Ionic Security で大規模な自律型データ中心のセキュリティを開発した Adapter の共同創業者 Adam Ghetti は、より深い意味合いがあると考えています。「プライバシーは追加する機能ではなく、選択するアーキテクチャです。Chrome の組み込み AI により、このアーキテクチャが実用的なものになります。」

Chrome がマルチモーダル サポートとより豊富な API でこれらの機能を拡張するにつれて、エッジはクラウドに追いつくだけでなく、パーソナル AI とプライベート AI については、妥当な範囲でそれを超えることが重要です。

Sublayer が Prompt API で画像を分類してバリエーションを改善

Sublayer は、画像の操作やバリエーションの生成方法に革命を起こすことを目指して設計された、Photoslider という楽しいアプリを作成しました。

PhotoSlider を使用するには、ユーザーが写真をアップロードするか、新しい写真を撮影して、[分析] をクリックします。Prompt API はこれらの画像をモデルに送信して分析し、3 つのキー属性を特定して、それらの属性に 1 ～ 10 の値を割り当てるようモデルにリクエストします。たとえば、属性は「伝統的」や「輝度」などです。

フロントエンドでは、ユーザーに画像とスライダーが表示され、値を調整したり、カスタム値で新しい属性を導入したりできます。変更リクエストと画像はサーバーサイド AI に送信され、マルチモーダル出力機能を備えた大規模なモデルが変更された仕様に基づいてまったく新しい画像を生成します。この反復プロセスは無限に繰り返すことができ、理想の画像が完成するまで完全に制御できます。

Sublayer の CEO である Scott Werner 氏は、次のように述べています。「ローカル推論がどのようなものになるのか、私たちは真剣に探求してきました。ユーザーがモデルを直接インストールする複雑な手順を踏むよりも、ユーザーのパソコンのブラウザでデフォルトで利用できるようにする方がはるかに簡単です。」

Echo3D は 3D モデルを検索可能な豊富なデータに変換します

Echo3D は、企業がさまざまなチームや組織間で 3D モデルやスキャンをシームレスに保存、保護、共有するためのプラットフォームと API を提供します。高度な 3D パイプラインとテキスト パイプラインにより、3D モデルが効率的に処理され、検索可能なリッチデータに変換されます。

このイベントで、echo3D はアセットの視覚的な理解を深める 3D からテキスト、テキストから 3D へのツールを開発しました。Prompt API を使用して、モデルのタグ付けを自動化し、重複を検出し、大規模な 3D ライブラリのカタログ化とドキュメント化を効率化しました。

{
  "description": "A 3D model of a large, tan-colored sandcastle with one main
    tower, four small towers, and staircases wrapping around. The towers
    have multiple windows. There is a main gate.",
  "tags": ["sand","castle","gate","tan","tower","staircase"]
}

これにより、すべてのアセットにリッチで一貫性のある検索可能な説明が追加され、ユーザーのライブラリ全体がより整理され、アクセスしやすくなります。また、保存容量を節約し、重複するファイルによるバージョニングの競合を防ぐことができます。

「チームにとって、このイベントは本当に貴重なものでした。特に、組み込み AI を使用して AI 機能をウェブ アプリケーションに簡単に統合できることに感銘を受けました。このような短期間で安全なクライアントサイドの AI 機能をプロトタイプ作成してデプロイできることは、大きなメリットでした。」– Alon Grinshpoon（echo3D CEO）

Spot2 がアップロードされた画像から構造化メタデータを作成した

Spot2 のアプリケーションには、メキシコシティの賃貸物件が一覧表示されます。多くの場合、これらの物件が掲載されると、重要なメタデータやその他の貴重な情報がリスティングから欠落します。詳細は、サプライヤーの細部への配慮によって大きく異なります。Spot2 は、Prompt API を使用してデータ品質を向上させることに一日中取り組んでいました。

このチームは、リスティング メタデータの構造を自動的に処理して整理する機能を開発しました。このプロセスは、写真がアップロードされた瞬間に発生するため、完全性と一貫性を確保できます。このタスクをサーバーサイドではなくクライアントサイドで実行することで、費用対効果の高い機能を実現しています。

この機能がリリースされれば、データ品質の著しい向上と運用費用の大幅な削減という 2 つの効果が期待できます。「リスティングの品質が向上すれば、コンバージョン率も高まると予想しています。」

次回もぜひご参加ください