組み込みの AI

Kenji Baheux
Kenji Baheux

公開日: 2024 年 5 月 14 日、最終更新日: 2024 年 5 月 20 日

Google は、ブラウザに組み込まれた AI モデル、エキスパートモデル、大規模言語モデル(LLM)を操作するように設計された ウェブ プラットフォーム API とブラウザ機能を開発しています。これには、ほとんどの最新のデスクトップ パソコンとノートパソコンでローカルに実行するように設計された、LLM の Gemini ファミリーの最も効率的なバージョンである Gemini Nano が含まれます。組み込み AI を使用すると、ウェブサイトやウェブアプリで AI を活用したタスクを実行できます。AI モデルをデプロイ、管理、セルフホストする必要はありません。

組み込み AI のメリット、実装計画、このテクノロジーを活用する方法について説明します。

ウェブ デベロッパー向けの組み込み AI のメリット

AI が組み込まれているため、ブラウザは基盤モデルとエキスパートモデルを提供して管理します。

組み込み AI には次の利点があります。

  • デプロイの容易さ: ブラウザがモデルを配布し、デバイスの機能を考慮して更新を管理します。つまり、ネットワーク経由で大規模なモデルをダウンロードまたは更新する責任はありません。ストレージの強制排除、ランタイム メモリ バジェット、サービング コストなどの課題を解決する必要はありません。
  • ハードウェア アクセラレーションへのアクセス: ブラウザの AI ランタイムは、GPU、NPU、または CPU へのフォールバックなど、利用可能なハードウェアを最大限に活用するように最適化されています。そのため、アプリは各デバイスで最高のパフォーマンスを発揮できます。

クライアントサイドで実行するメリット

組み込み AI を使用すると、AI をクライアントサイドで実行できます。これにより、次のようなメリットがあります。

  • 機密データのローカル処理: クライアントサイド AI により、プライバシー保護を強化できます。たとえば、機密データを扱う場合は、エンドツーエンドの暗号化を使用してユーザーに AI 機能を提供できます。
  • 高速なユーザー エクスペリエンス: サーバーへのラウンドトリップを回避することで、ほぼ即時の結果を提供できる場合があります。クライアントサイド AI は、実用的な機能と最適ではないユーザー エクスペリエンスの違いを生む可能性があります。
  • AI へのアクセスの拡大: ユーザーのデバイスは、処理負荷の一部を肩代わりすることで、より多くの機能にアクセスできます。たとえば、プレミアム AI 機能を提供している場合は、クライアントサイド AI でこれらの機能をプレビューして、追加費用なしで見込み顧客に商品のメリットをアピールできます。このハイブリッド アプローチは、特に頻繁に使用されるユーザーフローにおいて、推論コストを管理するのにも役立ちます。
  • オフライン AI の使用: ユーザーは、インターネットに接続していなくても AI 機能にアクセスできます。つまり、サイトとウェブアプリは、オフラインでも、接続が不安定な場合でも、想定どおりに動作します。

ハイブリッド AI: クライアントサイドとサーバーサイド

クライアントサイド AI はさまざまなユースケースに対応できますが、サーバーサイドのサポートが必要なユースケースもあります。サーバーサイド AI は、大規模なモデルに適しており、幅広いプラットフォームとデバイスをサポートできます。

アプリで次のようなことが求められる場合は、ハイブリッド アプローチを検討してください。

  • 複雑さ: 具体的で取り組みやすいユースケースは、オンデバイス AI でサポートしやすいです。複雑なユースケースの場合は、サーバーサイドの実装を検討してください。
  • 復元力: デフォルトではサーバーサイドを使用します。デバイスがオフラインの場合や接続が不安定な場合は、オンデバイスを使用します。
  • 正常なフォールバック: AI を組み込んだブラウザの導入には時間がかかり、一部のモデルは利用できない場合があります。また、古いデバイスや性能の低いデバイスでは、すべてのモデルを最適に実行するためのハードウェア要件を満たしていない場合があります。そのようなユーザーにはサーバーサイド AI を提供します。

たとえば、組み込みの Prompt API(まもなくオリジン トライアルが開始されます)を使用する場合、この API は Windows、macOS、Linux のパソコン上の Chrome ブラウザと Chrome 拡張機能でのみ機能します。すべてのユーザーが AI 機能のメリットを享受できるようにするには、Firebase AI Logic を使用してハイブリッド アーキテクチャを設定します。

Gemini モデルを使用する場合は、Node.js を使用してバックエンド統合を構築できます。

組み込みの AI にアクセスする

組み込みの AI 機能には、Translator API や Summarizer API などのタスク API を使用してアクセスできます。タスク API は、割り当てに最適なモデルに対して推論を実行するように設計されています。

Chrome では、これらの API は、ファインチューニングまたはエキスパート モデルを使用して Gemini Nano に対して推論を実行するように構築されています。ほとんどの最新デバイスでローカルに実行するように設計された Gemini Nano は、要約、言い換え、分類など、言語関連のユースケースに最適です。

組み込み AI を使用する場合

組み込み AI がクリエイターとユーザーにもたらすメリットをいくつかご紹介します。

  • AI を活用したコンテンツの利用: 要約、翻訳、分類、特徴付け、ナレッジ プロバイダなど。
  • AI を活用したコンテンツ作成: 文章作成の補助、校正、文法の修正、言い換えなど。

いくつかの 組み込み AI API は、Chrome の安定版とオリジン トライアルで利用できます。探索 API と初期段階の API は、早期プレビュー プログラム(EPP)の参加者が利用できます。

Preview new features

Google は、API の設計、ユースケースの実現、標準化に関する他のブラウザ ベンダーとの協議に役立てるために、皆様のご意見を必要としています。

EPP に参加して、初期段階の組み込み AI のアイデアについてフィードバックを提供し、ローカル プロトタイピングを通じて進行中の API をテストする機会を見つけましょう。