公開日: 2024 年 5 月 14 日
ウェブで AI モデルを使用して特徴を構築する場合、大規模なモデルにはサーバーサイド ソリューションを使用することがよくあります。これは特に生成 AI に当てはまります。生成 AI では、最も小さいモデルでもウェブページの平均サイズの約 1,000 倍の大きさになります。これは、モデルが数十から数百メガバイトになる他の AI ユースケースにも当てはまります。
これらのモデルはウェブサイト間で共有されないため、各サイトはページの読み込み時にモデルをダウンロードする必要があります。これは非現実的な解決策であり、 デベロッパーとユーザー
サーバーサイド AI は大規模なモデルに適していますが、オンデバイス アプローチとハイブリッド アプローチにはそれぞれ魅力的なメリットがあります。これらを 実現するには、モデルのサイズとモデルの提供に対処する必要があります。
そのため、Google は、大規模言語モデル（LLM）などの AI モデルをブラウザに直接統合するように設計された、Web プラットフォーム API とブラウザ機能を開発しています。これには、Gemini ファミリーの LLM の最も効率的なバージョンである Gemini Nano が含まれます。これは、ほとんどの最新のデスクトップ パソコンとノートパソコンでローカルに実行するように設計されています。AI が組み込まれているため、ウェブサイトやウェブ アプリケーションは、独自の AI モデルをデプロイまたは管理しなくても、AI を活用したタスクを実行できます。
組み込みの AI のメリット、Google の実装計画、 この技術を活用できます
早期プレビューを入手する
Google は、API の設計、ユースケースの実現、標準化に関する他のブラウザ ベンダーとの協議に役立てるため、皆様からのフィードバックをお待ちしております。
早期プレビュー プログラムに登録して、 初期段階の組み込み AI のアイデアに関するフィードバックを得て、テストの機会を発見できる 開発中の API をローカルでプロトタイピングできます
新しい API が利用可能になったときに通知を受け取るには、Chrome AI デベロッパー向け公開お知らせグループに参加してください。
組み込み AI がウェブ デベロッパーにもたらすメリット
組み込みの AI により、ブラウザから 基盤とエキスパート モデル。
組み込み AI には、DIY オンデバイス AI と比較して次のような利点があります。
- デプロイの容易さ: ブラウザがモデルを分散すると、 デバイスの機能を把握し、モデルの更新を管理します。この つまり、1 時間で大容量のモデルをダウンロードまたは更新する必要はなく、 接続しますストレージ エビクション、ランタイム メモリ バジェット、 課題に直面しています
- ハードウェア アクセラレーションへのアクセス: ブラウザの AI ランタイムは、GPU、NPU、CPU にフォールバックするなど、利用可能なハードウェアを最大限に活用するように最適化されています。その結果、各デバイスで ダウンロードします
オンデバイスでの実行のメリット
AI をデバイスに組み込むアプローチでは、デバイス上で AI タスクを実行するのが簡単になります。これにより、次のようなメリットがもたらされます。
- 機密データのローカル処理: オンデバイス AI によりプライバシーを強化できます。たとえば、機密データを扱う場合は、エンドツーエンドの暗号化を使用してユーザーに AI 機能を提供できます。
- Snappy ユーザー エクスペリエンス: 場合によっては、 ほぼ瞬時に結果を提示できますオンデバイス AI は、実用的な機能と最適でないユーザー エクスペリエンスの違いを生む可能性があります。
- AI をさらに活用: ユーザーのデバイスは次々と より多くの機能を利用できるようになることと引き換えに処理の負荷が軽減されます。たとえば プレミアム AI 機能を提供する場合、オンデバイス AI でこれらの機能をプレビューできます 商品のメリットを 見込み顧客に 追加費用が発生しますこのハイブリッドなアプローチは 特に頻繁に使用されるユーザーフローでは推論のコストがかかります。
- オフラインでの AI の使用: オフラインのときでも、ユーザーは AI 機能にアクセスできます。 インターネット接続ですつまり、サイトとウェブアプリは、オフラインでも、接続が不安定な場合でも、想定どおりに動作します。
ハイブリッド AI: オンデバイスとサーバーサイド
オンデバイス AI はさまざまなユースケースに対応できますが、サーバーサイドのサポートが必要なユースケースもあります。
たとえば、より大規模なモデルを使用したり、より広範囲の プラットフォームとデバイスです。
以下に応じて、ハイブリッド アプローチを検討できます。
- 複雑さ: 具体的で親しみやすいユースケースの方がサポートしやすい 生成 AI です。複雑なユースケースの場合は、サーバーサイドの実装を検討してください。
- 復元性: デフォルトでサーバーサイドを使用し、デバイスが 接続が不安定な場合です
- 代替案: AI が組み込まれたブラウザの導入には時間がかかります。 機種によっては利用できない場合や、旧式や性能の低いデバイスでは利用できない場合があります。 すべてのモデルを最適に実行するためのハードウェア要件を満たします。オファー 利用できるようにしました
Gemini モデルでは、バックエンド統合（ Python Go、 Node.js REST など）を使用するか、 ウェブ アプリケーションに ウェブ用の Google AI クライアント SDK。
ブラウザのアーキテクチャと API
Chrome に組み込み AI をサポートするため、オンデバイス実行用の基盤モデルとエキスパートモデルにアクセスするインフラストラクチャを構築しました。このインフラストラクチャはすでに 次のような革新的なブラウザ機能を推進しています。 文書作成サポート、 オンデバイス AI 用の API も近日中に提供される予定です。
組み込みの AI 機能には、主にタスク API（翻訳 API や要約 API など）を使用してアクセスします。Task API は、最適なモデルに対して推論を実行するように設計されています。 割り当てます。
Chrome では、これらの API は、ファインチューニングまたはエキスパートモデルを使用して Gemini Nano に対して推論を実行するように構築されています。ほとんどの最新デバイスでローカルに 実行できるように設計されているので Gemini Nano は、要約、翻訳、文章の翻訳など、言語に関連するユースケースに 分類する必要もありません。
また、ローカルでテストできるように、探索的 API も提供する予定です。 その他のユースケースを共有します。
たとえば、次のような情報を提供します。
- Prompt API: 自然言語で表現された任意のタスクを 。
- ファインチューニング（LoRA）API: 低ランク適応のファインチューニングでモデルの重みを調整し、タスクでの組み込み LLM のパフォーマンスを向上させます。
組み込み AI を使用する場合
組み込み AI には、次のようなメリットがあります。
- AI で強化されたコンテンツの利用: 要約、 翻訳 コンテンツ、分類、特徴についての質問に回答します。
- AI を活用したコンテンツ作成: 文章作成の補助、校正、文法の修正、言い換えなど。
次のステップ
早期プレビュー プログラムに参加して、初期段階の組み込み AI API を試すことができます。
それまでの間、 Google のツールで Google AI JavaScript SDK のクイックスタートをご覧ください。