Wenn wir Funktionen mit KI-Modellen im Web entwickeln, stützen wir uns bei größeren Modellen oft auf serverseitige Lösungen. Dies gilt insbesondere für Generative AI, bei der selbst die kleinsten Modelle etwa tausendmal größer sind als die durchschnittliche Größe von Webseiten. Dies gilt auch für andere KI-Anwendungsfälle, bei denen Modelle zwischen 10 und 100 Megabyte groß sein können.
Da diese Modelle nicht für mehrere Websites verwendet werden, müssen sie von jeder Website beim Seitenaufbau heruntergeladen werden. Diese Lösung ist für Entwickler und Nutzer ungeeignet.
Serverseitige KI ist zwar eine hervorragende Option für große Modelle, aber Lösungen auf dem Gerät und hybride Ansätze haben ihre eigenen überzeugenden Vorteile. Damit diese Ansätze realisiert werden, müssen wir uns mit der Modellgröße und der Modellbereitstellung befassen.
Aus diesem Grund entwickeln wir Webplattform-APIs und Browserfunktionen, mit denen KI-Modelle wie Large Language Models (LLMs) direkt in den Browser eingebunden werden. Dazu gehört Gemini Nano, die effizienteste Version der Gemini-LLMs-Familie, die für die lokale Ausführung auf den meisten modernen Desktop- und Laptop-Computern entwickelt wurde. Mit integrierter KI kann Ihre Website oder Webanwendung KI-gestützte Aufgaben ausführen, ohne eigene KI-Modelle bereitstellen oder verwalten zu müssen.
Hier erfahren Sie mehr über die Vorteile der integrierten KI, unseren Implementierungsplan und darüber, wie Sie die Vorteile dieser Technologie nutzen können.
Vorabversion testen
Wir benötigen Ihr Feedback, um die APIs zu gestalten, dafür zu sorgen, dass Ihre Anwendungsfälle erfüllt werden, und um unsere Standardisierungsdiskussionen mit anderen Browseranbietern zu unterstützen.
Nehmen Sie an unserem Early Preview-Programm teil, um Feedback zu Ideen für integrierte KI in der Frühphase zu geben und Möglichkeiten zu entdecken, laufende APIs durch lokales Prototyping zu testen.
Treten Sie der Gruppe für öffentliche Ankündigungen für Chrome-KI-Entwickler bei, um benachrichtigt zu werden, wenn neue APIs verfügbar sind.
Vorteile der integrierten KI für Webentwickler
Mit integrierter KI stellt Ihr Browser Grundlagen und Expertenmodelle bereit und verwaltet diese.
Im Vergleich zur eigenen On-Device-KI bietet die integrierte KI folgende Vorteile:
- Einfache Bereitstellung: Bei der Verteilung der Modelle durch den Browser wird die Leistungsfähigkeit des Geräts berücksichtigt und Updates des Modells verwaltet. Das bedeutet, dass Sie nicht für das Herunterladen oder Aktualisieren großer Modelle über ein Netzwerk verantwortlich sind. Sie müssen sich keine Gedanken um Speicherplatzenfernung, Laufzeit-Arbeitsspeicherbudget, Bereitstellungskosten und andere Herausforderungen machen.
- Zugriff auf Hardwarebeschleunigung: Die KI-Laufzeit des Browsers ist so optimiert, dass die verfügbare Hardware, sei es eine GPU, eine NPU oder das Fallback auf die CPU, optimal genutzt werden kann. Dadurch kann Ihre Anwendung auf jedem Gerät die beste Leistung erzielen.
Vorteile der On-Device-Ausführung
Mit einem integrierten KI-Ansatz wird es einfach, KI-Aufgaben direkt auf dem Gerät auszuführen, was wiederum folgende Vorteile bietet:
- Lokale Verarbeitung sensibler Daten: Die On-Device-KI kann Ihren Datenschutz verbessern. Wenn Sie beispielsweise mit sensiblen Daten arbeiten, können Sie Nutzern KI-Features mit Ende-zu-Ende-Verschlüsselung anbieten.
- Praktische Nutzererfahrung: In einigen Fällen können Sie Ergebnisse nahezu sofort liefern, wenn Sie den Umlauf zum Server weglassen. On-Device-KI kann der Unterschied zwischen einer realisierbaren Funktion und einer suboptimalen User Experience sein.
- Besserer Zugriff auf KI: Die Geräte Ihrer Nutzer können einen Teil der Verarbeitungslast übernehmen, wenn sie dafür zusätzlichen Zugriff auf Funktionen erhalten. Wenn Sie beispielsweise Premium-KI-Features anbieten, können Sie diese Features mit On-Device-KI in der Vorschau ansehen, damit potenzielle Kunden die Vorteile Ihres Produkts sehen können, ohne dass Ihnen zusätzliche Kosten entstehen. Mit diesem hybriden Ansatz lassen sich außerdem Inferenzkosten vermeiden, insbesondere bei häufig verwendeten Nutzerflüssen.
- Offline-KI-Nutzung: Ihre Nutzer können auch ohne Internetverbindung auf KI-Funktionen zugreifen. Das bedeutet, dass Ihre Websites und Webanwendungen offline wie erwartet oder bei schwankender Konnektivität funktionieren können.
Hybrid AI: On-Device und serverseitig
Die On-Device-KI kann eine Vielzahl von Anwendungsfällen bewältigen, es gibt aber bestimmte Anwendungsfälle, die serverseitige Unterstützung erfordern.
Möglicherweise müssen Sie größere Modelle verwenden oder eine größere Bandbreite an Plattformen und Geräten unterstützen.
Sie können hybride Ansätze in Betracht ziehen, die von folgenden Faktoren abhängen:
- Komplexität: Bestimmte, zugängliche Anwendungsfälle sind durch On-Device-KI einfacher zu unterstützen. Für komplexe Anwendungsfälle ist eine serverseitige Implementierung in Betracht zu ziehen.
- Resilienz: Verwenden Sie standardmäßig serverseitig und verwenden Sie das Gerät auf dem Gerät, wenn das Gerät offline ist oder keine Verbindung besteht.
- Ordnungsgemäßes Fallback: Die Einführung von Browsern mit integrierter KI dauert einige Zeit. Außerdem sind einige Modelle möglicherweise nicht verfügbar und ältere oder weniger leistungsstarke Geräte erfüllen möglicherweise nicht die Hardwareanforderungen für eine optimale Ausführung aller Modelle. Bieten Sie diesen Nutzern serverseitige KI an.
Für Gemini-Modelle können Sie die Back-End-Integration (mit Python, Go, Node.js oder REST) verwenden oder mit dem neuen Google AI Client SDK for Web in Ihrer Webanwendung implementieren.
Browserarchitektur und APIs
Zur Unterstützung der in Chrome integrierten KI haben wir eine Infrastruktur für den Zugriff auf Basis- und Expertenmodelle für die Ausführung auf dem Gerät erstellt. Diese Infrastruktur unterstützt bereits innovative Browserfunktionen wie Hilfe beim Verfassen und wird bald auch APIs für On-Device-KI unterstützen.
Sie greifen hauptsächlich über Aufgaben-APIs auf integrierte KI-Funktionen zu, z. B. eine Translation API oder eine Zusammenfassungs-API. Aufgaben-APIs sind so konzipiert, dass Inferenzen anhand des besten Modells für die Aufgabe ausgeführt werden.
In Chrome sind diese APIs darauf ausgelegt, Inferenzen auf Gemini Nano mit Feinabstimmung oder einem Expertenmodell auszuführen. Gemini Nano wurde für die lokale Ausführung auf den meisten modernen Geräten entwickelt und eignet sich am besten für sprachbezogene Anwendungsfälle wie Zusammenfassung, Umformulierung oder Kategorisierung.
Außerdem möchten wir explorative APIs bereitstellen, damit Sie lokal experimentieren und zusätzliche Anwendungsfälle vorstellen können.
Wir geben beispielsweise Folgendes an:
- Prompt API: Sendet eine beliebige Aufgabe in natürlicher Sprache an das integrierte Large Language Model (Gemini Nano in Chrome).
- Fine-tuning (LoRA) API: Verbessern Sie die Leistung des integrierten LLM bei einer Aufgabe, indem Sie die Modellgewichtungen mit der Low-Rank-Anpassung anpassen.
Wann sollte die integrierte KI verwendet werden?
Hier sind einige Beispiele dafür, wie Sie und Ihre Nutzer von integrierter KI profitieren können:
- KI-gestützte Nutzung von Inhalten: einschließlich Zusammenfassung, Übersetzung, Beantwortung von Fragen zu bestimmten Inhalten, Kategorisierung und Charakterisierung.
- KI-gestützte Inhaltserstellung: Zum Beispiel Schreibhilfe, Korrekturlesen, Grammatikkorrektur und Umformulierung.
Nächste Schritte
Nehmen Sie an unserem Early Preview-Programm teil, um mit integrierten KI-APIs im frühen Stadium zu experimentieren.
In der Zwischenzeit können Sie sich in unserer Kurzanleitung für das Google AI JavaScript SDK darüber informieren, wie Sie Gemini Pro auf Google-Servern mit Ihren Websites und Webanwendungen verwenden.