Veröffentlicht: 14. Mai 2024
Wenn wir Funktionen mit KI-Modellen im Web erstellen, verlassen wir uns oft auf serverseitige für größere Modelle. Das gilt insbesondere für die generative KI, bei der selbst die kleinsten Modelle etwa tausendmal größer sind als die mediane Webseitengröße. Das gilt auch für andere KI-Anwendungsfälle, bei denen Modelle zwischen 10 und 100 Megabyte groß sein können.
Da diese Modelle nicht für alle Websites freigegeben werden, muss jede Website sie beim Laden der Seite herunterladen. Das ist für Entwickler und Nutzer eine unpraktische Lösung.
Serverseitige KI ist zwar eine gute Option für große Modelle, On-Device- und Hybrid- Herangehensweisen haben aber überzeugende Vorteile. Damit diese Ansätze realisierbar sind, müssen wir uns mit der Modellgröße und der Modellbereitstellung befassen.
Deshalb entwickeln wir APIs für Webplattformen und Browserfunktionen, mit denen KI-Modelle, einschließlich Large Language Models (LLMs), direkt in den Browser eingebunden werden können. Dazu gehört Gemini Nano, die effizienteste Version der LLM-Familie von Gemini, die lokal auf den meisten modernen Desktop- und Laptop-Computern ausgeführt werden kann. Mit integrierter KI können Ihre Website oder Webanwendung KI-gestützte Aufgaben ausführen, ohne eigene KI-Modelle bereitstellen oder verwalten zu müssen.
Hier erfahren Sie mehr über die Vorteile der integrierten KI, unseren Implementierungsplan und wie Sie diese Technologie nutzen können.
Frühe Vorabversion erhalten
Wir benötigen Ihren Input, um die APIs zu gestalten, dafür zu sorgen, dass sie Ihre Anwendungsfälle erfüllen, und unsere Gespräche mit anderen Browseranbietern zur Standardisierung zu informieren.
Nehmen Sie an unserem Early Preview-Programm teil, um Feedback zu integrierten KI-Ideen in der Frühphase geben und Möglichkeiten entdecken, noch nicht fertiggestellte APIs durch lokales Prototyping.
Treten Sie der Gruppe für öffentliche Bekanntmachungen für Chrome-KI-Entwickler bei. , um benachrichtigt zu werden, wenn neue APIs verfügbar sind.
Vorteile integrierter KI für Webentwickler
Mit der integrierten KI stellt Ihr Browser Grundlagen und Expertenmodelle bereit und verwaltet sie.
Im Vergleich zu selbst entwickelten KI-Funktionen auf dem Gerät bietet die integrierte KI die folgenden Vorteile:
- Einfache Bereitstellung: Beim Verteilen der Modelle durch den Browser werden die Fähigkeiten des Geräts berücksichtigt und Updates am Modell verwaltet. Dieses sind Sie nicht für das Herunterladen oder Aktualisieren großer Modelle Netzwerk. Sie müssen keine Lösungen für die Auslagerung von Speicher, das Laufzeitspeicherbudget, die Bereitstellungskosten und andere Herausforderungen finden.
- Zugriff auf Hardwarebeschleunigung: Die KI-Laufzeit des Browsers ist für das Beste aus der verfügbaren Hardware herauszuholen, sei es eine GPU, eine NPU oder eine fallende an die CPU zurück. Daher kann Ihre App auf jedem Gerät die beste Leistung erzielen, .
Vorteile der Ausführung auf dem Gerät
Mit einem integrierten KI-Ansatz wird es zum Kinderspiel, KI-Aufgaben direkt auf dem Gerät auszuführen. Das wiederum bietet folgende Vorteile:
- Lokale Verarbeitung sensibler Daten: Mithilfe von KI auf dem Gerät können zum Datenschutz. Wenn Sie beispielsweise mit sensiblen Daten arbeiten, können Sie KI Funktionen mit Ende-zu-Ende-Verschlüsselung für Nutzer bereitzustellen.
- Schnelle Nutzererfahrung: In einigen Fällen können Sie durch den Wegfall der Rückschleife zum Server nahezu sofortige Ergebnisse liefern. On-Device-KI kann den Unterschied zwischen einer funktionsfähigen Funktion und einer suboptimalen Nutzererfahrung ausmachen.
- Mehr Zugriff auf KI: Die Geräte Ihrer Nutzer können einen Teil der Verarbeitungslast übernehmen, um mehr Zugriff auf Funktionen zu erhalten. Wenn Sie beispielsweise bieten Premium-KI-Funktionen, können Sie diese Funktionen mit On-Device-KI testen damit potenzielle Kunden die Vorteile Ihres Produkts sehen können, zusätzliche Kosten für Sie. Dieser hybride Ansatz kann Ihnen auch helfen, insbesondere bei häufig verwendeten User Flows.
- KI-Offlinenutzung: Ihre Nutzer können auch dann auf KI-Funktionen zugreifen, wenn keine eine Internetverbindung. Das bedeutet, dass Ihre Websites und Web-Apps wie erwartet funktionieren können. oder bei schwankender Internetverbindung.
Hybride KI: auf dem Gerät und auf der Serverseite
Die On-Device-KI kann zwar eine Vielzahl von Anwendungsfällen bewältigen, für bestimmte Anwendungsfälle ist jedoch serverseitige Unterstützung erforderlich.
Zum Beispiel benötigen Sie vielleicht größere Modelle oder müssen eine Plattformen und Geräten.
Je nach den folgenden Faktoren können Sie hybride Ansätze in Betracht ziehen:
- Komplexität:Spezifische, zugängliche Anwendungsfälle lassen sich leichter umsetzen. direkt auf dem Gerät. Bei komplexen Anwendungsfällen sollten Sie die serverseitige Implementierung in Betracht ziehen.
- Ausfallsicherheit: Standardmäßig wird die serverseitige Verarbeitung verwendet. Wenn das Gerät offline ist oder eine mäßige Verbindung hat, wird die Verarbeitung auf dem Gerät ausgeführt.
- Ordnungsgemäßes Fallback: Es wird einige Zeit dauern, bis Browser mit integrierter KI verfügbar sind. sind möglicherweise nicht verfügbar. Bei älteren oder weniger leistungsfähigen Geräten die Hardwareanforderungen für eine optimale Ausführung aller Modelle erfüllen. Bieten Sie diesen Nutzern serverseitige KI an.
Für Gemini-Modelle können Sie die Backend-Integration (mit Python, Go, Node.js oder REST) verwenden oder sie mit dem neuen Google AI Client SDK für das Web in Ihrer Webanwendung implementieren.
Browserarchitektur und APIs
Um die integrierte KI in Chrome zu unterstützen, haben wir eine Infrastruktur entwickelt, und Expertenmodelle für die On-Device-Ausführung. Diese Infrastruktur ist bereits für innovative Browserfunktionen wie Formuliere für mich, und wird bald APIs für die On-Device-KI nutzen.
Sie werden auf integrierte KI-Funktionen hauptsächlich über Aufgaben-APIs zugreifen, z. B. translation API oder eine Zusammenfassung der API erstellen. Task-APIs sind so konzipiert, dass die Inferenz mit dem für die Aufgabe besten Modell ausgeführt wird.
In Chrome wurden diese APIs entwickelt, um Inferenzen für Gemini Nano mit eine Feinabstimmung oder ein Expertenmodell. Gemini Nano wurde für die lokale Ausführung auf den meisten modernen Geräten entwickelt und eignet sich am besten für sprachbezogene Anwendungsfälle wie Zusammenfassung, Umformulierung oder Kategorisierung.
Außerdem möchten wir explorative APIs bereitstellen, damit Sie lokal experimentieren und zusätzliche Anwendungsfälle teilen können.
Beispiele:
- Prompt API: Senden Sie eine beliebige Aufgabe, die in natürlicher Sprache ausgedrückt wird, an das integrierte Large Language Model (Gemini Nano in Chrome).
- Fine-Tunning API (LoRA): Verbessern Sie die Leistung des integrierten LLM für eine Aufgabe indem Sie die Gewichtungen des Modells Anpassung mit niedrigem Rang Feinabstimmung.
Wann sollte die integrierte KI verwendet werden?
Hier sind einige Möglichkeiten, wie Sie und Ihre Nutzer von der integrierten KI profitieren können:
- KI-gestützte Inhalte: Dazu gehören Zusammenfassungen, Übersetzungen, die Beantwortung von Fragen zu bestimmten Inhalten, Kategorisierung und Charakterisierung.
- KI-gestützte Erstellung von Inhalten: Dazu gehören Schreibhilfen, Korrekturlesen, Grammatikkorrektur und Umformulierungen.
Nächste Schritte
Nehmen Sie an unserem Early Preview-Programm teil, um mit integrierten KI-APIs in der Frühphase experimentieren.
In der Zwischenzeit können Sie in unserem Schnellstart für das Google AI JavaScript SDK nachlesen, wie Sie Gemini Pro auf den Google-Servern mit Ihren Websites und Web-Apps verwenden.