Veröffentlicht: 14. Mai 2024, zuletzt aktualisiert: 20. Mai 2024
Wir entwickeln Webplattform-APIs und Browserfunktionen, die mit KI-Modellen, Expertenmodellen und Large Language Models (LLMs) im Browser funktionieren. Dazu gehört Gemini Nano, die effizienteste Version der LLM-Familie Gemini, die für die lokale Ausführung auf den meisten modernen Desktop- und Laptop-Computern entwickelt wurde. Mit integrierter KI können Sie auf Ihrer Website oder in Ihrer Webanwendung KI-gestützte Aufgaben ausführen, ohne KI-Modelle bereitstellen, verwalten oder selbst hosten zu müssen.
Hier erfahren Sie mehr über die Vorteile der integrierten KI, unseren Implementierungsplan und wie Sie diese Technologie nutzen können.
Vorteile der integrierten KI für Webentwickler
Mit integrierter KI stellt Ihr Browser Grundlagenmodelle und Expertenmodelle bereit und verwaltet sie.
Die integrierte KI bietet folgende Vorteile:
- Einfache Bereitstellung: Der Browser verteilt die Modelle, berücksichtigt die Gerätefunktionen und verwaltet Updates. Sie sind also nicht für das Herunterladen oder Aktualisieren großer Modelle über ein Netzwerk verantwortlich. Sie müssen sich nicht um Speicherauslagerung, Laufzeitspeicherbudget, Bereitstellungskosten und andere Herausforderungen kümmern.
- Zugriff auf Hardwarebeschleunigung: Die KI-Laufzeit des Browsers ist so optimiert, dass die verfügbare Hardware optimal genutzt wird, sei es mit GPU, NPU oder mit Rückfall auf die CPU. So kann Ihre App auf jedem Gerät die bestmögliche Leistung erzielen.
Vorteile der clientseitigen Ausführung
Mit der integrierten KI können Sie KI-Vorgänge clientseitig ausführen. Das bietet folgende Vorteile:
- Lokale Verarbeitung sensibler Daten: Clientseitige KI kann Ihre Datenschutzmaßnahmen verbessern. Wenn Sie beispielsweise mit sensiblen Daten arbeiten, können Sie Nutzern KI-Funktionen mit Ende-zu-Ende-Verschlüsselung anbieten.
- Schnelle Nutzererfahrung: In einigen Fällen können Sie durch den Wegfall der Rückschleife zum Server nahezu sofortige Ergebnisse liefern. Clientseitige KI kann den Unterschied zwischen einer funktionsfähigen Funktion und einer suboptimalen Nutzererfahrung ausmachen.
- Mehr Zugriff auf KI: Die Geräte Ihrer Nutzer können einen Teil der Verarbeitungslast übernehmen, um mehr Zugriff auf Funktionen zu erhalten. Wenn Sie beispielsweise Premium-KI-Funktionen anbieten, können Sie diese Funktionen mit clientseitiger KI in einer Vorschau anzeigen, damit potenzielle Kunden die Vorteile Ihres Produkts sehen können, ohne dass Ihnen zusätzliche Kosten entstehen. Mit diesem Hybridansatz können Sie auch die Inferenzkosten verwalten, insbesondere bei häufig verwendeten Nutzerflüssen.
- Offlinenutzung von KI: Ihre Nutzer können auch dann auf KI-Funktionen zugreifen, wenn keine Internetverbindung besteht. Das bedeutet, dass Ihre Websites und Webanwendungen offline oder bei einer variablen Verbindung wie erwartet funktionieren können.
Hybride KI: client- und serverseitig
Clientseitige KI kann eine Vielzahl von Anwendungsfällen bewältigen, für einige Anwendungsfälle ist jedoch serverseitige Unterstützung erforderlich. Serverseitige KI ist eine gute Option für große Modelle und kann eine größere Bandbreite von Plattformen und Geräten unterstützen.
Ein hybrider Ansatz kann für Ihre Anwendung sinnvoll sein, wenn Folgendes erforderlich ist:
- Komplexität: Bestimmte, leicht verständliche Anwendungsfälle lassen sich mit On-Device-KI leichter unterstützen. Bei komplexen Anwendungsfällen sollten Sie eine serverseitige Implementierung in Betracht ziehen.
- Ausfallsicherheit: Standardmäßig wird die serverseitige Verarbeitung verwendet. Wenn das Gerät offline ist oder eine mäßige Verbindung hat, wird die Verarbeitung auf dem Gerät durchgeführt.
- Graceful Fallback: Die Einführung von Browsern mit integrierter KI wird einige Zeit in Anspruch nehmen. Einige Modelle sind möglicherweise nicht verfügbar und ältere oder weniger leistungsstarke Geräte erfüllen möglicherweise nicht die Hardwareanforderungen für die optimale Ausführung aller Modelle. Bieten Sie diesen Nutzern serverseitige KI an.
Wenn Sie beispielsweise die integrierte Prompt API verwenden (demnächst in einem Origin-Pilotprojekt), funktioniert die API nur für Chrome-Browser auf dem Computer und in Chrome-Erweiterungen unter Windows, macOS und Linux. Damit alle Nutzer von Ihrer KI-Funktion profitieren können, richten Sie eine hybride Architektur mit Firebase AI Logic ein.
Wenn Sie Gemini-Modelle verwenden, können Sie die Backend-Integration mit Node.js erstellen.
Auf integrierte KI zugreifen
Sie können hauptsächlich über Aufgaben-APIs auf integrierte KI-Funktionen zugreifen, z. B. die Translator API oder die Summarizer API. Task-APIs sind so konzipiert, dass Inferenzen mit dem für die Aufgabe besten Modell ausgeführt werden.
In Chrome sind diese APIs so konzipiert, dass Inferenzen mit Gemini Nano mit Feinabstimmung oder einem Expertenmodell ausgeführt werden. Gemini Nano wurde für die lokale Ausführung auf den meisten modernen Geräten entwickelt und eignet sich am besten für sprachbezogene Anwendungsfälle wie Zusammenfassung, Umformulierung oder Kategorisierung.
Wann sollte die integrierte KI verwendet werden?
Hier sind einige Möglichkeiten, wie Sie und Ihre Nutzer von integrierter KI profitieren können:
- KI-gestützte Inhalte: Dazu gehören Zusammenfassung, Übersetzung, Kategorisierung, Charakterisierung und die Bereitstellung von Wissen.
- KI-gestützte Erstellung von Inhalten: Dazu gehören Schreibhilfen, Korrekturlesen, Grammatikkorrektur und Umformulierungen.
Einige der integrierten KI-APIs sind in der stabilen Chrome-Version und in Ursprungstests verfügbar. Explorative APIs und APIs in der Anfangsphase sind für Teilnehmer des Early Preview-Programms (EPP) verfügbar.
Neue Funktionen in der Vorabversion testen
Wir benötigen Ihren Input, um die APIs zu gestalten, dafür zu sorgen, dass sie Ihre Anwendungsfälle erfüllen, und unsere Gespräche mit anderen Browseranbietern zur Standardisierung zu informieren.
Treten Sie dem EPP bei, um Feedback zu Ideen für integrierte KI in der Anfangsphase zu geben und Möglichkeiten zu entdecken, in der Entwicklung befindliche APIs durch lokales Prototyping zu testen.