Im letzten Jahr hat sich viel im Bereich Web AI getan. Falls Sie es verpasst haben: Auf der I/O 2024 haben wir über die neuen Modelle, Tools und APIs für Ihre nächste Web-App gesprochen.
Web AI ist eine Reihe von Technologien und Techniken, mit denen Modelle für maschinelles Lernen (ML) clientseitig in einem Webbrowser verwendet werden können, der auf der CPU oder GPU eines Geräts ausgeführt wird. Sie können mit JavaScript und anderen Webtechnologien wie WebAssembly und WebGPU erstellt werden. Dies unterscheidet sich von serverseitiger KI oder „Cloud-KI“, bei der das Modell auf einem Server ausgeführt wird und über eine API darauf zugegriffen wird.
In diesem Vortrag haben wir Folgendes behandelt:
- Wie Sie unsere neuen Large Language Models (LLMs) im Browser ausführen und welche Auswirkungen die clientseitige Ausführung von Modellen hat.
- Ein Blick in die Zukunft von Visual Blocks, um schneller Prototypen zu erstellen;
- Außerdem erfahren Sie, wie Webentwickler JavaScript in Chrome verwenden können, um Web-KI im großen Maßstab zu nutzen.
LLMs im Browser
Gemma Web ist ein neues offenes Modell von Google, das im Browser auf dem Gerät eines Nutzers ausgeführt werden kann. Es basiert auf derselben Forschung und Technologie, die wir für die Entwicklung von Gemini verwendet haben.
Durch die Ausführung eines LLM auf dem Gerät besteht im Vergleich zur Ausführung auf einem Cloud-Server für die Inferenz ein erhebliches Einsparpotenzial. Außerdem werden der Datenschutz der Nutzer verbessert und die Latenz verringert. Generative KI im Browser befindet sich noch in der Anfangsphase. Da sich die Hardware jedoch ständig verbessert (mit mehr CPU- und GPU-RAM), gehen wir davon aus, dass in Zukunft weitere Modelle verfügbar sein werden.
Unternehmen können sich neu überlegen, was auf einer Webseite möglich ist, insbesondere für aufgabenspezifische Anwendungsfälle, bei denen die Gewichte kleinerer LLMs (2 bis 8 Milliarden Parameter) so angepasst werden können, dass sie auf Consumer-Hardware ausgeführt werden.
Gemma 2B ist auf Kaggle Models zum Herunterladen verfügbar und hat ein Format, das mit unserer Web LLM Inference API kompatibel ist. Zu den weiteren unterstützten Architekturen gehören Microsoft Phi-2, Falcon RW 1B und Stable LM 3B. Sie können sie mit unserer Konverterbibliothek in ein Format konvertieren, das von der Laufzeit verwendet werden kann.
Schnellere Prototypen mit visuellen Blöcken erstellen
Wir arbeiten mit Hugging Face zusammen, die 16 neue benutzerdefinierte Knoten für Visual Blocks erstellt haben. Dadurch werden Transformers.js und das gesamte Hugging Face-Ökosystem in Visual Blocks verfügbar.
Acht dieser neuen Knoten werden vollständig clientseitig mit Web AI ausgeführt, darunter:
- Bildsegmentierung
- Translation
- Token-Klassifizierung
- Objekterkennung
- Textklassifizierung
- Hintergrund entfernen
- Tiefenschätzung
Außerdem gibt es sieben serverseitige ML-Aufgaben von Hugging Face, mit denen Sie Tausende von Modellen mit APIs in visuellen Blöcken ausführen können. Hugging Face Visual Blocks-Sammlung
JavaScript für Web AI im großen Maßstab mit Chrome verwenden
In den vorherigen Fällen, z. B. bei Gemma, wird das Modell geladen und auf der Webseite selbst ausgeführt. Chrome arbeitet an integrierter On-Device-KI, mit der Sie über standardisierte, aufgabenspezifische JavaScript-APIs auf Modelle zugreifen können.
Und das ist noch nicht alles. Außerdem wurde WebGPU in Chrome aktualisiert und unterstützt jetzt 16‑Bit-Gleitkommawerte.
Für WebAssembly gibt es einen neuen Vorschlag, Memory64, der 64-Bit-Speicherindizes unterstützt. Damit können Sie größere KI-Modelle als bisher laden.
Web-KI-Modelle mit monitorlosem Chrome testen
Sie können jetzt clientseitige KI (oder jede Anwendung, die WebGL- oder WebGPU-Unterstützung benötigt) mit Headless Chrome testen und gleichzeitig serverseitige GPUs zur Beschleunigung nutzen, z. B. NVIDIA T4 oder P100. Weitere Informationen:
Wenn Sie Ihre Kreationen teilen, fügen Sie #WebAI hinzu, damit die Community Ihre Arbeit sehen kann. Teilen Sie Ihre Erkenntnisse und Vorschläge auf X, LinkedIn oder der Social-Media-Plattform Ihrer Wahl.