Veröffentlicht am 14. Oktober 2025
Gemeinsam mit einer Gruppe von Start-ups in New York City haben wir einen technischen Workshop zum Thema „KI in Aktion“ veranstaltet. Das Ziel war einfach: zu zeigen, wie clientseitige KI und integrierte KI-APIs direkt in ihre Produkte integriert werden können, um eine höhere Geschwindigkeit, mehr Datenschutz und eine bessere Nutzererfahrung zu erzielen.
Insgesamt haben wir 24 Entwickler von 8 innovativen Start-ups begrüßt. Am Vormittag hielten Produkt- und Engineering-Experten Vorträge über das immense Potenzial von Open-Source-Modellen, On-Device-Modellen und die strategische Bedeutung, KI direkt auf die Webplattform zu bringen. Anschließend gaben Technikexperten praktische Anleitungen für die ersten Schritte mit den integrierten KI-APIs.
Die Teilnehmer empfanden die Veranstaltung als sehr wertvoll und stellten fest, dass die APIs unabhängig von ihren vorhandenen Machine Learning-Kenntnissen einfach zu verwenden sind. Außerdem haben sie durch Tests neue Anwendungsfälle für ihre Anwendungen entdeckt. Wir waren gespannt, ob unsere Dokumentation den Test bestehen würde. Eine Gruppe hat uns sogar dabei geholfen, einen komplexen Fehler zu identifizieren und zu reproduzieren, damit wir eine Korrektur einreichen konnten.
Die Teilnehmer haben erfolgreich zehn Prototypen mit clientseitiger KI entwickelt. Sehen Sie sich einige ihrer Projekte an und erfahren Sie mehr über ihre Erfahrungen bei der Veranstaltung.
Ereigniserkennung des Adapters mit der Prompt API
Das Ziel von Adapter ist es, „eine Art Mission Control für unseren Alltag zu schaffen, die maximale Freizeit und nicht maximale Bildschirmzeit ermöglicht“. Sie entwickelten eine Proof-of-Concept-Erweiterung mit zwei Funktionen:
- Intelligente und abgestimmte Ereigniserkennung, die Ereignisse auf einer Webseite während des Surfens identifiziert (Konzerte, Restaurants, Veranstaltungen) und sie dann mit persönlichem Kontext anpasst, einschließlich der Verfügbarkeit im persönlichen Kalender, persönlicher Vorlieben und sozialer Signale in Echtzeit. Alle Daten werden lokal verarbeitet.
- Echtzeit-Neuberechnung der Inhalte, die die Reihenfolge der Inhalte auf einer Webseite auf Abruf an Ihre persönlichen Interessen anpasst.
Der Adapter hat die Prompt API zum Parsen, für das Reasoning und zum Aufrufen von Tools sowie die Writer API für die lokale Textgenerierung verwendet.
„Wir führen komplexe Schlussfolgerungen und mehrstufige Workflows am Edge aus, ohne dabei den Datenschutz zu beeinträchtigen. Dies ermöglicht Anwendungen mit persönlicher KI, die bisher unpraktisch waren, da für jede Inferenz Daten über Netzwerke übertragen werden mussten, und gleichzeitig die Remote-Berechnung zu vertiefen.“ – Dillon Ponzo, Gründungsentwickler von Adapter
Die integrierten KI-APIs von Chrome ermöglichen die Verwendung von einfachen Modellen, die Daten lokal verarbeiten und so standardmäßig den Datenschutz wahren. Die Gründer von Adapter, Aidan Crank und Dillon Ponzo, sahen dies als Bestätigung ihrer Architekturphilosophie.
„Die meisten KI-Erweiterungen erfassen Kontext und senden ihn an einen anderen Ort“, erklärt Crank, der vor seinem Wechsel zu Adapter bei AWS an groß angelegten ML-Projekten gearbeitet hat. „Die in Chrome integrierte KI kehrt dieses Modell um. Ihre personenbezogenen Daten bleiben auf Ihrem Gerät, aber Sie erhalten intelligente Funktionen, die bisher nicht möglich waren.“
Adam Ghetti, Mitbegründer von Adapter, dessen früheres Unternehmen Ionic Security Pionierarbeit im Bereich der autonomen datenzentrierten Sicherheit im großen Maßstab geleistet hat, sieht tiefgreifendere Auswirkungen: „Datenschutz ist keine Funktion, die man hinzufügt, sondern eine Architektur, die man wählt. Die in Chrome integrierte KI macht diese Architektur praktikabel.“
Da Chrome diese Funktionen mit multimodaler Unterstützung und umfangreicheren APIs erweitert, holt der Edge-Browser nicht nur die Cloud ein. Bei persönlicher und privater KI geht es darum, sie zu übertreffen, wenn es sinnvoll ist.
Mit der Prompt API werden Bilder in Unterebenen kategorisiert, um die Varianten zu verbessern.
Sublayer hat eine unterhaltsame App namens Photoslider entwickelt, die die Art und Weise, wie Sie mit Ihren Bildern interagieren und Variationen davon erstellen, revolutionieren soll.
Um PhotoSlider zu verwenden, lädt der Nutzer ein Foto hoch oder nimmt ein neues auf und klickt auf Analysieren. Die Prompt API sendet diese Bilder zur Analyse an das Modell und fordert das Modell auf, drei wichtige Attribute zu identifizieren und diesen Attributen einen Wert zwischen 1 und 10 zuzuweisen. Ein Attribut kann beispielsweise „traditionell“ oder „Helligkeit“ sein.
Im Frontend werden dem Nutzer das Bild und die Schieberegler angezeigt, mit denen er die Werte anpassen oder neue Attribute mit benutzerdefinierten Werten hinzufügen kann. Anfragen für Änderungen und das Bild werden an die serverseitige KI gesendet, damit ein größeres Modell mit multimodalen Ausgabefunktionen ein völlig neues Bild basierend auf den geänderten Spezifikationen generieren kann. Dieser iterative Prozess kann beliebig oft wiederholt werden, sodass Sie die volle Kontrolle haben, bis Sie das gewünschte Bild erhalten.
Scott Werner, CEO von Sublayer, zeigte sich begeistert: „Wir waren schon immer daran interessiert, lokale Inferenzen zu untersuchen. Es ist viel einfacher, wenn die Funktion standardmäßig im Browser auf den Geräten unserer Nutzer verfügbar ist, als wenn die Nutzer die Modelle selbst installieren müssen.“
Echo3D verarbeitet 3D-Modelle zu umfangreichen durchsuchbaren Daten.
Echo3D bietet eine Plattform und API für Unternehmen, um 3D-Modelle und ‑Scans nahtlos zu speichern, zu schützen und für verschiedene Teams und Organisationen freizugeben. Die fortschrittlichen 3D- und Text-Pipelines verarbeiten 3D-Modelle effizient zu umfangreichen, durchsuchbaren Daten.
Auf der Veranstaltung entwickelte echo3D Tools, die 3D- in Text- und Text- in 3D-Assets umwandeln, um die visuelle Verständlichkeit von Assets zu verbessern. Sie nutzten die Prompt API, um das Tagging von Modellen zu automatisieren, Duplikate zu erkennen und die Katalogisierung und Dokumentation umfangreicher 3D-Bibliotheken zu optimieren.
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
So erhält jedes Asset eine umfassende, einheitliche und durchsuchbare Beschreibung, wodurch die gesamte Mediathek eines Nutzers besser organisiert und zugänglicher wird. Außerdem wird Speicherplatz gespart und Versionskonflikte durch redundante Dateien werden vermieden.
„Unser Team hat die Veranstaltung sehr geschätzt. Besonders beeindruckt waren wir von der einfachen Integration von KI-Funktionen in Webanwendungen mithilfe von integrierter KI. Die Möglichkeit, sichere clientseitige KI-Funktionen in so kurzer Zeit zu entwickeln und bereitzustellen, war ein großer Vorteil.“ – Alon Grinshpoon, CEO von echo3D
Spot2 hat strukturierte Metadaten aus hochgeladenen Bildern erstellt
In der Anwendung Spot2 werden Mietobjekte in Mexiko-Stadt aufgeführt. Häufig fehlen in den Einträgen dieser Properties wichtige Metadaten und andere wertvolle Informationen. Die Details sind sehr unterschiedlich und hängen davon ab, wie genau der Lieferant arbeitet. Spot2 hat den ganzen Tag damit verbracht, die Datenqualität mit der Prompt API zu verbessern.
Das Team entwickelte eine Funktion, mit der die Strukturierung von Metadaten für Einträge automatisch verarbeitet und organisiert wird. Dieser Vorgang erfolgt sofort nach dem Hochladen eines Fotos, was zur Vollständigkeit und Konsistenz beiträgt. Da diese Aufgabe clientseitig statt serverseitig ausgeführt wird, ist die Funktion kostengünstig.
Wenn diese Funktion eingeführt wird, verspricht sie eine doppelte Wirkung: eine deutliche Verbesserung der Datenqualität und eine spürbare Senkung der Betriebskosten. „Wir gehen davon aus, dass sich die höhere Qualität der Einträge auch in einer höheren Conversion-Rate niederschlagen wird.“
Seien Sie beim nächsten Mal dabei
- Für den nächsten AI in Action-Workshop am 7. November 2025 in San Francisco registrieren
- An der Built-in AI Challenge 2025 teilnehmen Wir veranstalten einen virtuellen Hackathon für alle Entwickler. Erstellen Sie Webanwendungen oder Chrome-Erweiterungen mit integrierten KI-APIs und gewinnen Sie mit etwas Glück einen der Preise im Gesamtwert von 70.000 $.