Gepubliceerd: 14 oktober 2025
In samenwerking met een groep startups in New York City organiseerden we een technische workshop 'AI in Action'. Het doel was simpel: laten zien hoe client-side AI en ingebouwde AI API's direct in hun producten kunnen worden geïntegreerd voor meer snelheid, privacy en een betere gebruikerservaring.
In totaal ontvingen we 24 ontwikkelaars van 8 innovatieve startups. In de ochtendsessie waren er presentaties van product- en engineeringexperts, die ingingen op het immense potentieel van open source, on-device modellen en het strategische belang van het direct integreren van AI op het webplatform. Technische specialisten gaven vervolgens praktische begeleiding om aan de slag te gaan met de ingebouwde AI API's.
Deelnemers vonden het evenement zeer waardevol en ontdekten dat het eenvoudig was om deze API's te gebruiken, ongeacht hun bestaande kennis van machine learning. Ze ontdekten ook nieuwe use cases voor hun applicaties door te experimenteren. We waren enthousiast om onze documentatie te valideren. Eén groep hielp ons zelfs bij het identificeren en reproduceren van een complexe bug, zodat we een oplossing konden indienen.
Onze deelnemers hebben met succes 10 prototypes ontwikkeld met behulp van client-side AI. Bekijk enkele van hun projecten en lees over hun ervaringen tijdens het evenement.
Gebeurtenisdetectie van de adapter met behulp van Prompt API
Het doel van Adapter is om "Mission Control voor ons dagelijks leven te bouwen, waarmee we onze vrije tijd kunnen maximaliseren in plaats van schermtijd." Ze bouwden een proof-of-concept-extensie met twee mogelijkheden:
- Intelligente en afgestemde gebeurtenisdetectie identificeert gebeurtenissen op een webpagina tijdens het browsen (concerten, restaurants, evenementen). Vervolgens worden deze aangepast aan de persoonlijke context, zoals de beschikbaarheid in uw persoonlijke agenda, uw levensvoorkeuren en sociale signalen in realtime. Deze worden allemaal lokaal verwerkt.
- Realtime-herrangschikking van inhoud waarmee u op verzoek de volgorde van inhoud op een webpagina kunt personaliseren op basis van uw persoonlijke interesses.
Adapter gebruikte de Prompt API voor het parsen, redeneren en aanroepen van hulpmiddelen, en de Writer API voor het genereren van lokale tekst.
"We voeren complexe redeneringen en meerstapsworkflows uit aan de edge met beperkte privacy-tradeoffs. Dit maakt persoonlijke intelligentietoepassingen mogelijk die onpraktisch waren toen elke gevolgtrekking betekende dat data over netwerken moest worden verzonden, terwijl de berekeningen op afstand werden verdiept." – Dillon Ponzo, oprichter en engineer van Adapter
De ingebouwde AI API's van Chrome maken lichtgewicht modellen mogelijk die gegevens lokaal verwerken, waarbij de privacy standaard behouden blijft. De oprichters van Adapter, Aidan Crank en Dillon Ponzo, zagen dit als een bevestiging van hun architectuurfilosofie.
"De meeste AI-extensies vangen context op en sturen die ergens anders heen", legt Crank uit, die eerder bij AWS aan grootschalige machine learning werkte voordat hij bij Adapter kwam. "De ingebouwde AI van Chrome keert dat model om. Je persoonlijke gegevens blijven op je apparaat, maar je krijgt intelligente ervaringen die voorheen niet mogelijk waren."
Medeoprichter van Adapter Adam Ghetti, wiens vorige bedrijf Ionic Security pionierde met autonome, datagerichte beveiliging op grote schaal, ziet diepere implicaties: "Privacy is geen functie die je toevoegt; het is een architectuur die je kiest. De ingebouwde AI van Chrome maakt die architectuur praktisch."
Naarmate Chrome deze mogelijkheden uitbreidt met multimodale ondersteuning en rijkere API's, gaat de edge niet alleen de cloud inhalen. Voor persoonlijke en privé-AI gaat het erom deze te overtreffen waar dat zinvol is.
Sublaag categoriseert afbeeldingen met de Prompt API om variaties te verbeteren
Sublayer heeft een leuke app gemaakt met de naam Photoslider. Deze app is ontworpen om de manier waarop je met je afbeeldingen omgaat en er variaties van maakt, radicaal te veranderen.
Om PhotoSlider te gebruiken, uploadt de gebruiker een foto of maakt een nieuwe foto en klikt op 'Analyseren' . De Prompt API stuurt deze afbeeldingen naar het model voor analyse en vraagt het model om drie belangrijke kenmerken te identificeren en deze kenmerken een waarde van 1 tot 10 te geven. Een kenmerk kan bijvoorbeeld 'traditioneel' of 'helderheid' zijn.
Aan de frontend krijgt de gebruiker de afbeelding en schuifregelaars te zien om de waarden aan te passen of nieuwe attributen met aangepaste waarden in te voeren. Wijzigingsverzoeken en de afbeelding worden naar server-side AI gestuurd, zodat een groter model met multimodale outputmogelijkheden een gloednieuwe afbeelding kan genereren op basis van de gewijzigde specificaties. Dit iteratieve proces kan eindeloos worden herhaald, waardoor u volledige controle hebt totdat u uw ideale afbeelding hebt bereikt.
Scott Werner , CEO van Sublayer, uitte zijn enthousiasme: "We zijn oprecht geïnteresseerd in hoe lokale inferentie eruitziet. Het is oneindig veel eenvoudiger om het standaard direct beschikbaar te hebben in de browser op de computers van onze gebruikers dan om gebruikers te laten navigeren door de complexiteit van het rechtstreeks installeren van modellen."
Echo3D verwerkt 3D-modellen tot rijke, doorzoekbare data
Echo3D biedt een platform en API waarmee bedrijven 3D-modellen en scans naadloos kunnen opslaan, beveiligen en delen met diverse teams en organisaties. Hun geavanceerde 3D- en tekstpipelines verwerken 3D-modellen efficiënt tot rijke, doorzoekbare data.
Tijdens het evenement ontwikkelde echo3D tools voor 3D-naar-tekst-naar-3D die de visuele beleving van assets verbeteren. Ze gebruikten de Prompt API om modeltagging te automatiseren, duplicatie te detecteren en de catalogisering en documentatie van uitgebreide 3D-bibliotheken te stroomlijnen.
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
Dit geeft elk item een rijke, consistente en doorzoekbare beschrijving, waardoor de volledige bibliotheek van een gebruiker overzichtelijker en toegankelijker wordt. Bovendien bespaart het opslagruimte en voorkomt het versieconflicten veroorzaakt door redundante bestanden.
"Ons team heeft het evenement enorm gewaardeerd. We waren vooral onder de indruk van het gemak waarmee AI-functies in webapplicaties kunnen worden geïntegreerd met behulp van ingebouwde AI. De mogelijkheid om in zo'n kort tijdsbestek veilige, client-side AI-functies te prototypen en te implementeren, was een aanzienlijk voordeel." – Alon Grinshpoon , CEO van echo3D
Spot2 creëerde gestructureerde metadata van geüploade afbeeldingen
De applicatie van Spot2 toont huurwoningen in Mexico-Stad. Vaak ontbreken er bij het aanbieden van deze woningen cruciale metadata en andere waardevolle informatie. De details variëren sterk, afhankelijk van de aandacht voor detail van de aanbieder. Spot2 heeft de dag besteed aan het verbeteren van de datakwaliteit met de Prompt API.
Hun team ontwikkelde een functie om de structuur van metadata van aanbiedingen automatisch te verwerken en te organiseren. Dit proces vindt plaats zodra een foto wordt geüpload, wat de volledigheid en consistentie ten goede komt. Door deze taak client-side uit te voeren in plaats van server-side, is de functie kosteneffectief.
Als deze functie wordt gelanceerd, belooft het een dubbel effect: een duidelijke verbetering van de datakwaliteit en een merkbare verlaging van de operationele kosten. "We verwachten dat vermeldingen van hogere kwaliteit ook zullen leiden tot een hogere conversieratio."
Doe de volgende keer met ons mee
- Registreer u voor de volgende AI in Action Workshop op 7 november 2025 in San Francisco.
- Doe mee aan de Built-in AI Challenge 2025. We organiseren een virtuele hackathon voor alle ontwikkelaars. Maak webapplicaties of Chrome-extensies met behulp van ingebouwde AI API's en maak kans op een van de prijzen ter waarde van $ 70.000.