Gepubliceerd: 14 mei 2024, Laatste update: 26 mei 2026
We ontwikkelen API's voor webplatforms en browserfuncties die zijn ontworpen om te werken met AI-modellen, expertmodellen en grote taalmodellen (LLM's) die in de browser zijn ingebouwd. Met ingebouwde AI kan uw website of web-app AI-gestuurde taken uitvoeren zonder dat u modellen hoeft te implementeren, te beheren of zelf te hosten.
Ontdek de voordelen van ingebouwde AI, ons implementatieplan en hoe je deze tools kunt implementeren.
Als je nog niet bekend bent met AI op het web, lees je onze woordenlijst en concepten voor web-AI.
Voordelen van ingebouwde AI voor webontwikkelaars
Met ingebouwde AI biedt en beheert je browser basis- en expertmodellen.
Ingebouwde AI biedt de volgende voordelen:
- Makkelijk te implementeren: De browser distribueert de modellen, houdt rekening met de apparaatmogelijkheden en beheert updates. Dit betekent dat je geen grote modellen hoeft te downloaden of te updaten via een netwerk. Je hoeft geen oplossingen te vinden voor opslagverwijdering, runtime-geheugenbudget, weergavekosten en andere uitdagingen.
- Toegang tot hardwareversnelling: De AI-runtime van de browser is geoptimaliseerd om het beschikbare hardware optimaal te benutten, of het nu met GPU, NPU of terugval naar CPU is. Zo kan je app de beste prestaties leveren op elk apparaat.
Voordelen van uitvoering aan de clientzijde
Met ingebouwde AI kunt u AI aan de clientzijde uitvoeren. Dit biedt de volgende voordelen:
- Lokale verwerking van gevoelige gegevens: AI aan de clientzijde kan uw privacyverhaal verbeteren. Als je bijvoorbeeld met gevoelige gegevens werkt, kun je AI-functies aanbieden aan gebruikers met end-to-end-versleuteling.
- Snelle gebruikerservaring: In sommige gevallen kun je bijna onmiddellijke resultaten bieden door de heen-en-weer-communicatie met de server te vermijden. AI aan de clientzijde kan het verschil maken tussen een levensvatbare functie en een suboptimale gebruikerservaring.
- Meer toegang tot AI: De apparaten van je gebruikers kunnen een deel van de verwerkingsbelasting op zich nemen in ruil voor meer toegang tot functies. Als je bijvoorbeeld premium AI-functies aanbiedt, kun je deze functies vooraf tonen met AI aan de clientzijde, zodat potentiële klanten de voordelen van je product kunnen zien zonder dat je extra kosten hoeft te maken. Met deze hybride aanpak kunt u ook de kosten voor gevolgtrekkingen beheren, met name voor veelgebruikte gebruikersstromen.
- AI offline gebruiken: Je gebruikers hebben toegang tot AI-functies, zelfs als er geen internetverbinding is. Dit betekent dat je sites en web-apps offline of met een wisselende verbinding werken zoals verwacht.
Hybride AI: aan de client- en serverzijde
AI aan de clientzijde kan een groot aantal use cases verwerken, maar voor sommige use cases is ondersteuning aan de serverzijde vereist. AI aan de serverzijde is een goede optie voor grote modellen en ondersteunt een breder scala aan platforms en apparaten.
Je kunt een hybride aanpak overwegen als je app het volgende vereist:
- Complexiteit: Specifieke, toegankelijke use cases zijn makkelijker te ondersteunen met AI op het apparaat. Overweeg voor complexe use cases een implementatie aan de serverzijde.
- Weerbaarheid: Gebruik standaard aan de serverzijde en gebruik op het apparaat als het apparaat offline is of een onstabiele verbinding heeft.
- Soepele fallback: Het duurt even voordat browsers met ingebouwde AI worden gebruikt. Sommige modellen zijn misschien niet beschikbaar en oudere of minder krachtige apparaten voldoen misschien niet aan de hardwarevereisten om alle modellen optimaal uit te voeren. Bied AI aan de serverzijde aan voor deze gebruikers.
Als je bijvoorbeeld de ingebouwde Prompt API gebruikt, is de API alleen beschikbaar in Chrome-extensies op Windows, macOS en Linux. Als u wilt zorgen dat al uw gebruikers uw AI-functie kunnen gebruiken, stelt u een hybride architectuur in met Firebase AI Logic.
Toegang tot ingebouwde AI
Je hebt voornamelijk toegang tot ingebouwde AI-mogelijkheden met taak-API's, zoals de Translator API of de Summarizer API. Taak-API's zijn ontworpen om inferentie uit te voeren op het beste model voor de opdracht, of het nu een taalmodel of een expertmodel is.
Wanneer je ingebouwde AI gebruikt
Dit zijn een paar manieren waarop ingebouwde AI u en uw gebruikers van dienst kan zijn:
- Contentconsumptie met AI: inclusief samenvatten, vertalen, categoriseren, karakteriseren en als kennisprovider.
- AI-ondersteunde content maken: zoals schrijfhulp, proeflezen, grammatica corrigeren en anders formuleren.
Verschillende van de ingebouwde AI-API's zijn beschikbaar in stabiele Chrome-versies en origin trials. Verkennende API's en API's in een vroeg stadium zijn beschikbaar voor deelnemers aan het programma voor vroege preview (EPP).
Voorbeeld van nieuwe functies
We hebben uw input nodig om de API's vorm te geven zodat ze uw use cases kunnen ondersteunen en om onze discussies met andere browserleveranciers voor standaardisatie te informeren.
Neem deel aan het EPP om feedback te geven over ingebouwde AI-ideeën in een vroeg stadium en mogelijkheden te ontdekken om API's te testen die in ontwikkeling zijn via lokale prototyping.
Standaardisatie-inspanning
We werken eraan al deze API's te standaardiseren voor compatibiliteit met verschillende browsers.
De Language Detector API en Translator API zijn overgenomen door de W3C WebML Working Group. We hebben Mozilla en WebKit gevraagd naar hun standaarden.
De Summarizer API is overgenomen door de W3C WebML Working Group. We hebben Mozilla en WebKit gevraagd naar hun standaarden.