Gepubliceerd: 14 mei 2024, Laatst bijgewerkt: 13 november 2024
Wanneer we functies bouwen met AI-modellen op internet, vertrouwen we voor grotere modellen vaak op server-side oplossingen. Dit geldt vooral voor generatieve AI, waarbij zelfs de kleinste modellen ongeveer duizend keer groter zijn dan de gemiddelde webpaginagrootte . Dit geldt ook voor andere AI-gebruiksscenario's, waarbij modellen kunnen variëren van 10 tot 100 megabytes. Omdat deze modellen niet tussen websites worden gedeeld , moet elke site ze downloaden tijdens het laden van de pagina. Dit is onpraktisch voor ontwikkelaars en gebruikers.
We ontwikkelen webplatform-API's en browserfuncties die zijn ontworpen om AI-modellen, inclusief grote taalmodellen (LLM's), rechtstreeks in de browser te integreren. Dit omvat Gemini Nano , de meest efficiënte versie van de Gemini-familie van LLM's, ontworpen om lokaal te draaien op de meeste moderne desktop- en laptopcomputers. Met ingebouwde AI kan uw website of webapplicatie AI-aangedreven taken uitvoeren zonder dat u eigen AI-modellen hoeft te implementeren of beheren.
Ontdek de voordelen van ingebouwde AI, ons implementatieplan en hoe u kunt profiteren van deze technologie.
Ontvang een vroege preview
We hebben uw input nodig om de API's vorm te geven, ervoor te zorgen dat ze aan uw gebruiksscenario's voldoen en onze discussies met andere browserleveranciers voor standaardisatie te informeren.
Sluit u aan bij ons early preview-programma om feedback te geven over ingebouwde AI-ideeën in een vroeg stadium, en ontdek mogelijkheden om lopende API's te testen via lokale prototyping.
Sluit u aan bij de openbare aankondigingengroep voor Chrome AI-ontwikkelaars en ontvang een melding wanneer er nieuwe API's beschikbaar komen.
Voordelen van ingebouwde AI voor webontwikkelaars
Met ingebouwde AI biedt en beheert uw browser basis- en expertmodellen.
Vergeleken met het bouwen van uw eigen AI aan de clientzijde, biedt ingebouwde AI de volgende voordelen:
- Gemak van implementatie : terwijl de browser de modellen distribueert, houdt hij rekening met de mogelijkheden van het apparaat en beheert hij updates voor het model. Dit betekent dat u niet verantwoordelijk bent voor het downloaden of updaten van grote modellen via een netwerk. U hoeft geen oplossingen te bedenken voor opslaguitzetting, runtime-geheugenbudget, servicekosten en andere uitdagingen.
- Toegang tot hardwareversnelling : de AI-runtime van de browser is geoptimaliseerd om het meeste uit de beschikbare hardware te halen, of het nu een GPU, een NPU is of terugvalt op de CPU. Hierdoor kan uw app op elk apparaat de beste prestaties behalen.
Voordelen van het uitvoeren van client-side
Met een ingebouwde AI-aanpak wordt het triviaal om AI-taken aan de clientzijde uit te voeren, wat op zijn beurt de volgende voordelen biedt:
- Lokale verwerking van gevoelige gegevens : AI aan de clientzijde kan uw privacyverhaal verbeteren. Als u bijvoorbeeld met gevoelige gegevens werkt, kunt u AI-functies aanbieden aan gebruikers met end-to-end-encryptie.
- Pittige gebruikerservaring : in sommige gevallen betekent het weglaten van de retourvlucht naar de server dat u vrijwel onmiddellijke resultaten kunt bieden. AI aan de clientzijde kan het verschil zijn tussen een haalbare functie en een suboptimale gebruikerservaring.
- Betere toegang tot AI : de apparaten van uw gebruikers kunnen een deel van de verwerkingslast op zich nemen in ruil voor meer toegang tot functies. Als u bijvoorbeeld premium AI-functies aanbiedt, kunt u een voorbeeld van deze functies bekijken met AI aan de clientzijde, zodat potentiële klanten de voordelen van uw product kunnen zien, zonder extra kosten voor u. Deze hybride aanpak kan u ook helpen de gevolgtrekkingskosten te beheren, vooral voor veelgebruikte gebruikersstromen.
- Offline AI-gebruik : uw gebruikers hebben toegang tot AI-functies, zelfs als er geen internetverbinding is. Dit betekent dat uw sites en web-apps offline of met variabele connectiviteit zoals verwacht kunnen werken.
Hybride AI: clientzijde en serverzijde
Hoewel AI aan de clientzijde een groot aantal gebruiksscenario's aankan, zijn er bepaalde gevallen waarin ondersteuning aan de serverzijde vereist is.
AI aan de serverzijde is een geweldige optie voor grote modellen en kan een breder scala aan platforms en apparaten ondersteunen.
U kunt een hybride aanpak overwegen, afhankelijk van:
- Complexiteit: Specifieke, toegankelijke gebruiksscenario's zijn gemakkelijker te ondersteunen met AI op het apparaat. Voor complexe gebruiksscenario's kunt u implementatie op de server overwegen.
- Veerkracht : gebruik standaard server-side en gebruik op het apparaat wanneer het apparaat offline is of een slechte verbinding heeft.
- Sierlijke terugval : de adoptie van browsers met ingebouwde AI zal tijd vergen, sommige modellen zijn mogelijk niet beschikbaar en oudere of minder krachtige apparaten voldoen mogelijk niet aan de hardwarevereisten om alle modellen optimaal te laten werken. Bied AI op de server aan voor die gebruikers.
Voor Gemini-modellen kunt u backend-integratie gebruiken (met Python , Go , Node.js of REST ) of in uw webtoepassing implementeren met de nieuwe Google AI-client SDK voor Web .
Browserarchitectuur en API's
Om de ingebouwde AI in Chrome te ondersteunen, hebben we infrastructuur gecreëerd om toegang te krijgen tot basis- en expertmodellen voor uitvoering op het apparaat. Deze infrastructuur zorgt al voor innovatieve browserfuncties, zoals Help me schrijven .
U hebt voornamelijk toegang tot ingebouwde AI-mogelijkheden met taak-API's , zoals de Translator API of de Summarizer API. Taak-API's zijn ontworpen om gevolgtrekkingen uit te voeren op basis van het beste model voor de toewijzing.
In Chrome zijn deze API's gebouwd om gevolgtrekkingen uit te voeren tegen Gemini Nano met verfijning of een expertmodel. Gemini Nano is ontworpen om lokaal op de meeste moderne apparaten te draaien en is het beste voor taalgerelateerde gebruiksscenario's, zoals samenvatten, herformuleren of categoriseren.
We bieden ook verkennende API's, zoals de Prompt API , zodat u lokaal kunt experimenteren en aanvullende gebruiksscenario's kunt delen.
In de toekomst kunnen we mogelijk een verkennende LoRA API aanbieden om de prestaties van het ingebouwde model te verbeteren door de gewichten van het model aan te passen.
Wanneer ingebouwde AI gebruiken?
Hier volgen enkele manieren waarop ingebouwde AI u en uw gebruikers ten goede kan komen:
- AI-verbeterde inhoudsconsumptie : inclusief samenvatting, vertaling, categorisering, karakterisering en als kennisleverancier.
- Door AI ondersteunde inhoudcreatie : zoals schrijfhulp, proeflezen, grammaticacorrectie en herformulering.
Wat is het volgende
Verschillende van de ingebouwde AI API’s zijn beschikbaar om te testen in origin-tests. Verkennende API's en andere API's in een vroeg stadium zijn beschikbaar voor deelnemers aan het vroege preview-programma .
Leer hoe u Gemini Pro op de servers van Google gebruikt met uw websites en web-apps in onze quickstart voor de Google AI JavaScript SDK .