Wanneer we functies bouwen met AI-modellen op internet, vertrouwen we voor grotere modellen vaak op server-side oplossingen. Dit geldt vooral voor generatieve AI, waarbij zelfs de kleinste modellen ongeveer duizend keer groter zijn dan de gemiddelde webpaginagrootte . Dit geldt ook voor andere AI-gebruiksscenario's, waarbij modellen kunnen variëren van 10 tot 100 megabytes.
Omdat deze modellen niet door websites worden gedeeld , moet elke site ze downloaden wanneer de pagina wordt geladen. Dit is een onpraktische oplossing voor ontwikkelaars en gebruikers
Hoewel AI op de server een geweldige optie is voor grote modellen, hebben benaderingen op apparaten en hybride benaderingen hun eigen aantrekkelijke voordelen . Om deze benaderingen haalbaar te maken, moeten we rekening houden met de modelgrootte en de modellevering.
Daarom ontwikkelen we webplatform-API's en browserfuncties die zijn ontworpen om AI-modellen, inclusief grote taalmodellen (LLM's), rechtstreeks in de browser te integreren. Dit omvat Gemini Nano , de meest efficiënte versie van de Gemini-familie van LLM's, ontworpen om lokaal te draaien op de meeste moderne desktop- en laptopcomputers. Met ingebouwde AI kan uw website of webapplicatie AI-aangedreven taken uitvoeren zonder dat u eigen AI-modellen hoeft te implementeren of te beheren.
Ontdek de voordelen van ingebouwde AI, ons implementatieplan en hoe u kunt profiteren van deze technologie.
Ontvang een vroege preview
We hebben uw input nodig om de API's vorm te geven, ervoor te zorgen dat ze aan uw gebruiksscenario's voldoen en onze discussies met andere browserleveranciers voor standaardisatie te informeren.
Sluit u aan bij ons early preview-programma om feedback te geven over ingebouwde AI-ideeën in een vroeg stadium, en ontdek mogelijkheden om lopende API's te testen via lokale prototyping.
Sluit u aan bij de openbare aankondigingengroep voor Chrome AI-ontwikkelaars en ontvang een melding wanneer er nieuwe API's beschikbaar komen.
Voordelen van ingebouwde AI voor webontwikkelaars
Met ingebouwde AI biedt en beheert uw browser basis- en expertmodellen.
Vergeleken met doe-het-zelf-AI op het apparaat, biedt ingebouwde AI de volgende voordelen:
- Gemak van implementatie : Terwijl de browser de modellen distribueert, houdt hij rekening met de mogelijkheden van het apparaat en beheert hij updates voor het model. Dit betekent dat u niet verantwoordelijk bent voor het downloaden of updaten van grote modellen via een netwerk. U hoeft geen oplossingen op te lossen voor opslaguitzetting, runtime-geheugenbudget, servicekosten en andere uitdagingen.
- Toegang tot hardwareversnelling : de AI-runtime van de browser is geoptimaliseerd om het meeste uit de beschikbare hardware te halen, of het nu een GPU, een NPU is of terugvalt op de CPU. Hierdoor kan uw app op elk apparaat de beste prestaties behalen.
Voordelen van draaien op het apparaat
Met een ingebouwde AI-aanpak wordt het triviaal om AI-taken op het apparaat uit te voeren, wat op zijn beurt de volgende voordelen biedt:
- Lokale verwerking van gevoelige gegevens : AI op het apparaat kan uw privacyverhaal verbeteren. Als u bijvoorbeeld met gevoelige gegevens werkt, kunt u gebruikers AI-functies aanbieden met end-to-end-encryptie.
- Pittige gebruikerservaring : in sommige gevallen betekent het weglaten van de retourvlucht naar de server dat u vrijwel onmiddellijke resultaten kunt bieden. AI op het apparaat kan het verschil maken tussen een haalbare functie en een suboptimale gebruikerservaring.
- Betere toegang tot AI : de apparaten van uw gebruikers kunnen een deel van de verwerkingslast op zich nemen in ruil voor meer toegang tot functies. Als u bijvoorbeeld premium AI-functies aanbiedt, kunt u een voorbeeld van deze functies bekijken met AI op het apparaat, zodat potentiële klanten de voordelen van uw product kunnen zien, zonder extra kosten voor u. Deze hybride aanpak kan u ook helpen de gevolgtrekkingskosten te beheren, vooral voor veelgebruikte gebruikersstromen.
- Offline AI-gebruik : uw gebruikers hebben toegang tot AI-functies, zelfs als er geen internetverbinding is. Dit betekent dat uw sites en web-apps offline of met variabele connectiviteit zoals verwacht kunnen werken.
Hybride AI: op het apparaat en op de server
Hoewel AI op het apparaat een groot aantal gebruiksscenario's aankan, zijn er bepaalde gebruiksscenario's waarvoor ondersteuning aan de serverzijde vereist is.
Het kan bijvoorbeeld zijn dat u grotere modellen moet gebruiken of een breder scala aan platforms en apparaten moet ondersteunen.
U kunt hybride benaderingen overwegen, afhankelijk van:
- Complexiteit: Specifieke, toegankelijke gebruiksscenario's zijn gemakkelijker te ondersteunen met AI op het apparaat. Voor complexe gebruiksscenario's kunt u implementatie op de server overwegen.
- Veerkracht : gebruik standaard server-side en gebruik op het apparaat wanneer het apparaat offline is of een slechte verbinding heeft.
- Sierlijke terugval : de adoptie van browsers met ingebouwde AI zal tijd vergen, sommige modellen zijn mogelijk niet beschikbaar en oudere of minder krachtige apparaten voldoen mogelijk niet aan de hardwarevereisten om alle modellen optimaal te laten werken. Bied AI op de server aan voor die gebruikers.
Voor Gemini-modellen kunt u backend-integratie gebruiken (met Python , Go , Node.js of REST ) of in uw webtoepassing implementeren met de nieuwe Google AI-client SDK voor Web .
Browserarchitectuur en API's
Om de ingebouwde AI in Chrome te ondersteunen, hebben we infrastructuur gecreëerd om toegang te krijgen tot basis- en expertmodellen voor uitvoering op het apparaat. Deze infrastructuur is al de drijvende kracht achter innovatieve browserfuncties, zoals Help me write , en zal binnenkort API's aandrijven voor AI op het apparaat.
U krijgt voornamelijk toegang tot ingebouwde AI-mogelijkheden met taak-API's, zoals een vertaal-API of een samenvatting-API. Taak-API's zijn ontworpen om gevolgtrekkingen uit te voeren op basis van het beste model voor de toewijzing.
In Chrome zijn deze API's gebouwd om gevolgtrekkingen uit te voeren tegen Gemini Nano met verfijning of een expertmodel. Gemini Nano is ontworpen om lokaal op de meeste moderne apparaten te draaien en is het beste voor taalgerelateerde gebruiksscenario's, zoals samenvatten, herformuleren of categoriseren.
We zijn ook van plan verkennende API's aan te bieden, zodat u lokaal kunt experimenteren en aanvullende gebruiksscenario's kunt delen.
Wij kunnen bijvoorbeeld het volgende bieden:
- Prompt API : stuur een willekeurige taak, uitgedrukt in natuurlijke taal, naar het ingebouwde grote taalmodel (Gemini Nano in Chrome).
- Fine-tuning (LoRA) API : Verbeter de prestaties van de ingebouwde LLM voor een taak door de gewichten van het model aan te passen met Low-Rank Adaptation- fijnafstelling.
Wanneer ingebouwde AI gebruiken?
Hier volgen enkele manieren waarop we verwachten dat ingebouwde AI u en uw gebruikers ten goede kan komen:
- AI-verbeterde inhoudsconsumptie : inclusief samenvatting, vertaling , het beantwoorden van vragen over bepaalde inhoud, categorisering en karakterisering.
- Door AI ondersteunde inhoudcreatie : zoals schrijfhulp, proeflezen, grammaticacorrectie en herformulering.
Wat is het volgende
Sluit u aan bij ons early preview-programma en experimenteer met ingebouwde AI-API's in een vroeg stadium.
In de tussentijd kunt u in onze snelstartgids voor de Google AI JavaScript SDK leren hoe u Gemini Pro op de servers van Google kunt gebruiken met uw websites en web-apps.