Gepubliceerd: 14 mei 2024
AI-inferentie aan de clientzijde vindt plaats op het apparaat, wat ongelooflijk krachtig kan zijn naast elke bestaande configuratie aan de serverzijde. Ingebouwde AI is een vorm van AI aan de clientzijde die modellen naar de browser brengt, gevoelige gegevens beschermt en de latentie verbetert.
- Privacy en beveiliging : AI aan de clientzijde zorgt ervoor dat u lokaal met gegevens kunt werken, wat een grote invloed heeft op uw vermogen om met gevoelige gegevens te werken en deze veilig en privé te houden. U kunt AI-functies aanbieden aan gebruikers met end-to-end-codering.
- Grotere beschikbaarheid : AI aan de clientzijde kan helpen een grotere beschikbaarheid voor uw gebruikers te bereiken. De apparaten van uw gebruikers kunnen een deel van de verwerkingslast op zich nemen in ruil voor meer toegang tot AI-functies. Als uw product een premiumservice biedt, kunt u een gratis laag overwegen met AI-functies aan de clientzijde, zodat uw klanten een idee krijgen van wat de premiumservice biedt.
Het uitvoeren van AI aan de clientzijde kan het werk dat u in de cloud doet niet volledig vervangen en repliceren. Servers zijn immers ongelooflijk krachtig en kunnen grote, complexe modellen bevatten die snel resultaten opleveren.
Aan de klantzijde is niet altijd de juiste keuze, dus voordat we verder gaan, willen we u herinneren aan enkele best practices:
- Ontwerp uw functies met elegante fallbacks en voer benchmarks uit op uw doelapparaten. Niet elk apparaat zal kunnen fungeren als een AI-krachtpatser.
- Bouw voor specifieke gebruiksscenario's . AI aan de clientzijde werkt het beste voor specifieke gebruiksscenario's. De modellen zijn inherent kleiner dan wat doorgaans wordt aangetroffen in AI op de server. Deel uw proces op in gerichte stappen en maak gebruik van voor- en nabewerking, zodat kleinere modellen toch het best mogelijke antwoord kunnen leveren.
- Wees strategisch met betrekking tot downloadvereisten . AI-modellen kunnen groot zijn, wat kan leiden tot een groot gebruik van mobiele data en apparaatopslag. Zorg ervoor dat u een nuttige functie voor uw gebruikers bouwt en dat u een verantwoorde weergave- en cachingstrategie hanteert.
Deel uw feedback
We willen graag horen welke gebruiksscenario's u het meest interesseren en uw feedback over onze aanpak. U kunt feedback delen en een verzoek indienen om deel te nemen aan het vroege preview-programma om te testen met lokale prototypes.
Jouw bijdrage kan ons helpen om van AI een krachtig, maar praktisch hulpmiddel voor iedereen te maken.