Lorsque nous créons des fonctionnalités à l'aide de modèles d'IA sur le Web, nous nous appuyons souvent sur des solutions côté serveur pour les modèles plus volumineux. Cela est particulièrement vrai pour l'IA générative, où même les plus petits modèles sont environ mille fois plus grands que la taille médiane des pages Web. C'est également le cas pour d'autres cas d'utilisation de l'IA, où les modèles peuvent aller de 10 à 100 mégaoctets.
Étant donné que ces modèles ne sont pas partagés entre plusieurs sites Web, chaque site doit les télécharger au chargement de la page. Il s'agit d'une solution peu pratique pour les développeurs et les utilisateurs
Bien que l'IA côté serveur soit une excellente option pour les grands modèles, les approches sur l'appareil et hybrides ont leurs propres avantages. Pour rendre ces approches viables, nous devons prendre en compte la taille et la diffusion du modèle.
C'est pourquoi nous développons des API de plate-forme Web et des fonctionnalités de navigateur conçues pour intégrer des modèles d'IA, y compris des grands modèles de langage (LLM), directement dans le navigateur. Cela inclut Gemini Nano, la version la plus efficace de la famille de LLM Gemini, conçue pour s'exécuter localement sur la plupart des ordinateurs de bureau et portables modernes. Avec l'IA intégrée, votre site Web ou application Web peut effectuer des tâches basées sur l'IA sans avoir à déployer ni gérer ses propres modèles d'IA.
Découvrez les avantages de l'IA intégrée, notre plan d'implémentation et comment exploiter cette technologie.
Profitez d'un accès anticipé
Nous avons besoin de votre contribution pour façonner les API, nous assurer qu'elles répondent à vos cas d'utilisation et alimenter nos discussions avec d'autres fournisseurs de navigateurs à des fins de standardisation.
Rejoignez notre programme en preview anticipé pour donner votre avis sur des idées d'IA intégrées à un stade précoce, et découvrez des opportunités de tester les API en cours grâce au prototypage local.
Rejoignez le groupe des annonces publiques pour les développeurs d'IA Chrome pour être averti lorsque de nouvelles API seront disponibles.
Avantages de l'IA intégrée pour les développeurs Web
Avec l'IA intégrée, votre navigateur fournit et gère des modèles de fondation et des modèles experts.
Par rapport à l'IA intégrée à l'appareil, vous bénéficiez des avantages suivants:
- Facilité de déploiement: lorsque le navigateur distribue les modèles, il prend en compte la capacité de l'appareil et gère les mises à jour du modèle. Cela signifie que vous n'êtes pas responsable du téléchargement ni de la mise à jour de modèles volumineux sur un réseau. Vous n'avez pas à résoudre les problèmes liés à l'éviction du stockage, au budget de la mémoire d'exécution, aux coûts de diffusion et à d'autres problèmes.
- Accès à l'accélération matérielle: l'environnement d'exécution d'IA du navigateur est optimisé pour tirer le meilleur parti du matériel disponible, qu'il s'agisse d'un GPU, d'une NPU ou d'un recours au processeur. Par conséquent, votre application peut optimiser les performances sur chaque appareil.
Avantages de l'exécution sur l'appareil
Avec une approche d'IA intégrée, il devient facile d'effectuer des tâches d'IA sur l'appareil, ce qui offre les avantages suivants:
- Traitement local des données sensibles: l'IA sur l'appareil peut améliorer vos questions sur la confidentialité. Par exemple, si vous travaillez avec des données sensibles, vous pouvez proposer aux utilisateurs des fonctionnalités d'IA avec chiffrement de bout en bout.
- Expérience utilisateur rapide: dans certains cas, l'abandon de l'aller-retour vers le serveur vous permet de proposer des résultats presque instantanés. L'IA intégrée à l'appareil peut faire la différence entre une fonctionnalité viable et une expérience utilisateur non optimale.
- Un meilleur accès à l'IA: les appareils de vos utilisateurs peuvent assumer une partie de la charge de traitement en échange d'un accès plus étendu à des fonctionnalités. Par exemple, si vous proposez des fonctionnalités d'IA premium, vous pouvez les prévisualiser avec l'IA sur l'appareil afin que les clients potentiels puissent voir les avantages de votre produit, sans frais supplémentaires pour vous. Cette approche hybride peut également vous aider à gérer les coûts d'inférence, en particulier pour les parcours utilisateur fréquemment utilisés.
- Utilisation de l'IA hors connexion: vos utilisateurs peuvent accéder aux fonctionnalités d'IA même sans connexion Internet. Cela signifie que vos sites et vos applications Web peuvent fonctionner comme prévu hors connexion ou avec une connectivité variable.
IA hybride: sur l'appareil et côté serveur
Bien que l'IA sur l'appareil puisse gérer un grand nombre de cas d'utilisation, certains nécessitent une compatibilité côté serveur.
Par exemple, vous devrez peut-être utiliser des modèles plus grands ou accepter un plus grand nombre de plates-formes et d'appareils.
Vous pouvez envisager des approches hybrides, en fonction des éléments suivants:
- Complexité:les cas d'utilisation spécifiques et accessibles sont plus faciles à gérer avec l'IA intégrée à l'appareil. Pour les cas d'utilisation complexes, envisagez une implémentation côté serveur.
- Résilience: utilisez par défaut côté serveur et sur l'appareil lorsqu'il est hors connexion ou sur une connexion instable.
- Solution de remplacement élégante: l'adoption de navigateurs avec IA intégrée prend du temps, certains modèles peuvent être indisponibles, et des appareils plus anciens ou moins puissants peuvent ne pas répondre à la configuration matérielle requise pour exécuter tous les modèles de manière optimale. Proposez à ces utilisateurs l'IA côté serveur.
Pour les modèles Gemini, vous pouvez utiliser l'intégration du backend (avec Python, Go, Node.js ou REST) ou la mettre en œuvre dans votre application Web à l'aide du nouveau SDK client Google AI pour le Web.
Architecture du navigateur et API
Pour prendre en charge l'IA intégrée à Chrome, nous avons créé une infrastructure permettant d'accéder à des modèles de base et experts pour une exécution sur l'appareil. Cette infrastructure propose déjà des fonctionnalités de navigateur innovantes, telles que M'aider à écrire, et alimentera bientôt les API pour l'IA sur l'appareil.
Vous accéderez principalement aux fonctionnalités d'IA intégrées avec des API de tâches, telles qu'une API de traduction ou une API de synthèse. Les API Tasks sont conçues pour exécuter des inférences sur le modèle le plus adapté à l'attribution.
Dans Chrome, ces API sont conçues pour exécuter des inférences sur Gemini Nano avec optimisation ou un modèle expert. Conçu pour s'exécuter localement sur la plupart des appareils modernes, Geni Nano est idéal pour les cas d'utilisation liés au langage, tels que la synthèse, la reformulation ou la catégorisation.
Nous prévoyons également de fournir des API d'exploration afin que vous puissiez effectuer des tests en local et partager d'autres cas d'utilisation.
Par exemple, nous pouvons fournir:
- API Prompt: envoyez une tâche arbitraire, exprimée en langage naturel, au grand modèle de langage intégré (Gemini Nano dans Chrome).
- API d'ajustement (LoRA): améliorez les performances du LLM intégré sur une tâche en ajustant les pondérations du modèle avec l'adaptation de rang faible.
Quand utiliser l'IA intégrée ?
Voici quelques-uns des avantages que l'IA intégrée pourrait vous apporter, à vous et à vos utilisateurs:
- Consommation de contenu optimisée par l'IA: résumé, traduction, réponse aux questions sur certains contenus, classification et caractérisation.
- Création de contenu basée sur l'IA: aide à la rédaction, relecture, correction grammaticale et reformulation, par exemple.
Étapes suivantes
Rejoignez notre programme en preview anticipé pour tester les API d'IA intégrées à un stade précoce.
En attendant, pour découvrir comment utiliser Gemini Pro sur les serveurs de Google avec vos sites Web et applications Web, consultez notre guide de démarrage rapide pour le SDK JavaScript de l'IA de Google.