Temps forts de notre atelier "L'IA en action"

Damani Brown
Damani Brown
GitHub LinkedIn
Melissa Mitchell
Melissa Mitchell
Mari Viana
Mari Viana
LinkedIn
Thierno Thiam

Date de publication : 14 octobre 2025

En partenariat avec un groupe de start-up à New York, nous avons organisé un atelier technique "AI in Action" (L'IA en action). L'objectif était simple : montrer comment l'IA côté client et les API d'IA intégrées peuvent être directement intégrées à leurs produits pour plus de rapidité, de confidentialité et une meilleure expérience utilisateur.

Au total, nous avons accueilli 24 développeurs de 8 start-up innovantes. La session matinale a été l'occasion d'écouter des experts en produits et en ingénierie, qui ont abordé l'immense potentiel de l'Open Source, des modèles sur l'appareil et l'importance stratégique d'intégrer l'IA directement à la plate-forme Web. Les spécialistes techniques ont ensuite fourni des conseils pratiques pour commencer à utiliser les API d'IA intégrées.

Les participants ont trouvé l'événement très utile, car ils ont découvert qu'il était facile d'utiliser ces API, quelles que soient leurs connaissances existantes en machine learning. Ils ont également découvert de nouveaux cas d'utilisation pour leurs applications grâce à l'expérimentation. Nous étions ravis de valider notre documentation. Un groupe nous a même aidés à identifier et à reproduire un bug complexe, ce qui nous a permis de le corriger.

Les participants ont réussi à développer 10 prototypes à l'aide de l'IA côté client. Découvrez certains de leurs projets et leur expérience lors de l'événement.

Détection d'événements par l'adaptateur à l'aide de l'API Prompt

L'objectif d'Adapter est de créer un "centre de contrôle pour notre vie quotidienne, qui nous permet de maximiser notre temps libre et non notre temps passé devant un écran". Ils ont créé une extension de preuve de concept avec deux fonctionnalités :

  • Détection intelligente et alignée des événements qui identifie les événements sur une page Web lors de la navigation (concerts, restaurants, événements), puis les adapte au contexte personnel, y compris la disponibilité de l'agenda personnel, les préférences de vie et les signaux sociaux en temps réel, le tout traité localement.
  • Réorganisation du contenu en temps réel qui personnalise l'ordre du contenu d'une page Web en fonction de vos centres d'intérêt personnels à la demande.

L'adaptateur a utilisé l'API Prompt pour l'analyse, le raisonnement et l'appel d'outils, et l'API Writer pour la génération de texte local.

"Nous effectuons des raisonnements complexes et des workflows en plusieurs étapes en périphérie avec des compromis limités en termes de confidentialité. Cela permet d'utiliser des applications d'intelligence personnelle qui étaient impraticables lorsque chaque inférence impliquait l'envoi de données sur les réseaux, tout en approfondissant le calcul à distance." – Dillon Ponzo, ingénieur fondateur d'Adapter

Les API d'IA intégrées à Chrome permettent d'utiliser des modèles légers qui traitent les données en local, ce qui préserve la confidentialité par défaut. Les ingénieurs fondateurs d'Adapter, Aidan Crank et Dillon Ponzo, ont vu dans cette décision une validation de leur philosophie architecturale.

"La plupart des extensions d'IA capturent le contexte et l'envoient ailleurs", explique Crank, qui a auparavant travaillé sur l'ingénierie ML à grande échelle chez AWS avant de rejoindre Adapter. "L'IA intégrée à Chrome inverse ce modèle. Vos données personnelles restent sur votre appareil, mais vous bénéficiez d'expériences intelligentes qui étaient auparavant inaccessibles."

Adam Ghetti, cofondateur d'Adapter, dont l'ancienne entreprise Ionic Security a été pionnière en matière de sécurité autonome axée sur les données à grande échelle, voit des implications plus profondes : "La confidentialité n'est pas une fonctionnalité que l'on ajoute, mais une architecture que l'on choisit. L'IA intégrée à Chrome rend cette architecture pratique."

À mesure que Chrome étend ces capacités avec la prise en charge multimodale et des API plus riches, le périphérique de périphérie ne fait pas que rattraper le cloud. Pour l'IA personnelle et privée, il s'agit de la dépasser lorsque cela a du sens.

Sublayer catégorise les images avec l'API Prompt pour améliorer les variantes

Sublayer a créé une application amusante appelée Photoslider, conçue pour révolutionner la façon dont vous interagissez avec vos images et dont vous générez des variantes.

Pour utiliser PhotoSlider, l'utilisateur importe une photo ou en prend une nouvelle, puis clique sur Analyser. L'API Prompt envoie ces images au modèle pour analyse, en lui demandant d'identifier trois attributs clés et de leur attribuer une valeur comprise entre 1 et 10. Par exemple, un attribut peut être "traditionnel" ou "luminosité".

Sur l'interface, l'utilisateur voit l'image et des curseurs pour ajuster les valeurs ou ajouter de nouveaux attributs avec des valeurs personnalisées. Les demandes de modification et l'image sont envoyées à l'IA côté serveur, afin qu'un modèle plus grand avec des capacités de sortie multimodales puisse générer une toute nouvelle image en fonction des spécifications modifiées. Ce processus itératif peut être répété à l'infini, ce qui vous donne un contrôle total jusqu'à ce que vous obteniez l'image idéale.

Scott Werner, PDG de Sublayer, a exprimé son enthousiasme : "Nous avons toujours été intéressés par l'exploration de l'inférence locale. Il est infiniment plus facile de le rendre disponible par défaut dans le navigateur sur les machines de nos utilisateurs que de leur demander de gérer la complexité de l'installation directe des modèles."

Echo3D traite les modèles 3D pour en faire des données riches et consultables.

Echo3D fournit une plate-forme et une API permettant aux entreprises de stocker, de sécuriser et de partager facilement des modèles et des scans 3D entre différentes équipes et organisations. Leurs pipelines 3D et textuels avancés traitent efficacement les modèles 3D pour les transformer en données riches et consultables.

Lors de l'événement, echo3D a développé des outils 3D-to-text-to-3D qui améliorent la compréhension visuelle des composants. Ils ont utilisé l'API Prompt pour automatiser le taggage des modèles, détecter les doublons et rationaliser le catalogage et la documentation de vastes bibliothèques 3D.

{
  "description": "A 3D model of a large, tan-colored sandcastle with one main
    tower, four small towers, and staircases wrapping around. The towers
    have multiple windows. There is a main gate.",
  "tags": ["sand","castle","gate","tan","tower","staircase"]
}

Chaque élément dispose ainsi d'une description riche, cohérente et consultable, ce qui permet d'organiser et de rendre plus accessible l'ensemble de la bibliothèque d'un utilisateur. De plus, il permet d'économiser de l'espace de stockage et d'éviter les conflits de versioning causés par les fichiers redondants.

"Notre équipe a vraiment apprécié l'événement. Nous avons été particulièrement impressionnés par la facilité avec laquelle les fonctionnalités d'IA peuvent être intégrées aux applications Web à l'aide de l'IA intégrée. La possibilité de prototyper et de déployer des fonctionnalités d'IA sécurisées côté client en si peu de temps a été un avantage considérable." – Alon Grinshpoon, PDG d'echo3D

Spot2 a créé des métadonnées structurées à partir des images importées.

L'application Spot2 liste les biens immobiliers à louer à Mexico. Souvent, lorsque ces propriétés sont listées, des métadonnées essentielles et d'autres informations précieuses sont manquantes. Les détails varient considérablement en fonction de l'attention portée aux détails par le fournisseur. Spot2 a passé la journée à améliorer la qualité des données avec l'API Prompt.

Son équipe a développé une fonctionnalité permettant de traiter et d'organiser automatiquement la structure des métadonnées des fiches. Ce processus se produit au moment où une photo est importée, ce qui contribue à l'exhaustivité et à la cohérence. En effectuant cette tâche côté client plutôt que côté serveur, la fonctionnalité est rentable.

Si elle est lancée, cette fonctionnalité promet un double impact : une amélioration notable de la qualité des données et une réduction significative des dépenses opérationnelles. "Nous prévoyons que des fiches de meilleure qualité se traduiront également par un taux de conversion plus élevé."

Rejoignez-nous la prochaine fois