Publicado em 14 de outubro de 2025
Em parceria com um grupo de startups em Nova York, realizamos um workshop técnico sobre "IA em ação". O objetivo era simples: demonstrar como a IA do lado do cliente e as APIs de IA integradas podem ser integradas diretamente aos produtos para aumentar a velocidade, a privacidade e melhorar a experiência do usuário.
No total, recebemos 24 desenvolvedores de 8 startups inovadoras. A sessão da manhã contou com palestras de especialistas em produtos e engenharia, abordando o imenso potencial do código aberto, dos modelos no dispositivo e da importância estratégica de levar a IA diretamente para a plataforma da Web. Em seguida, os especialistas técnicos forneceram orientações práticas para começar a usar as APIs de IA integradas.
Os participantes acharam o evento muito útil e descobriram que era fácil usar essas APIs, independentemente do conhecimento de aprendizado de máquina. Eles também descobriram novos casos de uso para os aplicativos com experimentos. Ficamos animados em validar nossa documentação. Um grupo até nos ajudou a identificar e reproduzir um bug complexo para que pudéssemos enviar uma correção.
Os participantes desenvolveram 10 protótipos usando IA do lado do cliente. Confira alguns dos projetos deles e saiba mais sobre a experiência no evento.
Detecção de eventos do adaptador usando a API Prompt
O objetivo do Adapter é criar uma "Central de comando para nossas vidas diárias, permitindo o máximo de tempo livre, não de tempo de tela". Eles criaram uma extensão de prova de conceito com duas funcionalidades:
- Detecção inteligente e alinhada de eventos que identifica eventos em uma página da Web durante a navegação (shows, restaurantes, eventos) e os adapta com contexto pessoal, incluindo disponibilidade na agenda pessoal, preferências de vida e indicadores sociais em tempo real, tudo processado localmente.
- Reclassificação de conteúdo em tempo real que personaliza a ordem do conteúdo em uma página da Web de acordo com seus interesses pessoais sob demanda.
O adaptador usou a API Prompt para análise, raciocínio e chamada de ferramentas, e a API Writer para geração de texto local.
"Estamos fazendo raciocínios complexos e fluxos de trabalho de várias etapas na borda com concessões de privacidade limitadas. Isso permite aplicativos de inteligência pessoal que eram inviáveis quando cada inferência significava enviar dados por redes e aprofundar a computação remota". – Dillon Ponzo, engenheiro fundador do Adapter
As APIs de IA integradas do Chrome permitem modelos leves que processam dados localmente, preservando a privacidade por padrão. Os engenheiros fundadores do Adapter, Aidan Crank e Dillon Ponzo, viram isso como uma validação da filosofia arquitetônica deles.
"A maioria das extensões de IA captura o contexto e o envia para outro lugar", explica Crank, que trabalhou com engenharia de ML em grande escala na AWS antes de entrar na Adapter. "A IA integrada do Chrome inverte esse modelo. Seus dados pessoais permanecem no seu dispositivo, mas você tem acesso a experiências inteligentes que antes eram impossíveis."
O cofundador da Adapter, Adam Ghetti, cuja empresa anterior, Ionic Security, foi pioneira na segurança autônoma de dados em grande escala, vê implicações mais profundas: "A privacidade não é um recurso que você adiciona, mas sim uma arquitetura que você escolhe. A IA integrada do Chrome torna essa arquitetura prática."
À medida que o Chrome expande esses recursos com suporte multimodal e APIs mais avançadas, a borda não está apenas alcançando a nuvem. Para IA pessoal e privada, é sobre superar isso quando faz sentido.
A subcamada categoriza imagens com a API Prompt para melhorar as variações
A Sublayer criou um app divertido chamado Photoslider, projetado para revolucionar a forma como você interage e gera variações das suas imagens.
Para usar o PhotoSlider, o usuário faz upload de uma foto ou captura uma nova e clica em Analisar. A API de comandos envia essas imagens ao modelo para análise, pedindo que ele identifique três atributos principais e atribua a eles um valor de 1 a 10. Por exemplo, um atributo pode ser "tradicional" ou "luminosidade".
No front-end, o usuário vê a imagem e controles deslizantes para ajustar os valores ou introduzir novos atributos com valores personalizados. As solicitações de mudanças e a imagem são enviadas para a IA do lado do servidor, para que um modelo maior com recursos de saída multimodal possa gerar uma imagem totalmente nova com base nas especificações alteradas. Esse processo iterativo pode ser repetido infinitamente, a você controle total até alcançar a imagem ideal.
Scott Werner, CEO da Sublayer, expressou seu entusiasmo: "Estamos muito interessados em saber como é a inferência local. Ter essa opção disponível por padrão no navegador dos dispositivos dos nossos usuários é muito mais fácil do que depender da navegação dos usuários pelas complexidades da instalação direta de modelos".
O Echo3D processa modelos 3D em dados pesquisáveis avançados.
O Echo3D oferece uma plataforma e uma API para que as empresas armazenem, protejam e compartilhem modelos e digitalizações 3D em diversas equipes e organizações. Os pipelines avançados de texto e 3D processam com eficiência modelos 3D em dados ricos e pesquisáveis.
No evento, a echo3D desenvolveu ferramentas de 3D para texto para 3D que melhoram a compreensão visual dos recursos. Eles usaram a API de comandos para automatizar a inclusão de tags em modelos, detectar duplicações e simplificar a catalogação e a documentação de extensas bibliotecas 3D.
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
Isso dá a cada recurso uma descrição rica, consistente e pesquisável, tornando toda a biblioteca de um usuário mais organizada e acessível. Além disso, ele economiza espaço de armazenamento e evita conflitos de controle de versões causados por arquivos redundantes.
"Nossa equipe gostou muito do evento. Ficamos particularmente impressionados com a facilidade com que os recursos de IA podem ser integrados a aplicativos da Web usando IA integrada. A capacidade de criar protótipos e implantar recursos seguros de IA do lado do cliente em um período tão curto foi uma vantagem significativa." – Alon Grinshpoon, CEO da echo3D
O Spot2 criou metadados estruturados com base nas imagens enviadas
O aplicativo Spot2 lista imóveis para aluguel na Cidade do México. Muitas vezes, quando essas propriedades são listadas, faltam metadados importantes e outras informações valiosas. Os detalhes variam muito, dependendo da atenção do fornecedor aos detalhes. O Spot2 passou o dia melhorando a qualidade dos dados com a API Prompt.
A equipe desenvolveu um recurso para processar e organizar automaticamente a estrutura dos metadados das informações do produto. Esse processo ocorre no momento em que uma foto é enviada, o que ajuda na integridade e na consistência. Ao realizar essa tarefa no lado do cliente em vez do lado do servidor, o recurso se torna econômico.
Se lançado, esse recurso promete um impacto duplo: uma melhoria significativa na qualidade dos dados e uma redução notável nas despesas operacionais. "Prevemos que os anúncios de maior qualidade também vão resultar em uma taxa de conversão maior."
Participe da próxima vez
- Inscreva-se no próximo workshop "AI in Action" em 7 de novembro de 2025, em São Francisco.
- Participe do Desafio de IA integrada 2025. Vamos realizar uma hackathon virtual para todos os desenvolvedores. Crie aplicativos da Web ou extensões do Chrome usando APIs de IA integradas para concorrer a um dos prêmios de US$ 70.000.