Quando criamos recursos com modelos de IA na Web, geralmente contamos com soluções do lado do servidor para modelos maiores. Isso vale especialmente para a IA generativa, em que até mesmo os menores modelos são cerca de mil vezes maiores do que o tamanho médio de uma página da Web. Isso também se aplica a outros casos de uso de IA, em que os modelos podem variar de dezenas a centenas de megabytes.
Como esses modelos não são compartilhados entre sites, cada site precisa fazer o download deles no carregamento da página. Essa é uma solução impraticável para desenvolvedores e usuários
Embora a IA do lado do servidor seja uma ótima opção para modelos grandes, as abordagens no dispositivo e híbridas têm suas próprias vantagens atraentes. Para tornar essas abordagens viáveis, precisamos abordar o tamanho e a entrega do modelo.
Por isso, estamos desenvolvendo APIs de plataforma da Web e recursos de navegador projetados para integrar modelos de IA, incluindo modelos de linguagem grandes (LLMs), diretamente no navegador. Isso inclui o Gemini Nano, a versão mais eficiente da família de LLMs do Gemini, projetada para ser executada localmente na maioria dos computadores desktop e laptop modernos. Com IA integrada, seu site ou aplicativo da Web pode executar tarefas com tecnologia de IA sem precisar implantar ou gerenciar os próprios modelos de IA.
Descubra os benefícios da IA integrada, nosso plano de implementação e como aproveitar essa tecnologia.
Confira uma prévia
Precisamos da sua contribuição para moldar as APIs, garantir que elas atendam aos seus casos de uso e informar nossas discussões com outros fornecedores de navegadores para padronização.
Participe do nosso programa de pré-lançamento para fornecer feedback sobre ideias de IA integradas em estágio inicial e descobrir oportunidades para testar APIs em andamento usando prototipagem local.
Participe do grupo de avisos públicos para desenvolvedores da Chrome AI para receber notificações quando novas APIs forem disponibilizadas.
Benefícios da IA integrada para desenvolvedores Web
Com IA integrada, seu navegador fornece e gerencia modelos de fundação e modelos especializados.
Em comparação com a IA integrada no dispositivo, ela oferece os seguintes benefícios:
- Facilidade de implantação: à medida que o navegador distribui os modelos, ele considera a capacidade do dispositivo e gerencia as atualizações do modelo. Isso significa que você não é responsável por fazer o download ou atualizar modelos grandes pela rede. Você não precisa resolver problemas de remoção de armazenamento, orçamento de memória de ambiente de execução, custos de veiculação e outros desafios.
- Acesso à aceleração de hardware: o ambiente de execução da IA do navegador é otimizado para aproveitar ao máximo o hardware disponível, seja ele uma GPU, um NPU ou voltando à CPU. Consequentemente, o app pode ter o melhor desempenho em cada dispositivo.
Benefícios da execução no dispositivo
Com uma abordagem de IA integrada, torna-se trivial realizar tarefas de IA no dispositivo, o que, por sua vez, oferece as seguintes vantagens:
- Processamento local de dados sensíveis: a IA no dispositivo pode melhorar sua história de privacidade. Por exemplo, se você trabalha com dados sensíveis, pode oferecer recursos de IA aos usuários com criptografia de ponta a ponta.
- Experiência do usuário Snappy: em alguns casos, abandonar a ida e volta para o servidor significa que você pode oferecer resultados quase instantâneos. A IA no dispositivo pode ser a diferença entre um recurso viável e uma experiência do usuário abaixo do ideal.
- Maior acesso à IA: os dispositivos dos usuários podem arcar com parte da carga de processamento em troca de mais acesso aos recursos. Por exemplo, se você oferecer recursos premium de IA, pode visualizá-los com IA no dispositivo para que clientes em potencial vejam os benefícios do seu produto, sem custo adicional. Essa abordagem híbrida também pode ajudar você a gerenciar os custos de inferência, especialmente em fluxos de usuários usados com frequência.
- Uso de IA off-line: seus usuários podem acessar recursos de IA mesmo quando não há conexão de Internet. Isso significa que seus sites e apps da Web podem funcionar off-line conforme esperado ou com conectividade variável.
IA híbrida: no dispositivo e no lado do servidor
Embora a IA no dispositivo possa lidar com uma grande variedade de casos de uso, alguns casos de uso exigem suporte do lado do servidor.
Por exemplo, talvez seja necessário usar modelos maiores ou oferecer suporte a uma variedade maior de plataformas e dispositivos.
É possível considerar as abordagens híbridas, dependendo de:
- Complexidade:casos de uso específicos e acessíveis são mais fáceis de oferecer com IA no dispositivo. Para casos de uso complexos, considere a implementação do lado do servidor.
- Resiliência: use o lado do servidor por padrão e use no dispositivo quando ele estiver off-line ou em uma conexão instável.
- Substituto simples: a adoção de navegadores com IA integrada levará tempo, alguns modelos podem não estar disponíveis e dispositivos mais antigos ou menos potentes podem não atender aos requisitos de hardware para executar todos os modelos de maneira ideal. Ofereça IA do lado do servidor para esses usuários.
Para modelos do Gemini, é possível usar a integração de back-end (com Python, Go, Node.js ou REST) ou implementar no seu aplicativo da Web com o novo SDK cliente da IA do Google para Web.
Arquitetura e APIs do navegador
Para oferecer suporte à IA integrada no Chrome, criamos uma infraestrutura para acessar modelos básicos e especializados para execução no dispositivo. Essa infraestrutura já está impulsionando recursos inovadores de navegadores, como o Quero ajuda para escrever, e em breve vai disponibilizar APIs para IA no dispositivo.
Você acessará recursos de IA integrados principalmente com APIs de tarefas, como uma API de tradução ou uma API de resumo. As APIs Task foram projetadas para executar inferência no melhor modelo para a atribuição.
No Chrome, essas APIs são criadas para executar inferência no Gemini Nano com ajustes ou um modelo especialista. Projetado para ser executado localmente na maioria dos dispositivos modernos, o Gemini Nano é melhor para casos de uso relacionados a idiomas, como resumo, reformulação ou categorização.
Além disso, pretendemos fornecer APIs exploratórias para que você possa fazer testes localmente e compartilhar outros casos de uso.
Por exemplo, podemos fornecer:
- API Prompt: envie uma tarefa arbitrária, expressa em linguagem natural, para o modelo de linguagem grande integrado (Gemini Nano no Chrome).
- API de ajuste fino (LoRA): melhore o desempenho do LLM integrado em uma tarefa ajustando os pesos do modelo com o ajuste de adaptação de baixa classificação.
Quando usar a IA integrada
Confira alguns benefícios que a IA integrada pode trazer para você e seus usuários:
- Consumo de conteúdo aprimorado por IA: incluindo resumo, tradução, resposta a perguntas sobre alguns tipos de conteúdo, categorização e caracterização.
- Criação de conteúdo com suporte de IA: como assistência de escrita, revisão, correção gramatical e reformulação.
A seguir
Participe do nosso programa de pré-lançamento para testar APIs de IA integradas em estágio inicial.
Enquanto isso, confira o guia de início rápido do SDK da IA do Google para JavaScript para aprender a usar o Gemini Pro nos servidores do Google com seus sites e apps da Web.