Publicado em: 14 de maio de 2024
A inferência de IA do lado do cliente ocorre no dispositivo, o que pode ser muito útil junto com qualquer configuração do lado do servidor. A IA integrada é uma forma de IA do lado do cliente que traz modelos para o navegador, protegendo dados sensíveis e melhorando a latência.
- Privacidade e segurança: a IA do lado do cliente permite trabalhar com dados localmente, o que afeta muito sua capacidade de trabalhar com dados sensíveis e mantê-los seguros e privados. Você pode oferecer recursos de IA para usuários com criptografia de ponta a ponta.
- Maior disponibilidade: a IA do lado do cliente pode ajudar a alcançar maior disponibilidade para seus usuários. Os dispositivos dos usuários podem assumir parte da carga de processamento em troca de mais acesso aos recursos de IA. Se o produto oferecer um serviço premium, considere um nível sem custo financeiro com recursos de IA do lado do cliente para ajudar os clientes a ter uma ideia do que o serviço premium oferece.
A execução de IA do lado do cliente não pode substituir e replicar completamente o trabalho que você faz na nuvem. Afinal, os servidores são incrivelmente poderosos e capazes de armazenar modelos grandes e complexos que entregam resultados rapidamente.
O lado do cliente nem sempre é a escolha certa. Por isso, antes de continuarmos, queremos lembrar você de algumas práticas recomendadas:
- Projete seus recursos com substituições elegantes e faça comparativos de mercado nos dispositivos de destino. Nem todos os dispositivos poderão funcionar como uma potência de IA.
- Crie para casos de uso específicos. A IA do lado do cliente funciona melhor para casos de uso específicos. Os modelos são inerentemente menores do que o que é normalmente encontrado na IA do lado do servidor. Divida seu processo em etapas específicas e use pré e pós-processamento para que modelos menores ainda possam oferecer a melhor resposta possível.
- Pense de forma estratégica sobre os requisitos de download. Os modelos de IA podem ser grandes, o que pode levar a um uso grande de dados móveis e armazenamento do dispositivo. Verifique se você está criando um recurso útil para os usuários e se tem uma estratégia responsável de veiculação e armazenamento em cache.
Envie feedback
Queremos saber quais casos de uso mais interessam a você e seu feedback sobre nossa abordagem. Você pode compartilhar feedback e participar do programa de pré-lançamento para testar com protótipos locais.
Sua contribuição pode nos ajudar a tornar a IA uma ferramenta poderosa, mas prática, para todos.
Comece a usar as APIs de IA integradas no Chrome.