Publicado el 14 de mayo de 2024
La inferencia de IA del cliente se produce en el dispositivo, lo que puede ser increíblemente potente junto con cualquier configuración existente del servidor. La IA integrada es una forma de IA del cliente que lleva modelos al navegador, protege los datos sensibles y mejora la latencia.
- Privacidad y seguridad: La IA del cliente te permite trabajar con datos de forma local, lo que afecta en gran medida tu capacidad de trabajar con datos sensibles y mantenerlos seguros y privados. Puedes ofrecer funciones de IA a los usuarios con encriptación de extremo a extremo.
- Mayor disponibilidad: La IA del cliente puede ayudar a lograr una mayor disponibilidad para tus usuarios. Los dispositivos de tus usuarios pueden asumir parte de la carga de procesamiento a cambio de un mayor acceso a las funciones de IA. Si tu producto ofrece un servicio premium, puedes considerar un nivel gratuito con funciones de IA del cliente para ayudar a tus clientes a obtener una vista previa de lo que proporciona el servicio premium.
La ejecución de la IA del cliente no puede reemplazar ni replicar por completo el trabajo que realizas en la nube. Después de todo, los servidores son increíblemente potentes y capaces de contener modelos grandes y complejos que ofrecen resultados rápidos.
El cliente no siempre es la opción correcta, por lo que, antes de continuar, queremos recordarte algunas prácticas recomendadas:
- Diseña tus funciones con alternativas correctas y ejecuta comparativas en tus dispositivos de destino. No todos los dispositivos podrán actuar como una potencia de IA.
- Compila para casos de uso específicos. La IA del cliente funciona mejor para casos de uso específicos. Los modelos son inherentemente más pequeños que lo que se suele encontrar en la IA del servidor. Divide tu proceso en pasos específicos y usa el procesamiento previo y posterior para que los modelos más pequeños puedan ofrecer la mejor respuesta posible.
- Sé estratégico con los requisitos de descarga. Los modelos de IA pueden ser grandes, lo que podría generar un uso importante de datos móviles y almacenamiento del dispositivo. Asegúrate de compilar una función útil para tus usuarios y de tener una estrategia de publicación y almacenamiento en caché responsable.
Comparte tus comentarios
Queremos saber qué casos de uso te interesan más y tus comentarios sobre nuestro enfoque. Puedes compartir comentarios y unirte al Programa de versión preliminar para probar prototipos locales.
Tu contribución puede ayudarnos a hacer de la IA una herramienta potente, pero práctica, para todos.
Comienza a usar las APIs de IA integradas en Chrome.