Cuando compilamos funciones con modelos de IA en la Web, a menudo, confiamos en las soluciones del servidor para modelos más grandes. Esto es especialmente cierto en el caso de la IA generativa, en la que incluso los modelos más pequeños son casi mil veces más grandes que el tamaño promedio de la página web. Lo mismo sucede con otros casos de uso de IA, en los que los modelos pueden variar de 10 s a 100 s de megabytes.
Como estos modelos no se comparten entre sitios web, cada sitio debe descargarlos cuando se carga la página. Esta es una solución poco práctica para desarrolladores y usuarios
Si bien la IA del servidor es una excelente opción para modelos grandes, los enfoques híbridos y en el dispositivo tienen sus propias ventajas atractivas. Para que estos enfoques sean viables, debemos abordar el tamaño y la entrega del modelo.
Por eso, estamos desarrollando APIs de plataformas web y funciones de navegador diseñadas para integrar modelos de IA, incluidos los modelos grandes de lenguaje (LLM), directamente en el navegador. Esto incluye Gemini Nano, la versión más eficiente de la familia de LLM de Gemini, diseñada para ejecutarse de forma local en la mayoría de las computadoras de escritorio y laptops modernas. Con la IA integrada, tu sitio web o aplicación web pueden realizar tareas con tecnología de IA sin necesidad de implementar o administrar sus propios modelos de IA.
Descubre los beneficios de la IA integrada, nuestro plan de implementación y cómo puedes aprovechar esta tecnología.
Obtén una vista previa anticipada
Necesitamos tu intervención para dar forma a las APIs, garantizar que cumplan con tus casos de uso y también informar sobre nuestras discusiones con otros proveedores de navegadores para su estandarización.
Únete a nuestro programa de versión preliminar anticipada para proporcionar comentarios sobre ideas de IA integrada en la etapa inicial y descubrir oportunidades para probar las APIs en curso mediante el prototipado local.
Únete al grupo de anuncios públicos para desarrolladores de Chrome AI para recibir notificaciones cuando haya nuevas APIs disponibles.
Beneficios de la IA integrada para desarrolladores web
Con la IA integrada, tu navegador proporciona y administra modelos de base y expertos.
En comparación con hacerlo por tu cuenta con la IA integrada en el dispositivo, la IA integrada ofrece los siguientes beneficios:
- Facilidad de implementación: A medida que el navegador distribuye los modelos, tiene en cuenta la capacidad del dispositivo y administra las actualizaciones del modelo. Esto significa que no eres responsable de descargar ni actualizar modelos grandes a través de una red. No tienes que resolver la expulsión de almacenamiento, el presupuesto de memoria del entorno de ejecución, los costos de entrega y otros desafíos.
- Acceso a la aceleración de hardware: El entorno de ejecución de IA del navegador está optimizado para aprovechar al máximo el hardware disponible, ya sea una GPU, una NPU o recurrir a la CPU. Por lo tanto, tu app puede obtener el mejor rendimiento en cada dispositivo.
Beneficios de la ejecución integrada en el dispositivo
Con un enfoque de IA integrada, se vuelve trivial realizar tareas de IA en el dispositivo, lo que, a su vez, ofrece las siguientes ventajas:
- Procesamiento local de datos sensibles: La IA integrada en el dispositivo puede mejorar tu historia de privacidad. Por ejemplo, si trabajas con datos sensibles, puedes ofrecer funciones de IA a los usuarios con encriptación de extremo a extremo.
- Experiencia del usuario rápida: En algunos casos, abandonar el proceso de ida y vuelta al servidor te permite ofrecer resultados casi instantáneos. La IA integrada en el dispositivo puede ser la diferencia entre una función viable y una experiencia del usuario deficiente.
- Mayor acceso a la IA: Los dispositivos de tus usuarios pueden cargar parte de la carga de procesamiento a cambio de más acceso a las funciones. Por ejemplo, si ofreces funciones de IA premium, puedes obtener una vista previa de ellas con la IA integrada en el dispositivo para que los clientes potenciales puedan ver los beneficios de tu producto sin costo adicional. Este enfoque híbrido también puede ayudarte a administrar los costos de inferencia, en especial en los flujos de usuarios de uso frecuente.
- Uso de IA sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay conexión a Internet. Esto significa que tus sitios y apps web pueden funcionar como se espera sin conexión o con una conectividad variable.
IA híbrida: Integrado en el dispositivo y del servidor
Si bien la IA integrada en el dispositivo puede manejar una gran variedad de casos de uso, hay algunos que requieren compatibilidad del servidor.
Por ejemplo, es posible que debas usar modelos más grandes o admitir una gama más amplia de plataformas y dispositivos.
Puedes considerar los enfoques híbridos, según lo siguiente:
- Complejidad: Los casos de uso específicos y accesibles son más fáciles de admitir con la IA integrada en el dispositivo. Para casos de uso complejos, considera la implementación del servidor.
- Resiliencia: Se usa de forma predeterminada en el servidor y se usa en el dispositivo cuando este no tenga conexión o tenga una conexión irregular.
- Resguardo ordenado: La adopción de navegadores con IA integrada llevará tiempo, es posible que algunos modelos no estén disponibles y que los dispositivos más antiguos o menos potentes no cumplan con los requisitos de hardware para ejecutar todos los modelos de manera óptima. Ofrece IA del servidor para esos usuarios.
Para los modelos de Gemini, puedes usar la integración de backend (con Python, Go, Node.js o REST) o implementarla en tu aplicación web con el nuevo SDK cliente de Google AI para la Web.
Arquitectura del navegador y APIs
Para admitir la IA integrada en Chrome, creamos una infraestructura que permita acceder a los modelos de base y expertos para la ejecución en el dispositivo. Esta infraestructura ya permite usar funciones innovadoras del navegador, como Ayúdame a escribir, y pronto admitirá APIs para la IA integrada en el dispositivo.
Accederás a las funciones de IA integradas principalmente con las APIs de tareas, como una API de Translation o una API de resumen. Las APIs de Tasks están diseñadas para ejecutar inferencias en función del mejor modelo de asignación.
En Chrome, estas APIs están diseñadas para ejecutar inferencias en Gemini Nano con ajustes o con un modelo experto. Gemini Nano, que está diseñado para ejecutarse de forma local en la mayoría de los dispositivos modernos, es ideal para los casos de uso relacionados con el lenguaje, como resúmenes, reformulaciones o categorización.
Además, pretendemos proporcionar APIs de exploración para que puedas experimentar de forma local y compartir casos de uso adicionales.
Por ejemplo, podemos proporcionar lo siguiente:
- API de prompt: Envía una tarea arbitraria, expresada en lenguaje natural, al modelo integrado de lenguaje extenso (Gemini Nano en Chrome).
- API de ajuste (LoRA): Mejora el rendimiento del LLM integrado en una tarea ajustando las ponderaciones del modelo con el ajuste de Adaptación de bajo rango.
Cuándo usar la IA integrada
Estas son algunas de las maneras en las que esperamos que la IA integrada pueda beneficiarte a ti y a tus usuarios:
- Consumo de contenido mejorado por IA: Incluye resúmenes, traducciones y respuestas a preguntas sobre contenido, categorización y caracterización.
- Creación de contenido compatible con IA: Como la asistencia de escritura, la revisión de textos, la corrección gramatical y la reformulación
Próximos pasos
Únete a nuestro programa de versión preliminar anticipada para experimentar con las APIs de IA integradas en su etapa inicial.
Mientras tanto, puedes aprender a usar Gemini Pro en los servidores de Google con tus sitios web y apps web en nuestra guía de inicio rápido sobre el SDK de JavaScript de Google AI.