Fecha de publicación: 14 de mayo de 2024
Cuando compilamos funciones con modelos de IA en la Web, a menudo usamos soluciones del servidor para modelos más grandes. Esto es especialmente cierto para la IA generativa, en la que incluso los modelos más pequeños son alrededor de mil veces más grandes que el tamaño promedio de una página web. Esto también es cierto para otros casos de uso de IA, en los que los modelos pueden variar de 10 a 100 megabytes.
Dado que estos modelos no se comparten entre los sitios web, cada sitio debe descargarlos cuando se carga la página. Esta es una solución poco práctica para desarrolladores y usuarios.
Si bien la IA del servidor es una gran opción para los modelos grandes, la IA en el dispositivo y la híbrida enfoques tienen sus propias ventajas atractivas. Para que estos enfoques sean viables, debemos abordar el tamaño y la entrega del modelo.
Es por eso que estamos desarrollando APIs de plataforma web y funciones del navegador diseñadas para e integrar modelos de IA, incluidos los modelos grandes de lenguaje (LLM), directamente en la navegador. Esto incluye Gemini Nano: la versión más eficiente de la familia de LLM Gemini, diseñada para ejecutarse de forma local en la mayoría de las computadoras de escritorio y laptops modernas. Con la IA integrada, tu sitio web o aplicación web puede realizar tareas potenciadas por IA sin necesidad de implementar ni administrar sus propios modelos de IA.
Descubre los beneficios de la IA integrada, nuestro plan de implementación y cómo puedes aprovechar esta tecnología.
Obtén una vista previa anticipada
Necesitamos su entrada para dar forma a las APIs. asegurarse de que satisfagan sus casos de uso e informar nuestras conversaciones con otros navegadores con proveedores para la estandarización.
Únete a nuestro Programa de versión preliminar para proporcionar comentarios sobre ideas de IA integradas en etapa inicial y descubrir oportunidades para probarlas APIs en curso mediante prototipado local.
Únete al grupo de anuncios públicos de desarrolladores de IA de Chrome para recibir notificaciones cuando haya nuevas APIs disponibles.
Beneficios de la IA integrada para desarrolladores web
Con la IA integrada, tu navegador proporciona y administra modelos fundamentales y de expertos.
En comparación con la IA integrada en el dispositivo, la IA integrada ofrece los siguientes beneficios:
- Facilidad de implementación: A medida que el navegador distribuye los modelos, tiene en cuenta la capacidad del dispositivo y administra las actualizaciones del modelo. Esto significa que no eres responsable de descargar ni actualizar modelos grandes a través de una red. No tienes que resolver la expulsión de almacenamiento, el presupuesto de memoria del entorno de ejecución, los costos de publicación y otros desafíos.
- Acceso a la aceleración de hardware: El entorno de ejecución de IA del navegador está optimizado para aprovechar al máximo el hardware disponible, ya sea una GPU, una NPU o la CPU. En consecuencia, tu app puede obtener el mejor rendimiento en cada dispositivo.
Beneficios de la ejecución integrada en el dispositivo
Con un enfoque de IA integrado, se vuelve trivial realizar tareas de IA en el dispositivo, lo que, a su vez, ofrece las siguientes ventajas:
- Procesamiento local de datos sensibles: La IA integrada en el dispositivo puede mejorar la sobre privacidad. Por ejemplo, si trabajas con datos sensibles, puedes ofrecer IA a usuarios con encriptación de extremo a extremo.
- Experiencia del usuario rápida: En algunos casos, se deja de lado el recorrido de ida y vuelta al servidor significa que puedes ofrecer resultados casi instantáneos. La IA integrada en el dispositivo puede ser diferencia entre una función viable y una experiencia del usuario deficiente.
- Mayor acceso a la IA: Las métricas los dispositivos pueden admitir algunos de los y la carga de procesamiento a cambio de más acceso a las funciones. Por ejemplo, si ofreces funciones de IA premium, puedes obtener una vista previa de ellas con la IA integrada en el dispositivo para que los clientes potenciales puedan ver los beneficios de su producto, sin un costo adicional para ti. Este enfoque híbrido también puede ayudarte a administrar los costos de inferencia, en especial en los flujos de usuarios de uso frecuente.
- Uso de IA sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay o a Internet. Esto significa que tus sitios y apps web pueden funcionar como se espera, sin conexión o con conectividad variable.
IA híbrida: integrada en el dispositivo y del servidor
Si bien la IA integrada en el dispositivo puede controlar una gran variedad de casos de uso, hay ciertos casos que requieren compatibilidad del servidor.
Por ejemplo, es posible que debas usar modelos más grandes o admitir una gama más amplia de plataformas y dispositivos.
Puedes considerar enfoques híbridos, según lo siguiente:
- Complejidad: Los casos de uso específicos y accesibles son más fáciles de admitir IA integrada en el dispositivo. Para casos de uso complejos, considera la implementación en el servidor.
- Resiliencia: Usa el servidor de forma predeterminada y usa la conexión integrada en el dispositivo cuando este último. no tiene conexión o la conexión es inestable.
- Conmutación por error elegante: La adopción de navegadores con IA integrada llevará tiempo, es posible que algunos modelos no estén disponibles y que los dispositivos más antiguos o menos potentes no cumplan con los requisitos de hardware para ejecutar todos los modelos de manera óptima. Ofrece AI del servidor para esos usuarios.
En el caso de los modelos de Gemini, puedes usar la integración de backend (con Python, Go, Node.js o REST) o implementarlo en tu aplicación web con el nuevo SDK cliente de Google AI para la Web.
Arquitectura del navegador y APIs
Para admitir la IA integrada en Chrome, creamos una infraestructura para acceder a las y expertos para la ejecución en el dispositivo. Esta infraestructura ya está potenciando funciones innovadoras del navegador, como Ayúdame a escribir y pronto potenciará APIs para IA integrada en el dispositivo.
Accederás a las funciones de IA integradas principalmente con APIs de tareas, como un API de translation o un resumen API de gcloud. Las APIs de Task están diseñadas para ejecutar inferencias en el mejor modelo para la tarea.
En Chrome, estas APIs están diseñadas para ejecutar inferencias en Gemini Nano con un ajuste perfecto o un modelo experto. Diseñada para ejecutarse localmente en la mayoría de los dispositivos modernos, Gemini Nano es ideal para casos de uso relacionados con el lenguaje, como resúmenes, reformulación o categorización.
Además, tenemos la intención de proporcionar APIs exploratorias para que puedas experimentar de forma local y compartir casos de uso adicionales.
Por ejemplo, podemos proporcionar lo siguiente:
- API de Prompt: Envía una tarea arbitraria, expresada en lenguaje natural, al modelo de lenguaje extenso integrado (Gemini Nano en Chrome).
- API de ajuste (LoRA): Mejora el rendimiento del LLM integrado en una tarea. ajustando los pesos del modelo con Adaptación de rango bajo ajustes.
Cuándo usar la IA integrada
Estas son algunas de las formas en que esperamos que la IA integrada pueda beneficiarte a ti y a tus usuarios:
- Consumo de contenido mejorado por IA: incluidos resúmenes, traducción, responder preguntas sobre cierto contenido, categorización y caracterización.
- Creación de contenido con tecnología de IA: como asistencia para la escritura, revisión, corrección gramatical y reformulación.
¿Qué sigue?
Únete a nuestro programa de versión preliminar para experimentar con APIs de IA integradas en etapa temprana.
Mientras tanto, puedes aprender a usar Gemini Pro en los servidores de Google con tus sitios web y aplicaciones web en nuestra guía de inicio rápido del SDK de JavaScript de la IA de Google.