Fecha de publicación: 14 de mayo de 2024; Última actualización: 20 de mayo de 2024
Estamos desarrollando APIs de plataformas web y funciones del navegador diseñadas para funcionar con modelos de IA, modelos de expertos y modelos de lenguaje grande (LLM), compilados en el navegador. Esto incluye Gemini Nano, la versión más eficiente de la familia de LLMs Gemini, diseñada para ejecutarse de forma local en la mayoría de las computadoras de escritorio y laptops modernas. Con la IA integrada, tu sitio web o aplicación web puede realizar tareas potenciadas por IA sin necesidad de implementar, administrar ni alojar modelos de IA.
Descubre los beneficios de la IA integrada, nuestro plan de implementación y cómo puedes beneficiarte de esta tecnología.
Beneficios de la IA integrada para desarrolladores web
Con la IA integrada, tu navegador proporciona y administra modelos fundamentales y de expertos.
La IA integrada ofrece los siguientes beneficios:
- Facilidad de implementación: El navegador distribuye los modelos, tiene en cuenta la capacidad del dispositivo y administra las actualizaciones. Esto significa que no eres responsable de descargar o actualizar modelos grandes a través de una red. No tienes que resolver la expulsión de almacenamiento, el presupuesto de memoria del entorno de ejecución, los costos de publicación y otros desafíos.
- Acceso a la aceleración de hardware: El entorno de ejecución de IA del navegador está optimizado para aprovechar al máximo el hardware disponible, ya sea con GPU, NPU o con CPU. Por lo tanto, tu app puede obtener el mejor rendimiento en cada dispositivo.
Beneficios de ejecutar el código del cliente
Con la IA integrada, puedes realizar IA del cliente, lo que significa que obtienes los siguientes beneficios:
- Procesamiento local de datos sensibles: La IA del cliente puede mejorar tu historia de privacidad. Por ejemplo, si trabajas con datos sensibles, puedes ofrecer funciones de IA a los usuarios con encriptación de extremo a extremo.
- Experiencia del usuario ágil: En algunos casos, si no realizas el recorrido de ida y vuelta al servidor, puedes ofrecer resultados casi instantáneos. La IA del cliente puede ser la diferencia entre una función viable y una experiencia del usuario poco óptima.
- Mayor acceso a la IA: Los dispositivos de tus usuarios pueden soportar parte de la carga de procesamiento a cambio de más acceso a las funciones. Por ejemplo, si ofreces funciones premium de IA, puedes obtener una vista previa de estas funciones con la IA del cliente para que los clientes potenciales puedan ver los beneficios de tu producto sin costo adicional. Este enfoque híbrido también puede ayudarte a administrar los costos de inferencia, en especial, en los flujos de usuarios que se usan con frecuencia.
- Uso de IA sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay conexión a Internet. Esto significa que tus sitios y apps web pueden funcionar como se espera, sin conexión o con conectividad variable.
IA híbrida: Del cliente y del servidor
Si bien la IA del cliente puede manejar una gran variedad de casos de uso, algunos requieren asistencia del servidor. La IA del servidor es una excelente opción para modelos grandes y puede admitir una gama más amplia de plataformas y dispositivos.
Puedes considerar un enfoque híbrido si tu aplicación requiere lo siguiente:
- Complejidad: Los casos de uso específicos y accesibles son más fáciles de admitir con la IA integrada en el dispositivo. Para casos de uso complejos, considera la implementación del servidor.
- Resiliencia: Usa el servidor de forma predeterminada y, luego, el dispositivo cuando este esté sin conexión o tenga una conexión inestable.
- Conmutación por error elegante: La adopción de navegadores con IA integrada llevará tiempo, es posible que algunos modelos no estén disponibles y que los dispositivos más antiguos o menos potentes no cumplan con los requisitos de hardware para ejecutar todos los modelos de manera óptima. Ofrece AI del servidor para esos usuarios.
Por ejemplo, si usas la API de Prompt integrada (que pronto estará en una prueba de origen), la API solo funcionará para los navegadores Chrome en computadoras de escritorio y en las extensiones de Chrome, en Windows, macOS y Linux. Para garantizar que todos los usuarios puedan beneficiarse de tu función de IA, configura una arquitectura híbrida con Firebase AI Logic.
Cuando usas modelos de Gemini, puedes compilar la integración del backend con Node.js.
Accede a la IA integrada
Puedes acceder a las funciones de IA integradas principalmente con APIs de tareas, como la API de Translator o la API de Summarizer. Las APIs de tareas están diseñadas para ejecutar inferencias en el mejor modelo para la tarea.
En Chrome, estas APIs se compilan para ejecutar inferencias en Gemini Nano con ajustes finos o un modelo de experto. Gemini Nano, diseñado para ejecutarse de forma local en la mayoría de los dispositivos modernos, es mejor para casos de uso relacionados con el lenguaje, como el resumen, la reformulación o la categorización.
Cuándo usar la IA integrada
Estas son algunas de las formas en que la IA integrada puede beneficiarte a ti y a tus usuarios:
- Consumo de contenido mejorado con IA: Incluye el resumen, la traducción, la categorización, la caracterización y como proveedor de conocimiento.
- Creación de contenido con tecnología de IA: como asistencia para la escritura, revisión de texto, corrección gramatical y reformulación.
Varias de las APIs de IA integradas están disponibles en las pruebas estables y de origen de Chrome. Las APIs exploratorias y de etapa inicial están disponibles para los participantes del Programa de versión preliminar temprana (EPP).
Obtén una vista previa de las funciones nuevas
Necesitamos tu entrada para dar forma a las APIs, asegurarnos de que cumplan con tus casos de uso y fundamentar nuestras conversaciones con otros proveedores de navegadores para la estandarización.
Únete al EPP para proporcionar comentarios sobre ideas de IA integrada en etapa inicial y descubrir oportunidades para probar APIs en curso a través de prototipado local.