Saat kami membangun fitur dengan model AI di web, kami sering kali mengandalkan solusi sisi server untuk model yang lebih besar. Hal ini terutama berlaku untuk AI generatif, ketika model terkecil pun berukuran sekitar ribuan kali lebih besar dari ukuran halaman web median. Hal ini juga berlaku untuk kasus penggunaan AI lainnya, dengan model yang dapat berkisar dari 10 hingga 100 megabyte.
Karena model ini tidak dibagikan di seluruh situs, setiap situs harus mendownloadnya saat pemuatan halaman. Ini adalah solusi yang tidak praktis bagi pengembang dan pengguna
Meskipun AI sisi server adalah pilihan yang bagus untuk model besar, pendekatan di perangkat dan hybrid memiliki kelebihan yang menarik. Untuk membuat pendekatan ini layak, kita perlu memperhatikan ukuran dan pengiriman model.
Itulah sebabnya kami mengembangkan API platform web dan fitur browser yang dirancang untuk mengintegrasikan model AI, termasuk model bahasa besar (LLM), langsung ke dalam browser. Ini mencakup Gemini Nano, versi paling efisien dari kelompok LLM Gemini, yang dirancang untuk berjalan secara lokal di sebagian besar komputer desktop dan laptop modern. Dengan AI bawaan, situs atau aplikasi web Anda dapat melakukan tugas yang didukung AI tanpa perlu men-deploy atau mengelola model AI-nya sendiri.
Temukan manfaat AI bawaan, rencana implementasi kami, dan cara Anda dapat memanfaatkan teknologi ini.
Dapatkan pratinjau awal
Kami memerlukan input Anda untuk membentuk API, memastikan API tersebut memenuhi kasus penggunaan Anda, dan mendasari diskusi kami dengan vendor browser lain untuk standardisasi.
Bergabunglah dengan program pratinjau awal kami untuk memberikan masukan tentang ide AI bawaan tahap awal, dan menemukan peluang untuk menguji API yang sedang berlangsung melalui pembuatan prototipe lokal.
Bergabunglah dengan grup pengumuman publik developer Chrome AI untuk menerima notifikasi saat API baru tersedia.
Manfaat AI bawaan untuk developer web
Dengan AI bawaan, browser Anda menyediakan dan mengelola fondasi dan model pakar.
Dibandingkan dengan melakukannya sendiri di perangkat, AI bawaan menawarkan manfaat berikut:
- Kemudahan deployment: Saat browser mendistribusikan model, browser akan mempertimbangkan kemampuan perangkat dan mengelola update pada model. Artinya, Anda tidak bertanggung jawab untuk mendownload atau mengupdate model besar melalui jaringan. Anda tidak perlu mengatasi penghapusan penyimpanan, anggaran memori runtime, biaya penayangan, dan tantangan lainnya.
- Akses ke akselerasi hardware: Runtime AI browser dioptimalkan untuk memaksimalkan penggunaan hardware yang tersedia, baik itu GPU, NPU, atau kembali ke CPU. Hasilnya, aplikasi Anda bisa mendapatkan performa terbaik di setiap perangkat.
Manfaat berlari di perangkat
Dengan pendekatan AI bawaan, melakukan tugas AI di perangkat menjadi mudah yang kemudian memberikan keuntungan berikut:
- Pemrosesan data sensitif secara lokal: AI di perangkat dapat meningkatkan kisah privasi Anda. Misalnya, jika bekerja dengan data sensitif, Anda dapat menawarkan fitur AI kepada pengguna dengan enkripsi end-to-end.
- Pengalaman pengguna yang cepat: Dalam beberapa kasus, meninggalkan perjalanan pulang pergi ke server berarti Anda dapat menawarkan hasil yang nyaris instan. AI di perangkat dapat menjadi perbedaan antara fitur yang memadai dan pengalaman pengguna yang kurang optimal.
- Akses yang lebih besar ke AI: Perangkat pengguna Anda dapat memikul sebagian beban pemrosesan untuk mendapatkan lebih banyak akses ke fitur. Misalnya, jika menawarkan fitur AI premium, Anda dapat melihat pratinjau fitur ini dengan AI di perangkat sehingga calon pelanggan dapat melihat manfaat produk Anda, tanpa biaya tambahan. Pendekatan hybrid ini juga dapat membantu Anda mengelola biaya inferensi, terutama pada alur penggunaan yang sering digunakan.
- Penggunaan AI offline: Pengguna Anda dapat mengakses fitur AI meskipun tidak ada koneksi internet. Artinya, situs dan aplikasi web Anda dapat berfungsi seperti yang diharapkan secara offline atau dengan konektivitas bervariasi.
Hybrid AI: Di perangkat dan sisi server
Meskipun AI di perangkat dapat menangani berbagai kasus penggunaan, ada kasus penggunaan tertentu yang memerlukan dukungan sisi server.
Misalnya, Anda mungkin perlu menggunakan model yang lebih besar atau mendukung berbagai platform dan perangkat.
Anda dapat mempertimbangkan pendekatan hybrid, yang bergantung pada:
- Kompleksitas: Kasus penggunaan yang spesifik dan mudah dipahami lebih mudah didukung dengan AI di perangkat. Untuk kasus penggunaan yang kompleks, pertimbangkan implementasi sisi server.
- Ketahanan: Gunakan sisi server secara default, dan gunakan di perangkat saat perangkat offline atau dalam koneksi yang tidak stabil.
- Penggantian tuntas: Adopsi browser dengan AI bawaan akan memakan waktu, beberapa model mungkin tidak tersedia, dan perangkat lama atau yang kurang canggih mungkin tidak memenuhi persyaratan hardware untuk menjalankan semua model secara optimal. Tawarkan AI sisi server untuk pengguna tersebut.
Untuk model Gemini, Anda dapat menggunakan integrasi backend (dengan Python, Go, Node.js, atau REST) atau menerapkannya di aplikasi web dengan SDK klien Google AI untuk Web yang baru.
Arsitektur browser dan API
Untuk mendukung AI bawaan di Chrome, kami membuat infrastruktur untuk mengakses model dasar dan pakar untuk eksekusi di perangkat. Infrastruktur ini sudah mendukung fitur browser yang inovatif, seperti Bantu menulis, dan akan segera mendukung API untuk AI di perangkat.
Anda akan mengakses kemampuan AI bawaan, terutama dengan API tugas, seperti API terjemahan atau API ringkasan. Task API dirancang untuk menjalankan inferensi terhadap model terbaik untuk penetapan.
Di Chrome, API ini di-build untuk menjalankan inferensi terhadap Gemini Nano dengan penyempurnaan atau model pakar. Dirancang untuk berjalan secara lokal di sebagian besar perangkat modern, Gemini Nano paling cocok untuk kasus penggunaan terkait bahasa, seperti perangkuman, susun ulang, atau kategorisasi.
Selain itu, kami bermaksud untuk menyediakan API eksplorasi, sehingga Anda dapat bereksperimen secara lokal dan membagikan kasus penggunaan tambahan.
Misalnya, kami dapat menyediakan:
- Prompt API: Mengirim tugas arbitrer, yang dinyatakan dalam bahasa alami, ke Model Bahasa Besar bawaan (Gemini Nano di Chrome).
- Fine-tuning (LoRA) API: Meningkatkan performa LLM bawaan pada suatu tugas dengan menyesuaikan bobot model dengan fine tuning Low-Rank Adaptation.
Kapan harus menggunakan AI bawaan
Berikut beberapa manfaat AI bawaan yang kami harapkan bagi Anda dan pengguna Anda:
- Konsumsi konten yang ditingkatkan AI: Termasuk perangkuman, terjemahan, menjawab pertanyaan tentang beberapa konten, kategorisasi, dan karakterisasi.
- Pembuatan konten yang didukung AI: Seperti bantuan penulisan, pemeriksaan tata bahasa, koreksi tata bahasa, dan penyusunan ulang frasa.
Langkah selanjutnya
Bergabunglah dengan program pratinjau awal kami untuk bereksperimen dengan API AI bawaan tahap awal.
Sementara itu, Anda dapat mempelajari cara menggunakan Gemini Pro di server Google dengan situs dan aplikasi web Anda di panduan memulai untuk JavaScript SDK Google AI.