Dipublikasikan: 14 Mei 2024, Terakhir diperbarui: 20 Mei 2024
Kami mengembangkan API platform web dan fitur browser yang dirancang untuk berfungsi dengan model AI, model pakar, dan model bahasa besar (LLM), yang dibuat di browser. Ini mencakup Gemini Nano, versi paling efisien dari keluarga LLM Gemini, yang dirancang untuk berjalan secara lokal di sebagian besar komputer desktop dan laptop modern. Dengan AI bawaan, situs atau aplikasi web Anda dapat melakukan tugas yang didukung AI, tanpa perlu men-deploy, mengelola, atau menghosting sendiri model AI.
Temukan manfaat AI bawaan, rencana penerapan kami, dan cara Anda dapat memanfaatkan teknologi ini.
Manfaat AI bawaan untuk developer web
Dengan AI bawaan, browser Anda menyediakan dan mengelola fondasi dan model pakar.
AI bawaan menawarkan manfaat berikut:
- Kemudahan deployment: Browser mendistribusikan model, memperhitungkan kemampuan perangkat, dan mengelola update. Artinya, Anda tidak bertanggung jawab untuk mendownload atau mengupdate model besar melalui jaringan. Anda tidak perlu mengatasi masalah penghapusan penyimpanan, anggaran memori runtime, biaya penayangan, dan tantangan lainnya.
- Akses ke akselerasi hardware: Runtime AI browser dioptimalkan untuk memaksimalkan hardware yang tersedia, baik dengan GPU, NPU, atau kembali ke CPU. Akibatnya, aplikasi Anda dapat mendapatkan performa terbaik di setiap perangkat.
Manfaat menjalankan sisi klien
Dengan AI bawaan, Anda dapat melakukan AI sisi klien, yang berarti Anda mendapatkan manfaat berikut:
- Pemrosesan lokal data sensitif: AI sisi klien dapat meningkatkan kualitas privasi Anda. Misalnya, jika Anda menangani data sensitif, Anda dapat menawarkan fitur AI kepada pengguna dengan enkripsi menyeluruh.
- Pengalaman pengguna yang cepat: Dalam beberapa kasus, dengan menghilangkan perjalanan bolak-balik ke server, Anda dapat menawarkan hasil yang hampir instan. AI sisi klien dapat menjadi perbedaan antara fitur yang layak dan pengalaman pengguna yang kurang optimal.
- Akses yang lebih besar ke AI: Perangkat pengguna Anda dapat memikul sebagian beban pemrosesan sebagai imbalan atas lebih banyak akses ke fitur. Misalnya, jika menawarkan fitur AI premium, Anda dapat melihat pratinjau fitur ini dengan AI sisi klien sehingga calon pelanggan dapat melihat manfaat produk Anda, tanpa biaya tambahan. Pendekatan campuran ini juga dapat membantu Anda mengelola biaya inferensi, terutama pada alur penggunaan yang sering digunakan.
- Penggunaan AI offline: Pengguna dapat mengakses fitur AI meskipun tidak ada koneksi internet. Artinya, situs dan aplikasi web Anda dapat berfungsi seperti yang diharapkan secara offline atau dengan konektivitas variabel.
AI Hybrid: Sisi klien dan sisi server
Meskipun AI sisi klien dapat menangani berbagai kasus penggunaan, beberapa kasus penggunaan memerlukan dukungan sisi server. AI sisi server adalah opsi yang bagus untuk model besar, dan dapat mendukung berbagai platform dan perangkat.
Anda dapat mempertimbangkan pendekatan campuran jika aplikasi Anda memerlukan:
- Kompleksitas: Kasus penggunaan tertentu yang mudah diakses lebih mudah didukung dengan AI di perangkat. Untuk kasus penggunaan yang kompleks, pertimbangkan penerapan sisi server.
- Ketahanan: Gunakan sisi server secara default, dan gunakan di perangkat saat perangkat offline atau koneksinya tidak stabil.
- Penggantian yang halus: Penerapan browser dengan AI bawaan akan memerlukan waktu, beberapa model mungkin tidak tersedia, dan perangkat lama atau yang kurang canggih mungkin tidak memenuhi persyaratan hardware untuk menjalankan semua model secara optimal. Tawarkan AI sisi server untuk pengguna tersebut.
Misalnya, jika Anda menggunakan Prompt API bawaan (segera akan tersedia dalam uji coba origin), API ini hanya akan berfungsi untuk browser Chrome di desktop dan di Ekstensi Chrome, di Windows, macOS, dan Linux. Untuk memastikan semua pengguna dapat mendapatkan manfaat dari fitur AI Anda, siapkan arsitektur campuran dengan Firebase AI Logic.
Saat menggunakan model Gemini, Anda dapat mem-build integrasi backend dengan Node.js.
Mengakses AI bawaan
Anda dapat mengakses kemampuan AI bawaan terutama dengan API tugas, seperti Translator API atau Summarizer API. Task API dirancang untuk menjalankan inferensi terhadap model terbaik untuk tugas.
Di Chrome, API ini dibuat untuk menjalankan inferensi terhadap Gemini Nano dengan penyesuaian atau model pakar. Dirancang untuk berjalan secara lokal di sebagian besar perangkat modern, Gemini Nano paling cocok untuk kasus penggunaan terkait bahasa, seperti peringkasan, penyusunan ulang, atau kategorisasi.
Kapan harus menggunakan AI bawaan
Berikut beberapa manfaat AI bawaan bagi Anda dan pengguna:
- Konsumsi konten yang ditingkatkan dengan AI: Termasuk ringkasan, terjemahan, kategorisasi, karakterisasi, dan sebagai penyedia pengetahuan.
- Pembuatan konten yang didukung AI: Seperti bantuan penulisan, pemeriksaan tata bahasa, koreksi tata bahasa, dan penyusunan ulang kalimat.
Beberapa API AI bawaan tersedia di Chrome stabil dan uji coba origin. API eksplorasi dan API tahap awal tersedia untuk peserta Program Pratinjau Awal (EPP).
Melihat pratinjau fitur baru
Kami memerlukan input Anda untuk membentuk API, memastikan API tersebut memenuhi kasus penggunaan Anda, dan memberi informasi tentang diskusi kami dengan vendor browser lain untuk standardisasi.
Bergabunglah dengan EPP untuk memberikan masukan tentang ide AI bawaan tahap awal, dan temukan peluang untuk menguji API yang sedang berlangsung melalui pembuatan prototipe lokal.