Dipublikasikan: 28 April 2025, Terakhir diperbarui: 21 Mei 2025
Evolusi AI yang pesat membuka peluang baru untuk aplikasi web, terutama dengan munculnya kemampuan di perangkat. Temukan cara CyberAgent, perusahaan internet terkemuka di Jepang, menggunakan AI bawaan Chrome dan Prompt API untuk meningkatkan pengalaman blogging di platform mereka, Ameba Blog.
Kami akan membahas tujuan mereka, manfaat bekerja dengan AI bawaan, tantangan yang mereka hadapi, dan insight berharga bagi developer lain yang menggunakan AI bawaan.
Apa yang dimaksud dengan Prompt API?
| Penjelasan | Web | Ekstensi | Status Chrome | Intent |
|---|---|---|---|---|
| GitHub |  Uji coba origin |
 Chrome 138 |
View | Intent to Experiment |
| GitHub | Uji coba origin untuk parameter sampling |
Chrome 148 |
View | Intent to Experiment |
Prompt API membantu developer menggunakan model bahasa besar untuk menambahkan fitur AI langsung ke dalam aplikasi mereka. Dengan menentukan perintah kustom, aplikasi dapat melakukan tugas seperti ekstraksi data, pembuatan konten, dan respons yang dipersonalisasi. Di Chrome, Prompt API melakukan inferensi sisi klien dengan Gemini Nano. Pemrosesan lokal ini, terlepas dari model yang digunakan, meningkatkan privasi data dan kecepatan respons. Model apa pun yang digunakan, kecepatan respons klien.
Bantuan AI untuk penulis Ameba Blog
CyberAgent menyadari masalah umum yang dihadapi penulis: proses pembuatan konten yang menarik, terutama judul, sering kali memakan waktu. Mereka berhipotesis bahwa mengintegrasikan fungsi yang didukung AI di antarmuka pembuatan blog dapat meningkatkan kualitas dan efisiensi pembuatan konten secara signifikan. Tujuan mereka adalah menyediakan alat yang memberikan inspirasi dan membantu blogger membuat konten yang menarik.
CyberAgent mengembangkan Ekstensi Chrome dengan Prompt API. Ekstensi ini menyediakan serangkaian fitur yang didukung AI yang dirancang untuk membantu penulis Ameba Blog membuat judul dan heading, paragraf berikutnya, serta peningkatan salinan umum.
CyberAgent menginginkan fleksibilitas kemampuan, yang mengarah langsung ke Prompt API. Dengan kemungkinan tak terbatas dalam satu API, CyberAgent dapat menentukan dengan tepat apa yang akan berfungsi paling baik dan paling berguna bagi penulis Ameba.
CyberAgent menguji ekstensi dengan sejumlah blogger terpilih, yang menawarkan insight berharga untuk kepraktisan fungsi yang ditawarkan. Masukan tersebut membantu CyberAgent mengidentifikasi aplikasi yang lebih baik untuk bantuan AI dan menyempurnakan desain ekstensi. Berdasarkan hasil dan masukan positif, CyberAgent berencana merilis fitur ini pada masa mendatang, sehingga menghadirkan kemampuan AI sisi klien langsung ke komunitas blogging mereka.
Mari kita lihat lebih dekat fitur-fitur ini.
Menulis judul dan heading yang lebih baik
Ekstensi ini menghasilkan beberapa saran judul, berdasarkan konten blog lengkap. Penulis blog dapat menyempurnakan saran ini lebih lanjut, dengan opsi yang mencakup: "Buat ulang", "Lebih Sopan", "Lebih Santai", atau "Buat Judul Serupa", dan lainnya.
CyberAgent mendesain UI secara khusus agar pengguna tidak perlu menulis perintah apa pun. Dengan cara ini, pengguna yang tidak terbiasa dengan rekayasa perintah juga dapat memanfaatkan kemampuan AI.
Ekstensi ini juga dapat membuat header yang menarik untuk setiap bagian blog, yang dapat diminta penulis dengan memilih teks yang relevan untuk heading.
Kode untuk membuat judul dengan Prompt API mencakup perintah awal dan perintah pengguna. Perintah awal memberikan konteks dan petunjuk untuk mendapatkan jenis output tertentu, sedangkan perintah pengguna meminta model untuk berinteraksi dengan apa yang ditulis pengguna. Baca selengkapnya tentang kode mereka di Men-deploy bantuan AI.
Membuat paragraf berikutnya
Ekstensi ini membantu blogger mengatasi hambatan menulis dengan membuat paragraf berikutnya berdasarkan teks yang dipilih. Dengan konteks dari paragraf sebelumnya, AI membuat draf kelanjutan paragraf, sehingga penulis dapat mempertahankan alur kreatif mereka.
Meningkatkan dan mengedit teks
Gemini Nano menganalisis teks yang dipilih dan dapat menyarankan peningkatan. Pengguna dapat membuat ulang peningkatan dengan catatan tambahan tentang pilihan nada dan bahasa untuk membuat salinan "lebih menarik" atau "lebih sederhana".
Men-deploy bantuan AI
CyberAgent membagi kode ekstensi mereka menjadi tiga langkah: pembuatan sesi, pemicu, dan perintah model.
Pertama, mereka memeriksa dengan browser bahwa AI bawaan tersedia dan didukung. Jika ya, mereka akan membuat sesi dengan parameter default.
if (!LanguageModel) {
// Detect the feature and display "Not Supported" message as needed
return;
}
// Define default values for topK and temperature within the application
const DEFAULT_TOP_K = 3;
const DEFAULT_TEMPERATURE = 1;
let session = null;
async function createAISession({ initialPrompts, topK, temperature } = {}) {
const { available, defaultTopK, maxTopK, defaultTemperature } =
await LanguageModel.availability();
// "readily", "after-download", or "no"
if (available === "no") {
return Promise.reject(new Error('AI not available'));
}
const params = {
monitor(monitor) {
monitor.addEventListener('downloadprogress', event => {
console.log(`Downloaded: ${event.loaded} of ${event.total} bytes.`);
});
},
initialPrompts: initialPrompts || '',
topK: topK || defaultTopK,
temperature: temperature || defaultTemperature,
};
session = await LanguageModel.create(params);
return session;
}
Setiap fitur memiliki fungsi helper yang dipicu oleh pengguna. Setelah dipicu, saat pengguna mengklik tombol yang relevan, mereka akan memperbarui sesi.
async function updateSession({ initialPrompts, topK, temperature } = {
topK: DEFAULT_TOP_K,
temperature: DEFAULT_TEMPERATURE,
}) {
if (session) {
session.destroy();
session = null;
}
session = await createAISession({
initialPrompts,
topK,
temperature,
});
}
Setelah sesi diperbarui, mereka akan meminta model sesuai dengan fungsi. Misalnya, berikut kode untuk membuat judul dan membuat ulang judul dengan nada yang lebih formal.
async function generateTitle() {
// Initialize the model session
await updateSession({
initialPrompts: [
{ role: 'system',
content: `Create 3 titles suitable for the blog post's content,
within 128 characters, and respond in JSON array format.`,
}
]
});
const prompt = `Create a title for the following
blog post.${textareaEl.textContent}`;
const result = await session.prompt(prompt);
try {
const fixedJson = fixJSON(result);
// display result
displayResult(fixedJSON);
} catch (error) {
// display error
displayError();
}
}
async function generateMoreFormalTitle() {
// Do not execute updateSession to reuse the session during regeneration
const prompt = 'Create a more formal title.';
const result = await session.prompt(prompt);
...
}
Manfaat AI bawaan
AI bawaan adalah jenis AI sisi klien, yang berarti inferensi terjadi di perangkat pengguna. CyberAgent memilih menggunakan API AI bawaan dengan Gemini Nano karena keunggulan menarik yang ditawarkannya kepada developer aplikasi dan pengguna.
Manfaat utama yang difokuskan CyberAgent meliputi:
- Keamanan dan privasi
- Biaya
- Responsivitas dan keandalan
- Kemudahan pengembangan
Keamanan dan privasi
Kemampuan untuk menjalankan model AI langsung di perangkat pengguna tanpa mengirimkan data ke server eksternal sangat penting. Draf blog tidak dimaksudkan untuk dilihat oleh publik, sehingga CyberAgent tidak ingin mengirimkan draf ini ke server pihak ketiga.
AI bawaan mendownload Gemini Nano ke perangkat pengguna, sehingga tidak perlu mengirim dan menerima data dari server. Hal ini sangat berguna saat menulis, karena draf dapat menyertakan informasi rahasia atau ekspresi yang tidak diinginkan. AI bawaan menyimpan konten asli dan konten yang dibuat secara lokal, bukan mengirimkannya ke server, yang dapat meningkatkan keamanan dan melindungi privasi konten.
Penghematan biaya
Salah satu keunggulan utama menggunakan AI bawaan adalah browser menyertakan Gemini Nano dan API dapat digunakan secara gratis. Tidak ada biaya tambahan atau tersembunyi.
AI bawaan mengurangi biaya server secara signifikan dan dapat sepenuhnya menghapus biaya yang terkait dengan inferensi AI. Solusi ini dapat diskalakan dengan cepat ke basis pengguna yang besar, dan memungkinkan pengguna mengirimkan perintah berurutan untuk menyempurnakan output tanpa dikenai biaya tambahan.
Responsivitas dan keandalan
AI bawaan memberikan waktu respons yang konsisten dan cepat, terlepas dari kondisi jaringan. Hal ini memungkinkan pengguna membuat konten berulang kali, sehingga pengguna dapat mencoba ide baru dan membuat hasil akhir yang memuaskan dengan cepat.
Kemudahan pengembangan
AI bawaan Chrome menyederhanakan proses pengembangan dengan menyediakan API yang siap digunakan. Developer mendapatkan manfaat dari kemudahan membuat fitur yang didukung AI untuk aplikasi mereka.
Gemini Nano dan API AI bawaan diinstal di Chrome, sehingga tidak perlu penyiapan atau pengelolaan model tambahan. API menggunakan JavaScript, seperti API browser lainnya, dan tidak memerlukan keahlian dalam machine learning.
Mengatasi tantangan untuk mendapatkan hasil yang lebih baik
Perjalanan CyberAgent dengan Prompt API memberikan pelajaran berharga tentang nuansa bekerja dengan LLM sisi klien.
- Respons yang tidak konsisten: Seperti LLM lainnya, Gemini Nano tidak menjamin output yang identik untuk perintah yang sama. CyberAgent menemukan respons dalam format yang tidak terduga (seperti Markdown dan JSON yang tidak valid). Meskipun dengan petunjuk, hasilnya mungkin sangat bervariasi. Saat menerapkan aplikasi atau Ekstensi Chrome dengan AI bawaan, sebaiknya tambahkan solusi sementara untuk memastikan output selalu dalam format yang benar.
- Batas token: Mengelola penggunaan token sangat penting. CyberAgent menggunakan properti dan metode seperti
contextUsage,contextWindow, danmeasureContextUsage()untuk mengelola sesi, mempertahankan konteks, dan mengurangi penggunaan token. Hal ini sangat penting saat menyempurnakan judul. - Batasan ukuran model: Karena model didownload dan berada di perangkat pengguna, model ini jauh lebih kecil daripada model berbasis server. Artinya, penting untuk memberikan konteks yang memadai dalam perintah untuk mencapai hasil yang memuaskan, terutama untuk peringkasan. Pelajari lebih lanjut cara memahami ukuran LLM.
CyberAgent menekankan bahwa meskipun model sisi klien belum tersedia secara universal di semua browser dan perangkat, dan model yang lebih kecil memiliki batasan, model ini masih dapat memberikan performa yang mengesankan untuk tugas tertentu. Kemampuan untuk melakukan iterasi dengan cepat dan bereksperimen tanpa biaya sisi server menjadikannya alat yang berharga.
Mereka menyarankan untuk menemukan keseimbangan, dengan menyadari bahwa respons yang sempurna sulit dicapai dengan AI apa pun, baik sisi server maupun sisi klien. Terakhir, mereka melihat masa depan di mana pendekatan hibrida, yang menggabungkan kekuatan AI sisi server dan sisi klien, akan membuka potensi yang lebih besar.
Rencana ke depan
Eksplorasi CyberAgent tentang AI bawaan menunjukkan kemungkinan menarik dari integrasi AI yang lancar untuk meningkatkan pengalaman pengguna. Ekstensi mereka yang dibuat untuk bekerja dengan Ameba Blog menunjukkan bagaimana teknologi ini dapat diterapkan secara praktis untuk memecahkan masalah dunia nyata, sehingga menawarkan pelajaran berharga bagi komunitas pengembangan web yang lebih luas.
Seiring dengan kematangan teknologi dan dukungan untuk browser dan perangkat yang diperluas, kami berharap dapat melihat aplikasi AI bawaan dan bentuk AI sisi klien lainnya yang lebih inovatif.
Resource
- Pelajari lebih lanjut Prompt API
- Mulai menggunakan API Bawaan di Chrome
- Studi kasus CyberAgent tentang AI Web, yang membahas topik yang sama.
- Tonton Masa depan AI ada di sini, studi kasus CyberAgent tentang AI sisi klien
Ucapan terima kasih
Terima kasih kepada blogger Ameba, ao, Nodoka, Erin, Chiaki, dan socchi, yang memberikan masukan dan membantu meningkatkan kualitas ekstensi. Terima kasih kepada Thomas Steiner, Alexandra Klepper, dan Sebastian Benz atas bantuan mereka dalam menulis dan meninjau postingan blog ini.