Dipublikasikan: 14 Oktober 2025
Bekerja sama dengan sekelompok startup di New York City, kami mengadakan workshop teknis "AI in Action". Tujuannya sederhana: menunjukkan cara mengintegrasikan AI sisi klien dan API AI bawaan secara langsung ke dalam produk mereka untuk mendapatkan kecepatan, privasi, dan pengalaman pengguna yang lebih baik.
Secara keseluruhan, kami menyelenggarakan 24 developer dari 8 startup inovatif. Sesi pagi menampilkan diskusi dari pakar produk dan engineering, yang membahas potensi besar open source, model di perangkat, dan pentingnya strategi untuk menghadirkan AI langsung ke platform web. Kemudian, spesialis teknis memberikan panduan praktis untuk mulai menggunakan API AI bawaan.
Peserta menganggap acara ini sangat berharga, karena mereka menemukan bahwa API ini mudah digunakan, terlepas dari pengetahuan machine learning yang mereka miliki. Mereka juga menemukan kasus penggunaan baru untuk aplikasi mereka melalui eksperimen. Kami sangat senang memvalidasi dokumentasi kami. Salah satu grup bahkan membantu kami mengidentifikasi dan mereproduksi bug yang kompleks, sehingga kami dapat mengirimkan perbaikan.
Peserta kami berhasil mengembangkan 10 prototipe menggunakan AI sisi klien. Lihat beberapa proyek mereka dan pelajari pengalaman mereka di acara tersebut.
Deteksi peristiwa adaptor menggunakan Prompt API
Tujuan Adapter adalah membangun "Pusat Kontrol untuk kehidupan sehari-hari kita yang memungkinkan waktu luang maksimal, bukan waktu layar". Mereka membuat ekstensi bukti konsep dengan dua kemampuan:
- Deteksi acara yang cerdas dan selaras yang mengidentifikasi acara dalam halaman web saat menjelajah (konser, restoran, acara), lalu menyesuaikannya dengan konteks pribadi termasuk ketersediaan kalender pribadi, preferensi hidup, dan sinyal sosial real-time, yang semuanya diproses secara lokal.
- Peringkatan ulang konten real-time yang mempersonalisasi urutan konten di halaman web sesuai minat pribadi Anda sesuai permintaan.
Adapter menggunakan Prompt API untuk mengurai, melakukan penalaran, dan memanggil alat, serta Writer API untuk pembuatan teks lokal.
"Kami melakukan alur kerja multilangkah dan penalaran yang kompleks di perangkat edge dengan kompromi privasi yang terbatas. Hal ini memungkinkan aplikasi kecerdasan pribadi yang tidak praktis saat setiap inferensi berarti mengirim data di seluruh jaringan sekaligus memperdalam komputasi jarak jauh." – Dillon Ponzo, engineer pendiri Adapter
API AI bawaan Chrome memungkinkan model ringan yang memproses data secara lokal, sehingga menjaga privasi secara default. Engineer pendiri Adapter, Aidan Crank dan Dillon Ponzo, melihat hal ini sebagai validasi filosofi arsitektur mereka.
"Sebagian besar ekstensi AI menangkap konteks dan mengirimkannya ke tempat lain," jelas Crank, yang sebelumnya bekerja di bidang teknik ML skala besar di AWS sebelum bergabung dengan Adapter. "AI bawaan Chrome membalikkan model tersebut. Data pribadi Anda tetap berada di perangkat Anda, tetapi Anda mendapatkan pengalaman cerdas yang sebelumnya tidak mungkin didapatkan."
Salah satu pendiri Adapter, Adam Ghetti, yang perusahaan sebelumnya, Ionic Security, memelopori keamanan mandiri yang berfokus pada data dalam skala besar, melihat implikasi yang lebih dalam: "Privasi bukanlah fitur yang Anda tambahkan; privasi adalah arsitektur yang Anda pilih. AI bawaan Chrome membuat arsitektur tersebut praktis."
Seiring Chrome memperluas kemampuan ini dengan dukungan multimodal dan API yang lebih kaya, edge tidak hanya mengejar ketertinggalan dari cloud. Untuk AI pribadi dan privat, tujuannya adalah melampaui AI tersebut jika memang diperlukan.
Sublayer mengategorikan gambar dengan Prompt API untuk meningkatkan kualitas variasi
Sublayer membuat aplikasi menarik bernama Photoslider, yang dirancang untuk merevolusi cara Anda berinteraksi dengan dan membuat variasi gambar Anda.
Untuk menggunakan PhotoSlider, pengguna mengupload foto, atau mengambil foto baru, lalu mengklik Analisis. Prompt API mengirimkan gambar ini ke model untuk dianalisis, meminta model mengidentifikasi 3 atribut utama dan memberikan nilai 1 hingga 10 untuk atribut tersebut. Misalnya, atributnya dapat berupa "tradisional" atau "luminositas".
Di frontend, pengguna akan melihat gambar dan penggeser untuk menyesuaikan nilai atau memperkenalkan atribut baru dengan nilai kustom. Permintaan perubahan dan gambar dikirim ke AI sisi server, sehingga model yang lebih besar dengan kemampuan output multimodal dapat menghasilkan gambar baru berdasarkan spesifikasi yang diubah. Proses iteratif ini dapat diulang tanpa henti, sehingga Anda memiliki kontrol penuh hingga mendapatkan gambar yang ideal.
Scott Werner, CEO Sublayer, mengungkapkan antusiasmenya: "Kami sangat tertarik untuk mempelajari seperti apa inferensi lokal. Menyediakannya secara langsung di browser di komputer pengguna secara default jauh lebih mudah daripada mengandalkan pengguna untuk menavigasi kompleksitas penginstalan model secara langsung."
Echo3D memproses model 3D menjadi data yang dapat ditelusuri dengan mudah
Echo3D menyediakan platform dan API bagi perusahaan untuk menyimpan, mengamankan, dan membagikan model dan hasil pemindaian 3D dengan lancar di berbagai tim dan organisasi. Pipeline 3D dan teks canggih mereka secara efisien memproses model 3D menjadi data yang kaya dan dapat dicari.
Di acara tersebut, echo3D mengembangkan alat 3D-ke-teks-ke-3D yang meningkatkan pemahaman visual aset. Mereka menggunakan Prompt API untuk mengotomatiskan pemberian tag pada model, mendeteksi duplikasi, serta menyederhanakan pengatalogan dan dokumentasi library 3D yang ekstensif.
{
"description": "A 3D model of a large, tan-colored sandcastle with one main
tower, four small towers, and staircases wrapping around. The towers
have multiple windows. There is a main gate.",
"tags": ["sand","castle","gate","tan","tower","staircase"]
}
Hal ini memberikan deskripsi yang kaya, konsisten, dan dapat ditelusuri untuk setiap aset, sehingga membuat seluruh koleksi pengguna lebih teratur dan mudah diakses. Selain itu, fitur ini menghemat ruang penyimpanan dan mencegah konflik pembuatan versi yang disebabkan oleh file yang berlebihan.
"Tim kami sangat menghargai acara ini. Kami sangat terkesan dengan kemudahan fitur AI diintegrasikan ke dalam aplikasi web menggunakan AI bawaan. Kemampuan untuk membuat prototipe dan men-deploy fitur AI sisi klien yang aman dalam jangka waktu yang singkat merupakan keuntungan yang signifikan." – Alon Grinshpoon, CEO di echo3D
Spot2 membuat metadata terstruktur dari gambar yang diupload
Aplikasi Spot2 mencantumkan properti real estate yang disewakan di Mexico City. Sering kali saat properti ini dicantumkan, metadata penting dan informasi berharga lainnya tidak ada dalam listingan. Detailnya sangat bervariasi, bergantung pada perhatian pemasok terhadap detail. Spot2 menghabiskan hari dengan meningkatkan kualitas data menggunakan Prompt API.
Tim mereka mengembangkan fitur untuk memproses dan mengatur secara otomatis struktur metadata listingan. Proses ini terjadi saat foto diupload, yang membantu kelengkapan dan konsistensi. Dengan melakukan tugas ini di sisi klien, bukan di sisi server, fitur ini menjadi hemat biaya.
Jika diluncurkan, fitur ini menjanjikan dampak ganda: peningkatan kualitas data yang signifikan dan pengurangan biaya operasional yang nyata. "Kami mengantisipasi bahwa listingan berkualitas tinggi juga akan menghasilkan peningkatan rasio konversi."
Bergabunglah dengan kami di lain waktu
- Daftar ke Workshop AI in Action berikutnya pada 7 November 2025 di San Francisco.
- Bergabunglah dengan Built-in AI Challenge 2025. Kami mengadakan hackathon virtual untuk semua developer. Buat aplikasi web atau Ekstensi Chrome menggunakan API AI bawaan, untuk berpeluang memenangkan salah satu hadiah senilai $70.000.