Web'de AI modelleriyle özellikler geliştirirken daha büyük modeller için genellikle sunucu tarafı çözümlerden yararlanırız. Bu, özellikle en küçük modellerin bile ortanca web sayfası boyutundan yaklaşık bin kat daha büyük olduğu üretken yapay zeka için geçerlidir. Modellerin 10 saniye ile 100 megabayt arasında değişebildiği diğer AI kullanım alanları için de geçerlidir.
Bu modeller web siteleri arasında paylaşılmadığından her bir sitenin sayfa yüklendiğinde bunları indirmesi gerekir. Bu, geliştiriciler ve kullanıcılar için pratik olmayan, ancak
Sunucu tarafı AI büyük modeller için mükemmel bir seçenek olsa da cihaz üzerinde ve hibrit yaklaşımların kendine özgü ilgi çekici avantajları vardır. Bu yaklaşımları uygulanabilir kılmak için model boyutunu ve model teslimatını ele almamız gerekir.
Bu nedenle, büyük dil modelleri (LLM) de dahil olmak üzere AI modellerini doğrudan tarayıcıya entegre etmek için tasarlanmış web platformu API'leri ve tarayıcı özellikleri geliştiriyoruz. Buna, çoğu modern masaüstü ve dizüstü bilgisayarda yerel olarak çalışmak üzere Gemini LLM ailesinin en verimli sürümü olan Gemini Nano da dahildir. Yerleşik AI sayesinde web siteniz veya web uygulamanız, kendi AI modellerini dağıtmaya veya yönetmeye gerek kalmadan yapay zeka destekli görevleri gerçekleştirebilir.
Yerleşik yapay zekanın avantajlarını, uygulama planımızı ve bu teknolojiden nasıl yararlanabileceğinizi keşfedin.
Erken önizleme yapın
API'leri şekillendirmek, kullanım alanlarınızı karşıladığından emin olmak ve standartlaştırma amacıyla diğer tarayıcı tedarikçileriyle yaptığımız görüşmelerde yol göstermek için bilgilerinize ihtiyacımız var.
Erken aşamadaki yerleşik AI fikirleriyle ilgili geri bildirim sağlamak ve devam eden API'leri yerel prototip oluşturma yoluyla test etme fırsatlarını keşfetmek için erken önizleme programımıza katılın.
Yeni API'ler kullanıma sunulduğunda bildirim almak için Chrome AI geliştiricisi herkese açık duyurular grubuna katılın.
Web geliştiricileri için yerleşik AI avantajları
Yerleşik AI ile tarayıcınız temel ve uzman modelleri sağlayıp yönetir.
Yerleşik AI, cihaz üzerinde kendi başınıza yapabileceğiniz gibi aşağıdaki avantajları sunar:
- Dağıtım kolaylığı: Tarayıcı, modelleri dağıtırken cihazın özelliklerini dikkate alır ve model güncellemelerini yönetir. Bu, bir ağ üzerinden büyük modelleri indirmekten veya güncellemekten sorumlu olmadığınız anlamına gelir. Depolama alanından çıkarma, çalışma zamanı bellek bütçesi, hizmet maliyetleri ve diğer zorlukları çözmeniz gerekmez.
- Donanım hızlandırmaya erişim: Tarayıcının AI çalışma zamanı; GPU, NPU veya CPU'nun geri kalanı gibi mevcut donanımdan en iyi şekilde yararlanacak şekilde optimize edilmiştir. Bunun sonucunda uygulamanız her cihazda en iyi performansı sağlayabilir.
Cihazda çalıştırmanın avantajları
Yerleşik AI yaklaşımıyla, AI görevlerini cihaz üzerinde gerçekleştirmek önemsiz hale gelir ve bu da aşağıdaki avantajları sağlar:
- Hassas verilerin yerel olarak işlenmesi: Cihaz üzerinde yapay zeka, gizlilik hikayenizi iyileştirebilir. Örneğin, hassas verilerle çalışıyorsanız kullanıcılara uçtan uca şifrelemeyle AI özellikleri sunabilirsiniz.
- Hızlı kullanıcı deneyimi: Bazı durumlarda, gidiş dönüşün sunucuya bırakılması, neredeyse anında sonuçlar sunabileceğiniz anlamına gelir. Cihaz üzerinde yapay zeka, uygulanabilir bir özellik ile optimum olmayan kullanıcı deneyimi arasındaki fark olabilir.
- AI'a daha fazla erişim: Kullanıcılarınızın cihazları, özelliklere daha fazla erişim elde etmek için işleme yükünün bir kısmını üstlenebilir. Örneğin, premium AI özellikleri sunuyorsanız bu özellikleri cihaz üzerinde yapay zeka ile önizleyebilirsiniz. Böylece potansiyel müşteriler, ek ücret ödemeden ürününüzün avantajlarını görebilir. Bu karma yaklaşım, özellikle sık kullanılan kullanıcı akışlarında çıkarım maliyetlerini yönetmenize de yardımcı olabilir.
- Çevrimdışı AI kullanımı: Kullanıcılarınız, internet bağlantısı olmasa bile yapay zeka özelliklerine erişebilir. Bu, sitelerinizin ve web uygulamalarınızın çevrimdışı olarak veya değişken bağlantıyla beklendiği gibi çalışabileceği anlamına gelir.
Karma AI: Cihaz üzerinde ve sunucu tarafı
Cihaz üzerinde yapay zeka çok çeşitli kullanım alanlarını karşılayabilir ancak sunucu tarafı destek gerektiren belirli kullanım alanları da vardır.
Örneğin, daha büyük modeller kullanmanız veya daha fazla platform ve cihazı desteklemeniz gerekebilir.
Aşağıdakilere bağlı olarak karma yaklaşımları kullanmayı düşünebilirsiniz:
- Karmaşıklık: Belirli, ulaşılabilir kullanım alanları, cihaz üzerinde yapay zeka ile daha kolay desteklenebilir. Karmaşık kullanım durumları için sunucu tarafı uygulama seçeneğini değerlendirin.
- Esneklik: Varsayılan olarak sunucu tarafını kullanın ve cihaz çevrimdışıyken veya bağlantı kesintisi olduğunda cihaz üzerinde kullanın.
- Kolay yedek: Yerleşik yapay zekaya sahip tarayıcıların benimsenmesi zaman alır, bazı modeller kullanılamayabilir ve daha eski veya daha az güçlü cihazlar, tüm modelleri en iyi şekilde çalıştırmak için gereken donanım gereksinimlerini karşılamayabilir. Bu kullanıcılara sunucu tarafı yapay zeka sunun.
Gemini modellerinde arka uç entegrasyonunu (Python, Go, Node.js veya REST ile) kullanabilir ya da yeni Web için Google AI istemci SDK'sı ile web uygulamanıza uygulayabilirsiniz.
Tarayıcı mimarisi ve API'ler
Chrome'da yerleşik yapay zekayı desteklemek amacıyla, cihazda yürütme için temel modellere ve uzman modellere erişecek bir altyapı oluşturduk. Bu altyapı, Yazmama yardım et gibi yenilikçi tarayıcı özelliklerini zaten destekliyor ve yakında cihaz üzerinde AI için API'leri destekleyecektir.
Öncelikle translation API veya özet API'si gibi görev API'leriyle yerleşik AI özelliklerine erişirsiniz. Görev API'leri, atama için en iyi modele karşı çıkarım yapmak üzere tasarlanmıştır.
Chrome'da bu API'ler, ince ayar veya bir uzman modeliyle Gemini Nano'ya karşı çıkarım yapmak için oluşturulmuştur. Çoğu modern cihazda yerel olarak çalışacak şekilde tasarlanan Gemini Nano; özetleme, başka şekilde ifade etme veya sınıflandırma gibi dille ilgili kullanım alanları için idealdir.
Ayrıca, yerel olarak deneme yapabilmeniz ve ek kullanım alanlarını paylaşabilmeniz için keşif amaçlı API'ler sağlamayı planlıyoruz.
Örneğin, şunları sağlayabiliriz:
- Prompt API: Yerleşik Büyük Dil Modeli'ne (Chrome'da Gemini Nano) doğal dilde rastgele bir görev gönderin.
- Hassas ayarlama (LoRA) API: Düşük Sıralama Uyarlaması ince ayarlamayla modelin ağırlıklarını ayarlayarak bir görevdeki yerleşik LLM'nin performansını iyileştirin.
Yerleşik AI ne zaman kullanılır?
Yerleşik yapay zekanın size ve kullanıcılarınıza fayda sağlayabileceğini düşündüğümüz birkaç yöntemi aşağıda bulabilirsiniz:
- Yapay zeka destekli içerik tüketimi: Özetleme, çeviri, bazı içeriklerle ilgili soruların yanıtlanması, kategorilendirme ve karakterize etme gibi konular dahildir.
- Yapay zeka destekli içerik oluşturma: Yazma yardımı, gözden geçirme, dil bilgisi düzeltme ve başka şekilde ifade etme gibi.
Sırada ne var?
Erken aşamadaki yerleşik AI API'leriyle denemeler yapmak için erken önizleme programımıza katılın.
Bu sırada, Google AI JavaScript SDK hızlı başlangıç kılavuzumuzdan Gemini Pro'yu Google'ın sunucularında web siteleriniz ve web uygulamalarınızla nasıl kullanacağınızı öğrenebilirsiniz.