Web Yapay Zeka'da son bir yılda çok şey değişti. I/O 2024'te, bir sonraki web uygulamanız için yeni modeller, araçlar ve API'ler hakkında bir konuşma yaptığımızı kaçırmış olabilirsiniz.
Web Yapay Zeka, makine öğrenimi (ML) modellerini bir cihazın CPU'sunda veya GPU'sunda çalışan bir web tarayıcısında istemci tarafında kullanmaya yönelik bir teknoloji ve teknikler grubudur. Bu, JavaScript ve WebAssembly ve WebGPU gibi diğer web teknolojileri kullanılarak oluşturulabilir. Bu, modelin bir sunucuda çalıştırılacağı ve bir API ile erişileceği sunucu tarafı yapay zeka veya "Cloud AI"den farklıdır.
Bu konuşmada şu konuları paylaştık:
- Yeni büyük dil modellerimizi (LLM'ler) tarayıcıda çalıştırma ve modelleri istemci tarafında çalıştırmanın etkisi;
- Daha hızlı prototip oluşturmak için Görsel Bloklar'ın geleceğine bir bakış;
- Web geliştiricilerinin, Web Yapay Zeka ile çalışmak için Chrome'da JavaScript'i nasıl kullanabileceğinden bahsedeceğiz.
Tarayıcıda LLM'ler
Gemma Web, Google'ın kullanıcının cihazındaki tarayıcıda çalışabilen yeni bir açık modelidir. Gemma, Gemini'yi oluşturmak için kullandığımız aynı araştırma ve teknolojiden geliştirilmiştir.
Cihaz üzerinde LLM kullanılması, çıkarım için bulut sunucusunda çalıştırmaya kıyasla önemli ölçüde maliyet tasarrufu sağlamanın yanı sıra kullanıcı gizliliğini artırır ve gecikmeyi azaltır. Tarayıcıda üretken yapay zeka henüz ilk aşamalarındadır ancak donanım geliştikçe (daha yüksek CPU ve GPU RAM ile) daha fazla modelin kullanıma sunulmasını bekliyoruz.
İşletmeler, özellikle küçük LLM'lerin (2 ila 8 milyar parametre) ağırlıklarının tüketici donanımlarında çalışacak şekilde ayarlanabileceği görevlere özel kullanım alanları için bir web sayfasında neler yapabileceğinizi yeniden düşünebilir.
Gemma 2B, Kaggle Models'den indirilebilir ve Web LLM çıkarım API'miz ile uyumlu bir biçimde sunulur. Desteklenen diğer mimariler arasında Microsoft Phi-2, Falcon RW 1B ve Stable LM 3B bulunur. Bu mimarileri, dönüştürücü kitaplığımızı kullanarak çalışma zamanında kullanılabilecek bir biçime dönüştürebilirsiniz.
Görsel Bloklar ile daha hızlı prototipler oluşturma
Görsel Bloklar için 16 yeni özel düğüm oluşturan Hugging Face ile birlikte çalışıyoruz. Bu sayede Transformers.js ve daha geniş Hugging Face ekosistemi Visual Blocks'a eklendi.
Bu yeni düğümlerden sekizi, Web Yapay Zeka ile tamamen istemci tarafında çalışır. Bunlar arasında şunlar yer alır:
- Görüntü segmentasyonu
- Translation
- Jeton sınıflandırması
- Nesne algılama
- Metin sınıflandırma
- Arka planı kaldırma
- Derinlik tahmini
Ayrıca, Hugging Face'ten Visual Blocks'ta API'lerle binlerce model çalıştırmanıza olanak tanıyan yedi sunucu tarafı makine öğrenimi görevi vardır. Kucaklaşan Yüz Görsel Blokları koleksiyonuna göz atın.
Chrome ile Web Yapay Zeka için JavaScript'i geniş ölçekte kullanma
Gemma gibi önceki örneklerde model, web sayfasının içinde yüklenir ve çalıştırılır. Chrome, standartlaştırılmış ve göreve özel JavaScript API'leri ile modellere erişebileceğiniz yerleşik, cihaz üzerinde yapay zeka üzerinde çalışıyor.
Bununla da sınırlı değil. Chrome, WebGPU'yu 16 bit kayan nokta değerlerini destekleyecek şekilde de güncelledi.
WebAssembly, 64 bit bellek dizinlerini desteklemek için Memory64 adlı yeni bir öneriye sahiptir. Bu öneri, daha önce olduğundan daha büyük yapay zeka modelleri yüklemenize olanak tanır.
Web yapay zeka modellerini gözetimsiz Chrome ile test etmeye başlama
Artık istemci tarafı yapay zekayı (veya WebGL ya da WebGPU desteğine ihtiyaç duyan herhangi bir uygulamayı) Headless Chrome'u kullanarak test edebilir ve hızlandırma için NVIDIA T4 veya P100 gibi sunucu tarafı GPU'lardan yararlanabilirsiniz. Daha fazla bilgi:
- Google Colab'da çalıştırma
- Testlerle ilgili ayrıntılı incelemeyi okuyun
- Ayrıca GitHub'daki örnek koda göz atın.
Oluşturduğunuz çalışmaları paylaşırken daha geniş bir kitlenin görebileceği şekilde #WebAI etiketini eklemeyi unutmayın. Bulgularınızı ve önerilerinizi X, LinkedIn veya tercih ettiğiniz sosyal platformda paylaşın.