Web Yapay Zeka'da geçen yıl çok şey değişti. Kaçırdıysanız hatırlatalım. I/O 2024'te, bir sonraki web uygulamanız için yeni modeller, araçlar ve API'ler hakkında bir konuşma yaptık.
Web AI, bir cihazın CPU'sunda veya GPU'sunda çalışan bir web tarayıcısında makine öğrenimi (ML) modellerini istemci tarafında kullanmaya yönelik bir teknoloji ve teknikler kümesidir. Bu, JavaScript ve WebAssembly ile WebGPU gibi diğer web teknolojileriyle oluşturulabilir. Bu durum, modelin bir sunucuda yürütüldüğü ve API ile erişildiği sunucu tarafı yapay zeka veya "Cloud AI"dan farklıdır.
Bu konuşmada şu konuları ele aldık:
- Yeni büyük dil modellerimizi (LLM) tarayıcıda çalıştırma ve modelleri istemci tarafında çalıştırmanın etkisi;
- Daha hızlı prototip oluşturmak için Görsel Bloklar'ın geleceğine dair bir bakış;
- Ayrıca, web geliştiricilerin Chrome'da JavaScript'i kullanarak Web Yapay Zeka ile nasıl çalışabileceğini de öğreneceksiniz.
Tarayıcıdaki LLM'ler
Gemma Web, Google'ın yeni açık modelidir. Gemini'ı oluşturmak için kullandığımız araştırma ve teknolojinin aynısıyla geliştirilen bu model, kullanıcının cihazındaki tarayıcıda çalışabilir.
LLM'yi cihazda kullanmak, çıkarım için bulut sunucusunda çalıştırmaya kıyasla önemli ölçüde maliyet tasarrufu potansiyeli sunar. Ayrıca kullanıcı gizliliği artar ve gecikme süresi azalır. Tarayıcıdaki üretken yapay zeka henüz erken aşamalarında olsa da donanım iyileşmeye devam ettikçe (daha yüksek CPU ve GPU RAM ile) daha fazla modelin kullanıma sunulmasını bekliyoruz.
İşletmeler, özellikle göreve özgü kullanım alanlarında web sayfasında yapabileceklerinizi yeniden tasarlayabilir. Bu alanlarda, daha küçük LLM'lerin (2 ila 8 milyar parametre) ağırlıkları, tüketici donanımında çalışacak şekilde ayarlanabilir.
Gemma 2B, Kaggle Modelleri'nden indirilebilir ve Web LLM çıkarım API'mizle uyumlu bir biçimde sunulur. Diğer desteklenen mimariler arasında Microsoft Phi-2, Falcon RW 1B ve Stable LM 3B yer alır. Bu mimarileri, dönüştürücü kitaplığımızı kullanarak çalışma zamanının kullanabileceği bir biçime dönüştürebilirsiniz.
Görsel Bloklar ile daha hızlı prototipler oluşturma
Görsel Bloklar için 16 yeni özel düğüm oluşturan Hugging Face ile işbirliği yapıyoruz. Bu sayede Transformers.js ve daha geniş Hugging Face ekosistemi, Görsel Bloklar'a taşınıyor.
Bu yeni düğümlerden sekizi tamamen istemci tarafında Web AI ile çalışır. Bunlar arasında şunlar yer alır:
- Görüntü segmentasyonu
- Translation
- Jeton sınıflandırma
- Nesne algılama
- Metin sınıflandırma
- Arka plan kaldırma
- Derinlik tahmini
Ayrıca, Hugging Face'in yedi sunucu tarafı makine öğrenimi görevi sayesinde, Görsel Bloklar'daki API'lerle binlerce modeli çalıştırabilirsiniz. Hugging Face Visual Blocks koleksiyonuna göz atın.
Chrome ile Web Yapay Zeka'yı büyük ölçekte kullanma
Gemma gibi önceki örneklerde model, web sayfasının kendisinde yüklenir ve çalıştırılır. Chrome, cihaz üzerinde yerleşik yapay zeka üzerinde çalışıyor. Bu yapay zeka sayesinde, standartlaştırılmış ve göreve özel JavaScript API'leri ile modellere erişebilirsiniz.
Avantajlar bunlarla sınırlı değil. Chrome, 16 bit kayan nokta değerleri desteğiyle WebGPU'yu da güncelledi.
WebAssembly, 64 bit bellek dizinlerini desteklemek için yeni bir teklif olan Memory64'ü sunuyor. Bu teklif, daha önce yükleyebileceğinizden daha büyük yapay zeka modelleri yüklemenize olanak tanır.
Gözetimsiz Chrome ile Web yapay zeka modellerini test etmeye başlama
Artık Headless Chrome'u kullanarak istemci tarafı yapay zekayı (veya WebGL ya da WebGPU desteği gerektiren tüm uygulamaları) test edebilir, hızlandırma için NVIDIA T4 veya P100 gibi sunucu tarafı GPU'lardan yararlanabilirsiniz. Daha fazla bilgi:
- Google Colab'de çalıştırma
- Testlerle ilgili ayrıntılı incelemeyi okuma
- Ayrıca GitHub'daki örnek koda da göz atın.
Oluşturduğunuz içerikleri paylaşırken #WebAI etiketini ekleyerek daha geniş bir topluluğun çalışmanızı görmesini sağlayabilirsiniz. Bulgularınızı ve önerilerinizi X, LinkedIn veya tercih ettiğiniz sosyal medya platformunda paylaşın.