در طول سال گذشته تغییرات زیادی در هوش مصنوعی وب تغییر کرده است. اگر آن را از دست دادید، در I/O 2024 درباره مدلها، ابزارها و APIهای جدید برنامه وب بعدی شما صحبت کردیم.
هوش مصنوعی وب مجموعهای از فنآوریها و تکنیکها برای استفاده از مدلهای یادگیری ماشینی (ML)، سمت کلاینت در یک مرورگر وب است که روی CPU یا GPU دستگاه اجرا میشود. این می تواند با جاوا اسکریپت و سایر فناوری های وب مانند WebAssembly و WebGPU ساخته شود. این برخلاف هوش مصنوعی سمت سرور یا «هوش مصنوعی ابری» است، که در آن مدل روی یک سرور اجرا میشود و با یک API به آن دسترسی پیدا میکند.
در این گفتگو به اشتراک گذاشتیم:
- نحوه اجرای مدلهای جدید زبان بزرگ (LLM) در مرورگر و تأثیر مدلهای در حال اجرا در سمت مشتری.
- نگاهی به آینده بلوک های بصری ، برای نمونه سازی سریعتر.
- و اینکه چگونه توسعه دهندگان وب می توانند از جاوا اسکریپت در کروم برای کار با هوش مصنوعی وب در مقیاس استفاده کنند.
LLM ها در مرورگر
Gemma Web یک مدل باز جدید از Google است که می تواند در مرورگر دستگاه کاربر اجرا شود و از همان تحقیق و فناوری ساخته شده است که ما برای ایجاد Gemini استفاده کردیم.
با آوردن LLM روی دستگاه، پتانسیل قابل توجهی برای صرفه جویی در هزینه در مقایسه با اجرای بر روی سرور ابری برای استنتاج، همراه با افزایش حریم خصوصی کاربر و کاهش تاخیر وجود دارد. هوش مصنوعی مولد در مرورگر هنوز در مراحل اولیه خود است، اما با ادامه بهبود سخت افزار (با CPU و رم GPU بالاتر)، انتظار داریم مدل های بیشتری در دسترس قرار گیرند.
کسبوکارها میتوانند کارهایی را که میتوانید در یک صفحه وب انجام دهید، بهویژه برای موارد استفاده خاص، که در آن وزن LLMهای کوچکتر (2 تا 8 میلیارد پارامتر) میتوانند برای اجرا بر روی سختافزار مصرفکننده تنظیم شوند، دوباره تصور کنند.
Gemma 2B برای دانلود در Kaggle Models در دسترس است و در قالبی ارائه می شود که با Web LLM inference API ما سازگار است. دیگر معماریهای پشتیبانیشده عبارتند از Microsoft Phi-2 ، Falcon RW 1B ، و Stable LM 3B ، که میتوانید با استفاده از کتابخانه مبدل ما، آنها را به قالبی تبدیل کنید که زمان اجرا بتواند از آن استفاده کند.
با Visual Blocks نمونه های اولیه سریع تری بسازید
ما با Hugging Face همکاری می کنیم، که 16 گره سفارشی کاملاً جدید برای بلوک های بصری ایجاد کرده است. این امر Transformers.js و اکوسیستم گستردهتر Hugging Face را به بلوکهای بصری میآورد.
هشت تا از این گرههای جدید کاملاً در سمت کلاینت اجرا میشوند، با هوش مصنوعی وب، از جمله:
علاوه بر این، هفت وظیفه ML سمت سرور از Hugging Face وجود دارد که به شما امکان میدهد هزاران مدل را با API در بلاکهای ویژوال اجرا کنید. مجموعه بلوکهای بصری Hugging Face را بررسی کنید.
از جاوا اسکریپت برای هوش مصنوعی وب در مقیاس با Chrome استفاده کنید
در نمونههای قبلی، مانند Gemma، مدل در خود صفحه وب بارگذاری و اجرا میشود. Chrome روی هوش مصنوعی داخلی روی دستگاه کار میکند، جایی که میتوانید به مدلهایی با APIهای جاوا اسکریپت استاندارد و مختص کار دسترسی داشته باشید.
و این تمام نیست. کروم همچنین WebGPU را با پشتیبانی از مقادیر ممیز شناور 16 بیتی به روز کرده است.
WebAssembly یک پیشنهاد جدید به نام Memory64 برای پشتیبانی از شاخص های حافظه 64 بیتی دارد که به شما امکان می دهد مدل های هوش مصنوعی بزرگتر را نسبت به قبل بارگیری کنید.
آزمایش مدلهای هوش مصنوعی وب را با کروم بدون هد شروع کنید
اکنون میتوانید هوش مصنوعی سمت کلاینت (یا هر برنامهای که نیاز به پشتیبانی WebGL یا WebGPU دارد) را با استفاده از Headless Chrome آزمایش کنید، در حالی که از پردازندههای گرافیکی سمت سرور برای شتاب استفاده میکنید، مانند NVIDIA T4 یا P100 بیشتر بدانید:
به یاد داشته باشید، وقتی آنچه را که ایجاد میکنید به اشتراک میگذارید، #WebAI را اضافه کنید تا جامعه وسیعتر بتواند کار شما را ببیند. یافته ها و پیشنهادات خود را در X، LinkedIn یا پلتفرم اجتماعی که ترجیح می دهید به اشتراک بگذارید.