AI บนเว็บมีการเปลี่ยนแปลงไปมากในช่วงปีที่ผ่านมา หากคุณพลาดข่าวสารนี้ไป เราได้ พูดคุยในงาน I/O 2024 เกี่ยวกับโมเดล เครื่องมือ และ API ใหม่ๆ สำหรับเว็บแอปถัดไปของคุณ
Web AI คือชุดเทคโนโลยีและเทคนิคในการใช้โมเดลแมชชีนเลิร์นนิง (ML) ฝั่งไคลเอ็นต์ในเว็บเบราว์เซอร์ที่ทำงานบน CPU หรือ GPU ของอุปกรณ์ ซึ่งสร้างได้ด้วย JavaScript และเทคโนโลยีเว็บอื่นๆ เช่น WebAssembly และ WebGPU ซึ่งแตกต่างจาก AI ฝั่งเซิร์ฟเวอร์หรือ "AI ในระบบคลาวด์" ที่โมเดลจะทำงานบนเซิร์ฟเวอร์และเข้าถึงได้ด้วย API
ในการพูดครั้งนี้ เราได้แชร์ข้อมูลต่อไปนี้
- วิธีเรียกใช้โมเดลภาษาขนาดใหญ่ (LLM) ใหม่ในเบราว์เซอร์และผลกระทบ ของการเรียกใช้โมเดลฝั่งไคลเอ็นต์
- ดูอนาคตของบล็อกภาพเพื่อสร้างต้นแบบได้เร็วขึ้น
- และวิธีที่นักพัฒนาเว็บใช้ JavaScript ใน Chrome เพื่อทำงานร่วมกับ Web AI ในวงกว้าง
LLM ในเบราว์เซอร์
Gemma Web เป็นโมเดลแบบเปิดใหม่จาก Google ที่สามารถทำงานในเบราว์เซอร์บนอุปกรณ์ของผู้ใช้ โดยสร้างขึ้นจากการวิจัยและเทคโนโลยีเดียวกันกับที่เราใช้สร้าง Gemini
การนำ LLM มาไว้ในอุปกรณ์ช่วยให้ประหยัดค่าใช้จ่ายได้อย่างมากเมื่อเทียบกับการเรียกใช้ในเซิร์ฟเวอร์ระบบคลาวด์เพื่อการอนุมาน รวมถึงช่วยเพิ่มความเป็นส่วนตัวของผู้ใช้และลดเวลาในการตอบสนอง Generative AI ในเบราว์เซอร์ยังอยู่ในช่วงเริ่มต้น แต่เมื่อฮาร์ดแวร์ได้รับการปรับปรุงอย่างต่อเนื่อง (มี CPU และ GPU RAM สูงขึ้น) เราคาดว่าจะมีโมเดลพร้อมให้บริการมากขึ้น
ธุรกิจสามารถจินตนาการใหม่ถึงสิ่งที่คุณทำได้ในหน้าเว็บ โดยเฉพาะอย่างยิ่งสำหรับกรณีการใช้งานเฉพาะงาน ซึ่งสามารถปรับน้ำหนักของ LLM ขนาดเล็ก (พารามิเตอร์ 2-8 พันล้าน) ให้ทำงานบนฮาร์ดแวร์สำหรับผู้บริโภคได้
Gemma 2B พร้อมให้ดาวน์โหลดในโมเดล Kaggle แล้ว และมาในรูปแบบที่เข้ากันได้กับ Web LLM Inference API สถาปัตยกรรมอื่นๆ ที่รองรับ ได้แก่ Microsoft Phi-2, Falcon RW 1B และ Stable LM 3B ซึ่งคุณสามารถแปลงเป็นรูปแบบที่รันไทม์ใช้ได้โดยใช้ไลบรารีตัวแปลงของเรา
สร้างต้นแบบได้เร็วขึ้นด้วยบล็อกภาพ
เรากำลังทำงานร่วมกับ Hugging Face ซึ่งได้สร้างโหนดที่กำหนดเองใหม่ล่าสุด 16 รายการสำหรับ Visual Blocks ซึ่งจะนำ Transformers.js และระบบนิเวศ Hugging Face ที่กว้างขึ้นมาสู่บล็อกภาพ
โหนดใหม่ 8 รายการนี้ทำงานฝั่งไคลเอ็นต์ทั้งหมดด้วย Web AI ซึ่งรวมถึง
- การแบ่งกลุ่มรูปภาพ
- คำแปล
- การแยกประเภทโทเค็น
- การตรวจจับออบเจ็กต์
- การจัดประเภทข้อความ
- การนำพื้นหลังออก
- การประมาณความลึก
นอกจากนี้ ยังมีงาน ML ฝั่งเซิร์ฟเวอร์ 7 งานจาก Hugging Face ที่ช่วยให้คุณเรียกใช้โมเดลนับพันรายการด้วย API ในบล็อกภาพได้ ดูคอลเล็กชันบล็อกภาพของ Hugging Face
ใช้ JavaScript สำหรับ AI บนเว็บในวงกว้างด้วย Chrome
ในอินสแตนซ์ก่อนหน้า เช่น Gemma ระบบจะโหลดและเรียกใช้โมเดล ภายในหน้าเว็บเอง Chrome กำลังพัฒนาAI ในตัวบนอุปกรณ์ ซึ่งคุณจะเข้าถึงโมเดลได้ด้วย JavaScript API ที่ได้มาตรฐานและเฉพาะเจาะจงสำหรับงาน
แต่ยังไม่หมดเพียงเท่านี้ นอกจากนี้ Chrome ยังได้อัปเดต WebGPU ให้รองรับค่าจุดลอยตัวแบบ 16 บิตด้วย
WebAssembly มีข้อเสนอใหม่ชื่อ Memory64 เพื่อ รองรับดัชนีหน่วยความจำ 64 บิต ซึ่งจะช่วยให้คุณโหลดโมเดล AI ขนาดใหญ่ได้ มากกว่าเดิม
เริ่มทดสอบโมเดล AI บนเว็บด้วย Chrome ที่ไม่มีส่วนหัว
ตอนนี้คุณสามารถทดสอบ AI ฝั่งไคลเอ็นต์ (หรือแอปพลิเคชันใดก็ตามที่ต้องรองรับ WebGL หรือ WebGPU) โดยใช้ Headless Chrome ขณะที่ใช้ GPU ฝั่งเซิร์ฟเวอร์เพื่อการเร่งความเร็ว เช่น NVIDIA T4 หรือ P100 ดูข้อมูลเพิ่มเติม
อย่าลืมว่าเมื่อแชร์ผลงานของคุณ ให้ใส่แฮชแท็ก #WebAI เพื่อให้ชุมชนในวงกว้างเห็นผลงานของคุณ แชร์สิ่งที่ค้นพบและคำแนะนำของคุณใน X, LinkedIn หรือแพลตฟอร์มโซเชียล ที่คุณต้องการ