Đã có nhiều thay đổi trong công nghệ AI trên web trong năm vừa qua. Xin lưu ý rằng chúng tôi đã có buổi trò chuyện tại I/O 2024 về các mô hình, công cụ và API mới cho ứng dụng web sắp tới của bạn.
Web AI là một tập hợp các công nghệ và kỹ thuật để sử dụng các mô hình học máy (ML), phía máy khách trong một trình duyệt web chạy trên CPU hoặc GPU của thiết bị. Bạn có thể xây dựng API này bằng JavaScript và các công nghệ web khác, chẳng hạn như WebAssembly và WebGPU. Mô hình này không giống như AI phía máy chủ hay "Cloud AI", trong đó mô hình này thực thi trên máy chủ và truy cập bằng API.
Trong buổi trò chuyện này, chúng tôi đã chia sẻ:
- Cách chạy các mô hình ngôn ngữ lớn (LLM) mới của chúng tôi trong trình duyệt và tác động của việc chạy các mô hình ở phía máy khách;
- Khám phá tương lai của Khối hình ảnh để tạo nguyên mẫu nhanh hơn;
- Và cách nhà phát triển web có thể sử dụng JavaScript trong Chrome để làm việc với Web AI trên quy mô lớn.
Các LLM trong trình duyệt
Gemma Web là một mô hình mở mới của Google có thể chạy trong trình duyệt trên thiết bị của người dùng. Mô hình này được xây dựng dựa trên chính quá trình nghiên cứu và công nghệ mà chúng tôi sử dụng để tạo ra Gemini.
Việc triển khai một mô hình ngôn ngữ lớn trên thiết bị có thể giúp tiết kiệm chi phí đáng kể so với việc chạy trên máy chủ đám mây để dự đoán, cùng với việc tăng cường quyền riêng tư của người dùng và giảm độ trễ. AI tạo sinh trong trình duyệt vẫn đang ở giai đoạn đầu. Tuy nhiên, khi phần cứng tiếp tục cải tiến (với CPU và RAM GPU cao hơn), chúng tôi hy vọng có thể ra mắt thêm nhiều mô hình nữa.
Các doanh nghiệp có thể tái định hình những việc bạn có thể làm trên trang web, đặc biệt là đối với các trường hợp sử dụng cụ thể theo từng nhiệm vụ, trong đó trọng số của các LLM nhỏ hơn (2 đến 8 tỷ tham số) có thể được điều chỉnh để chạy trên phần cứng dành cho người tiêu dùng.
Gemma 2B có thể tải xuống qua Kaggle Mô hình và có định dạng tương thích với API dự đoán LLM web của chúng tôi. Các kiến trúc được hỗ trợ khác bao gồm Microsoft Phi-2, Falcon RW 1B và Stable LM 3B (bạn có thể chuyển đổi sang định dạng mà thời gian chạy có thể dùng thông qua thư viện chuyển đổi của chúng tôi).
Xây dựng nguyên mẫu nhanh hơn bằng tính năng Khối hình ảnh
Chúng tôi đang cộng tác với Hugging Face, những người đã tạo 16 nút tuỳ chỉnh hoàn toàn mới cho Visual Visual (Hình ảnh khối). Nhờ vậy, Transformers.js và hệ sinh thái Hugging Face rộng lớn hơn có thể sử dụng Visual Blocks.
Tám trong số các nút mới này chạy hoàn toàn phía máy khách, với Web AI, bao gồm:
- Phân đoạn hình ảnh
- Bản dịch
- Phân loại mã thông báo
- Phát hiện đối tượng
- Phân loại văn bản
- Xoá nền
- Ước tính chiều sâu
Ngoài ra, Hugging Face còn có 7 nhiệm vụ học máy phía máy chủ cho phép bạn chạy hàng nghìn mô hình bằng các API trong Visual Blocks. Hãy xem bộ sưu tập Hình ảnh khối khuôn mặt ôm sát.
Sử dụng JavaScript cho AI trên web trên quy mô lớn với Chrome
Trong các phiên bản trước, chẳng hạn như với Gemma, mô hình sẽ được tải và chạy trong chính trang web. Chrome đang phát triển AI tích hợp sẵn trên thiết bị, trong đó bạn có thể truy cập vào các mô hình bằng các API JavaScript được chuẩn hoá, dành riêng cho từng tác vụ.
Và đó chưa phải là tất cả. Chrome cũng đã cập nhật WebGPU để hỗ trợ các giá trị dấu phẩy động 16 bit.
WebAssembly có một đề xuất mới là Memory64, để hỗ trợ các chỉ mục bộ nhớ 64 bit, cho phép bạn tải các mô hình AI lớn hơn trước đây.
Bắt đầu thử nghiệm các mô hình AI trên web bằng Chrome không có giao diện người dùng
Giờ đây, bạn có thể kiểm thử AI phía máy khách (hoặc bất kỳ ứng dụng nào cần hỗ trợ WebGL hoặc WebGPU) bằng cách sử dụng Headless Chrome, trong khi vẫn sử dụng GPU phía máy chủ để tăng tốc, chẳng hạn như NVIDIA T4 hoặc P100 Tìm hiểu thêm:
Hãy nhớ rằng khi bạn chia sẻ nội dung mình tạo, hãy thêm hashtag #WebAI để cộng đồng rộng lớn hơn có thể thấy tác phẩm của bạn. Chia sẻ những phát hiện và đề xuất của bạn trên X, LinkedIn hoặc nền tảng xã hội mà bạn thích.