Ngày xuất bản: 28 tháng 4 năm 2025, Cập nhật lần gần đây nhất: 21 tháng 5 năm 2025
Sự phát triển nhanh chóng của AI đang mở ra những chân trời mới cho các ứng dụng web, đặc biệt là sự ra đời của các tính năng trên thiết bị. Khám phá cách CyberAgent (một công ty internet hàng đầu của Nhật Bản) đang sử dụng AI tích hợp sẵn của Chrome và Prompt API để nâng cao trải nghiệm viết blog trên nền tảng của họ là Ameba Blog.
Chúng tôi chia sẻ mục tiêu của họ, lợi ích của việc sử dụng AI tích hợp sẵn, những thách thức mà họ gặp phải và thông tin chi tiết có giá trị cho các nhà phát triển khác sử dụng AI tích hợp sẵn.
Prompt API là gì?
| Người giải thích | Web | Phần mở rộng | Trạng thái của Chrome | Ý định |
|---|---|---|---|---|
| GitHub |  Bản dùng thử theo nguyên gốc |
 Chrome 138 |
Xem | Ý định thử nghiệm |
| GitHub | Bản dùng thử theo nguyên gốc cho các tham số lấy mẫu |
Chrome 148 |
Xem | Ý định thử nghiệm |
Prompt API giúp nhà phát triển sử dụng mô hình ngôn ngữ lớn để thêm các tính năng AI trực tiếp vào ứng dụng của họ. Bằng cách xác định các câu lệnh tuỳ chỉnh, ứng dụng có thể thực hiện các tác vụ như trích xuất dữ liệu, tạo nội dung và đưa ra câu trả lời phù hợp. Trong Chrome, Prompt API thực hiện suy luận phía máy khách bằng Gemini Nano. Quá trình xử lý cục bộ này, bất kể mô hình nào được sử dụng, đều giúp tăng cường quyền riêng tư đối với dữ liệu và tốc độ phản hồi. Bất kể mô hình nào được sử dụng, tốc độ phản hồi của máy khách.
Trợ giúp AI cho tác giả Ameba Blog
CyberAgent nhận thấy một vấn đề thường gặp đối với các tác giả: quá trình tạo nội dung hấp dẫn, đặc biệt là tiêu đề, thường tốn nhiều thời gian. Họ đưa ra giả thuyết rằng việc tích hợp các hàm dựa trên AI vào giao diện tạo blog có thể cải thiện đáng kể chất lượng và hiệu quả của quá trình tạo nội dung. Mục tiêu của họ là cung cấp các công cụ truyền cảm hứng và giúp các blogger tạo nội dung hấp dẫn.
CyberAgent đã phát triển một Tiện ích Chrome bằng Prompt API. Tiện ích này cung cấp một bộ tính năng dựa trên AI được thiết kế để hỗ trợ người viết Ameba Blog tạo tiêu đề và đề mục, các đoạn văn tiếp theo và cải thiện bản sao chung.
CyberAgent muốn có tính linh hoạt về các tính năng, điều này đã dẫn đến Prompt API. Với vô số khả năng trong một API, CyberAgent có thể xác định chính xác những gì sẽ hoạt động tốt nhất và hữu ích nhất cho các tác giả Ameba.
CyberAgent đã thử nghiệm tiện ích này với một số blogger được chọn, mang đến thông tin chi tiết có giá trị về tính thực tế của các hàm được cung cấp. Thông tin phản hồi đã giúp CyberAgent xác định các ứng dụng tốt hơn cho tính năng trợ giúp AI và tinh chỉnh thiết kế của tiện ích. Dựa trên kết quả và thông tin phản hồi tích cực, CyberAgent đang tìm cách phát hành tính năng này trong tương lai, mang sức mạnh của AI phía máy khách trực tiếp đến cộng đồng viết blog của họ.
Hãy xem xét kỹ hơn các tính năng này.
Viết tiêu đề và đề mục hay hơn
Tiện ích này tạo nhiều đề xuất tiêu đề dựa trên toàn bộ nội dung blog. Người viết blog có thể tinh chỉnh thêm các đề xuất này bằng các lựa chọn như: "Tạo lại", "Lịch sự hơn", "Bình thường hơn" hoặc "Tạo tiêu đề tương tự", v.v.
CyberAgent đã thiết kế giao diện người dùng một cách cụ thể để người dùng không phải viết bất kỳ câu lệnh nào. Bằng cách này, bất kỳ người dùng nào không quen thuộc với thiết kế câu lệnh cũng có thể hưởng lợi từ sức mạnh của AI.
Tiện ích này cũng có thể tạo các tiêu đề hấp dẫn cho từng phần của blog mà tác giả có thể yêu cầu bằng cách chọn văn bản có liên quan cho tiêu đề.
Mã để tạo tiêu đề bằng Prompt API bao gồm một câu lệnh ban đầu và một câu lệnh của người dùng. Câu lệnh ban đầu cung cấp bối cảnh và hướng dẫn để nhận được một loại đầu ra cụ thể, trong khi câu lệnh của người dùng yêu cầu mô hình tương tác với nội dung mà người dùng viết. Đọc thêm về mã của họ trong Triển khai tính năng trợ giúp AI.
Tạo các đoạn văn tiếp theo
Tiện ích này giúp các blogger vượt qua tình trạng bí ý tưởng bằng cách tạo các đoạn văn tiếp theo dựa trên văn bản đã chọn. Với bối cảnh từ đoạn văn trước, AI sẽ soạn thảo phần tiếp theo của đoạn văn, cho phép tác giả duy trì luồng sáng tạo.
Cải thiện và chỉnh sửa văn bản
Gemini Nano phân tích văn bản đã chọn và có thể đề xuất các cải tiến. Người dùng có thể tạo lại các cải tiến bằng các ghi chú bổ sung về giọng điệu và lựa chọn ngôn ngữ để làm cho bản sao "dễ thương hơn" hoặc "đơn giản hơn".
Triển khai tính năng trợ giúp AI
CyberAgent đã chia mã tiện ích của họ thành 3 bước: tạo phiên, kích hoạt và câu lệnh mô hình.
Trước tiên, họ kiểm tra với trình duyệt để đảm bảo rằng AI tích hợp sẵn có sẵn và được hỗ trợ. Nếu có, họ sẽ tạo một phiên với các tham số mặc định.
if (!LanguageModel) {
// Detect the feature and display "Not Supported" message as needed
return;
}
// Define default values for topK and temperature within the application
const DEFAULT_TOP_K = 3;
const DEFAULT_TEMPERATURE = 1;
let session = null;
async function createAISession({ initialPrompts, topK, temperature } = {}) {
const { available, defaultTopK, maxTopK, defaultTemperature } =
await LanguageModel.availability();
// "readily", "after-download", or "no"
if (available === "no") {
return Promise.reject(new Error('AI not available'));
}
const params = {
monitor(monitor) {
monitor.addEventListener('downloadprogress', event => {
console.log(`Downloaded: ${event.loaded} of ${event.total} bytes.`);
});
},
initialPrompts: initialPrompts || '',
topK: topK || defaultTopK,
temperature: temperature || defaultTemperature,
};
session = await LanguageModel.create(params);
return session;
}
Mỗi tính năng đều có một hàm trợ giúp do người dùng kích hoạt. Sau khi được kích hoạt, khi người dùng nhấp vào nút có liên quan, họ sẽ cập nhật phiên tương ứng.
async function updateSession({ initialPrompts, topK, temperature } = {
topK: DEFAULT_TOP_K,
temperature: DEFAULT_TEMPERATURE,
}) {
if (session) {
session.destroy();
session = null;
}
session = await createAISession({
initialPrompts,
topK,
temperature,
});
}
Sau khi phiên được cập nhật, họ sẽ nhắc mô hình theo hàm. Ví dụ: đây là mã để tạo tiêu đề và tạo lại tiêu đề với giọng điệu trang trọng hơn.
async function generateTitle() {
// Initialize the model session
await updateSession({
initialPrompts: [
{ role: 'system',
content: `Create 3 titles suitable for the blog post's content,
within 128 characters, and respond in JSON array format.`,
}
]
});
const prompt = `Create a title for the following
blog post.${textareaEl.textContent}`;
const result = await session.prompt(prompt);
try {
const fixedJson = fixJSON(result);
// display result
displayResult(fixedJSON);
} catch (error) {
// display error
displayError();
}
}
async function generateMoreFormalTitle() {
// Do not execute updateSession to reuse the session during regeneration
const prompt = 'Create a more formal title.';
const result = await session.prompt(prompt);
...
}
Lợi ích của AI tích hợp sẵn
AI tích hợp sẵn là một loại AI phía máy khách, nghĩa là quá trình suy luận diễn ra trên thiết bị của người dùng. CyberAgent đã chọn sử dụng các API AI tích hợp sẵn với Gemini Nano vì những lợi thế hấp dẫn mà nó mang lại cho cả nhà phát triển ứng dụng và người dùng.
Các lợi ích chính mà CyberAgent tập trung vào bao gồm:
- Bảo mật và quyền riêng tư
- Chi phí
- Khả năng phản hồi và độ tin cậy
- Dễ phát triển
Bảo mật và quyền riêng tư
Khả năng chạy các mô hình AI trực tiếp trên thiết bị của người dùng mà không cần truyền dữ liệu đến các máy chủ bên ngoài là điều tối quan trọng. Bản nháp blog không dành cho công chúng xem, do đó, CyberAgent không muốn gửi các bản nháp này đến máy chủ của bên thứ ba.
AI tích hợp sẵn tải Gemini Nano xuống thiết bị của người dùng, loại bỏ nhu cầu gửi và nhận dữ liệu từ máy chủ. Điều này đặc biệt hữu ích khi viết, vì bản nháp có thể chứa thông tin bí mật hoặc biểu thức không mong muốn. AI tích hợp sẵn giữ nội dung gốc và nội dung được tạo cục bộ thay vì gửi đến máy chủ, điều này có thể tăng cường tính bảo mật và bảo vệ quyền riêng tư của nội dung.
Chi phí tiết kiệm được
Một ưu điểm chính của việc sử dụng AI tích hợp sẵn là trình duyệt bao gồm Gemini Nano và các API được sử dụng miễn phí. Không có chi phí bổ sung hoặc chi phí ẩn.
AI tích hợp sẵn giúp giảm đáng kể chi phí máy chủ và có thể loại bỏ hoàn toàn chi phí liên quan đến suy luận AI. Giải pháp này có thể nhanh chóng mở rộng quy mô cho một cơ sở người dùng lớn và cho phép người dùng gửi các câu lệnh liên tiếp để tinh chỉnh đầu ra mà không phải chịu thêm phí.
Khả năng phản hồi và độ tin cậy
AI tích hợp sẵn cung cấp thời gian phản hồi nhanh chóng và nhất quán, độc lập với điều kiện mạng. Điều này cho phép người dùng tạo nội dung nhiều lần, giúp người dùng dễ dàng thử các ý tưởng mới và tạo kết quả cuối cùng thoả mãn một cách nhanh chóng.
Dễ phát triển
AI tích hợp sẵn của Chrome giúp đơn giản hoá quy trình phát triển bằng cách cung cấp một API có sẵn. Nhà phát triển hưởng lợi từ việc dễ dàng tạo các tính năng dựa trên AI cho ứng dụng của họ.
Gemini Nano và các API AI tích hợp sẵn được cài đặt trong Chrome, vì vậy, bạn không cần thiết lập thêm hoặc quản lý mô hình. Các API sử dụng JavaScript, giống như các API trình duyệt khác và không yêu cầu chuyên môn về học máy.
Vượt qua thách thức để có kết quả tốt hơn
Hành trình của CyberAgent với Prompt API đã mang đến những bài học quý giá về sự khác biệt của việc sử dụng LLM phía máy khách.
- Phản hồi không nhất quán: Giống như các LLM khác, Gemini Nano không đảm bảo đầu ra giống hệt nhau cho cùng một câu lệnh. CyberAgent gặp phải các phản hồi ở định dạng không mong muốn (chẳng hạn như Markdown và JSON không hợp lệ). Ngay cả khi có hướng dẫn, kết quả vẫn có thể khác nhau đáng kể. Khi triển khai bất kỳ ứng dụng hoặc Tiện ích Chrome nào có AI tích hợp sẵn, bạn nên thêm một giải pháp thay thế để đảm bảo đầu ra luôn ở đúng định dạng.
- Giới hạn mã thông báo: Việc quản lý mức sử dụng mã thông báo là rất quan trọng. CyberAgent đã sử dụng các thuộc tính và phương thức như
contextUsage,contextWindowvàmeasureContextUsage()để quản lý phiên, duy trì bối cảnh và giảm mức tiêu thụ mã thông báo. Điều này đặc biệt quan trọng khi tinh chỉnh tiêu đề. - Các ràng buộc về kích thước mô hình: Vì mô hình được tải xuống và lưu trữ trên thiết bị của người dùng, nên mô hình này nhỏ hơn đáng kể so với mô hình dựa trên máy chủ. Điều này có nghĩa là bạn cần cung cấp đủ bối cảnh trong câu lệnh để đạt được kết quả thoả mãn, đặc biệt là đối với tính năng tóm tắt. Tìm hiểu thêm về cách hiểu kích thước LLM.
CyberAgent nhấn mạnh rằng mặc dù các mô hình phía máy khách chưa có sẵn trên tất cả các trình duyệt và thiết bị, đồng thời các mô hình nhỏ hơn có những hạn chế, nhưng vẫn có thể mang lại hiệu suất ấn tượng cho các tác vụ cụ thể. Khả năng lặp lại nhanh chóng và thử nghiệm mà không tốn chi phí phía máy chủ khiến nó trở thành một công cụ có giá trị.
Họ khuyên bạn nên tìm sự cân bằng, nhận ra rằng khó có thể đạt được phản hồi hoàn hảo với bất kỳ AI nào, cho dù là AI phía máy chủ hay AI phía máy khách. Cuối cùng, họ thấy một tương lai nơi phương pháp kết hợp, kết hợp điểm mạnh của cả AI phía máy chủ và AI phía máy khách, sẽ mở ra tiềm năng lớn hơn nữa.
Hướng đến tương lai
Việc CyberAgent khám phá AI tích hợp sẵn cho thấy những khả năng thú vị của việc tích hợp AI liền mạch để nâng cao trải nghiệm người dùng. Tiện ích mở rộng của họ được xây dựng để hoạt động với Ameba blog cho thấy cách các công nghệ này có thể được áp dụng một cách thực tế để giải quyết các vấn đề trong thế giới thực, mang đến những bài học quý giá cho cộng đồng nhà phát triển web rộng lớn hơn.
Khi công nghệ này trưởng thành và khả năng hỗ trợ cho trình duyệt và thiết bị mở rộng, chúng tôi hy vọng sẽ thấy nhiều ứng dụng sáng tạo hơn nữa của AI tích hợp sẵn và các dạng AI phía máy khách khác.
Tài nguyên
- Tìm hiểu thêm về Prompt API
- Bắt đầu sử dụng các API tích hợp sẵn trên Chrome
- Nghiên cứu điển hình của CyberAgent về AI trên web, bao gồm cùng một chủ đề này.
- Xem Tương lai của AI là hiện tại, nghiên cứu điển hình của CyberAgent's về AI phía máy khách
Lời cảm ơn
Cảm ơn các blogger của Ameba là ao, Nodoka, Erin, Chiaki, và socchi đã cung cấp thông tin phản hồi và giúp cải thiện tiện ích. Cảm ơn Thomas Steiner, Alexandra Klepper và Sebastian Benz đã giúp viết và xem xét bài đăng trên blog này.