Kết nối tác nhân AI với trình duyệt cá nhân bằng tính năng tự động kết nối

Matthias Rohmer
José Luis Zapata

Kết nối trực tiếp tác nhân AI với thực thể trình duyệt đang hoạt động bằng tính năng tự động kết nối. Nhờ đó, tác nhân có thể bỏ qua các giới hạn của hộp cát bằng cách kế thừa các thẻ hiện tại, tiện ích trình duyệt và trạng thái ứng dụng trực tiếp.

Việc kế thừa ngữ cảnh quy trình làm việc cho phép tác nhân chuyển từ viết mã sang gỡ lỗi trạng thái trình duyệt trực tiếp mà không làm mất dữ liệu phiên. Điều này hữu ích khi bạn đã đạt đến một trạng thái ứng dụng cụ thể (chẳng hạn như quy trình thanh toán phức tạp hoặc lỗi được tái tạo theo cách thủ công) và muốn tác nhân tiếp quản quá trình điều tra kỹ thuật mà không cần thực hiện lại các bước đó theo cách thủ công.

Hãy cân nhắc những điều sau trước khi bật tính năng tự động kết nối:

  • Bảo mật và quyền riêng tư: Khi tính năng tự động kết nối đang hoạt động, tác nhân có quyền truy cập vào tất cả dữ liệu trong hồ sơ trình duyệt của bạn, bao gồm cả các thẻ đang mở, bộ nhớ phiên, bộ nhớ cục bộ, cookie và các dữ liệu khác xuất hiện thông qua API JavaScript.

  • Dữ liệu được gửi đến Google: Máy chủ Chrome DevTools cho tác nhân chạy dưới dạng một quy trình cục bộ. Tuy nhiên, theo mặc định, máy chủ này sẽ gửi dữ liệu sau đây đến Google, bất kể chế độ kết nối:

    • Số liệu thống kê về việc sử dụng, chẳng hạn như tỷ lệ thành công khi gọi công cụ, độ trễ, và thông tin về môi trường. Để chọn không tham gia, hãy sử dụng cờ --no-usage-statistics hoặc đặt biến môi trường CHROME_DEVTOOLS_MCP_NO_USAGE_STATISTICS.
    • URL từ dấu vết hiệu suất, được gửi đến API Báo cáo trải nghiệm người dùng trên Chrome (CrUX) để tìm nạp dữ liệu về trải nghiệm của người dùng thực. Để chọn không tham gia, hãy sử dụng cờ --no-performance-crux.

    Để biết thêm thông tin, hãy xem phần Các lựa chọn về bảo mật và quyền riêng tư.

  • Mức độ tin cậy và câu lệnh: Chỉ sử dụng chế độ này với những tác nhân mà bạn tin tưởng và cẩn thận với thông tin bạn đưa vào câu lệnh.

Điều kiện tiên quyết

Trước khi sử dụng tính năng tự động kết nối, hãy đảm bảo bạn có những điều sau:

  • Chrome 144 trở lên: Tính năng tự động kết nối yêu cầu các giao thức gỡ lỗi hiện đại có trong các phiên bản Chrome hiện tại.
  • Kênh Chrome chính xác: Theo mặc định, tác nhân của bạn kết nối với Bản ổn định của Chrome. Để sử dụng Canary hoặc Beta, hãy chỉ định kênh trong cấu hình của bạn.
  • Đã bật tính năng gỡ lỗi từ xa: Bật cầu nối giữa trình duyệt và tác nhân theo cách thủ công.
  • Cấu hình chính xác: Bạn phải cập nhật cấu hình MCP để thêm cờ --autoConnect. Xem phần Cấu hình để biết thông tin chi tiết.

Thiết lập tính năng tự động kết nối

Để định cấu hình tính năng tự động kết nối trong máy chủ MCP, hãy làm như sau:

  1. Trong trình duyệt Chrome đang chạy, hãy chuyển đến chrome://inspect/#remote-debugging và bật tính năng gỡ lỗi từ xa.

  2. Cập nhật cấu hình MCP để thêm cờ --autoConnect:

    {
  "mcpServers": {
    "chrome-devtools": {
      "command": "npx",
      "args": ["chrome-devtools-mcp@latest", "--autoConnect"]
    }
  }
}

    Để chọn không gửi số liệu thống kê về việc sử dụng và URL dấu vết hiệu suất cho Google, hãy thêm cả cờ --no-usage-statistics và --no-performance-crux vào args.

  3. Yêu cầu tác nhân tương tác với ứng dụng Chrome đang mở. Khi Chrome yêu cầu quyền cho phép phiên, hãy nhấp vào Cho phép.

Tác nhân hiện sử dụng máy chủ MCP để tương tác với ứng dụng Chrome đang chạy. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem Hướng dẫn cấu hình.

Các trường hợp sử dụng tính năng tự động kết nối

Tính năng tự động kết nối cho phép bạn sử dụng các công cụ hoặc trạng thái không thể dùng trên các phiên Chrome trong hộp cát. Ví dụ: thay vì yêu cầu tác nhân đăng nhập (thường không thành công), bạn có thể tự chuyển đến trang và đăng nhập. Sau đó, hãy yêu cầu tác nhân tiếp quản.

Các phần sau đây trình bày một số ví dụ về các trường hợp sử dụng tính năng tự động kết nối.

Gỡ lỗi trang tổng quan đã xác thực

Các công cụ nội bộ và trang tổng quan riêng tư thường nằm sau các lớp mạng riêng ảo (VPN) hoặc tính năng đăng nhập một lần (SSO) phức tạp. Trình duyệt trong hộp cát thường yêu cầu đăng nhập mà tác nhân không thể bỏ qua. Với tính năng tự động kết nối, tác nhân sẽ kế thừa phiên hoạt động của bạn.

Câu lệnh mẫu:

I have my company's staging dashboard open in the next tab. Can you look at the
User Analytics chart, find the SVG element for the Friday data point, and tell
me why the tooltip isn't appearing on hover?

Ví dụ về quá trình thực thi tác nhân: Tác nhân xác định quy trình Chrome hiện có, tìm thẻ đang hoạt động và kiểm tra cây hỗ trợ tiếp cận để xác định vị trí của các phần tử. Tác nhân cũng có thể sử dụng API JavaScript để đánh giá các xung đột cụ thể.

Khắc phục trực tiếp thẻ hiện tại

Tránh tái tạo lỗi theo cách thủ công. Thay vì chuyển các bước tái tạo thành một câu lệnh mới cho tác nhân trong hộp cát, bạn có thể yêu cầu tác nhân khắc phục lỗi trên trang đang hoạt động mà bạn đã gặp phải.

Câu lệnh mẫu:

Look at the current page. The Submit button overlaps with the footer on this
screen size. Generate a fix for the layout and verify it by injecting the CSS
directly into this tab.

Ví dụ về quá trình thực thi tác nhân: Vì được kết nối với cửa sổ đang hoạt động, nên tác nhân sẽ phân tích bố cục và áp dụng bản sửa lỗi ngay lập tức. Bạn sẽ thấy nút di chuyển trên màn hình, điều này xác nhận rằng bản sửa lỗi hoạt động trước khi bạn cập nhật mã nguồn.