חיבור אוטומטי של סוכן AI לדפדפן האישי

אפשר לחבר את סוכן ה-AI ישירות למופע הפעיל של הדפדפן באמצעות התכונה 'חיבור אוטומטי'. האפשרות הזו מאפשרת לסוכן לעקוף את ההגבלות של ארגז החול על ידי ירושה של הכרטיסיות הנוכחיות, התוספים לדפדפן ומצב האפליקציה בזמן אמת.

העברת ההקשר של תהליך העבודה מאפשרת לסוכן לעבור מכתיבת קוד לניפוי באגים במצב הדפדפן הפעיל בלי לאבד את נתוני הסשן. האפשרות הזו שימושית אם כבר הגעתם למצב ספציפי באפליקציה (למשל, תהליך התשלום מורכב או שגיאה ששחזרתם באופן ידני) ואתם רוצים שהנציג ימשיך את הבדיקה הטכנית בלי שתצטרכו לבצע מחדש את השלבים האלה באופן ידני.

לפני שמפעילים את החיבור האוטומטי, כדאי לשים לב לנקודות הבאות:

  • אבטחה ופרטיות: כשהחיבור האוטומטי פעיל, לסוכן יש גישה לכל הנתונים בפרופיל הדפדפן, כולל כרטיסיות פתוחות, אחסון סשנים, אחסון מקומי, קובצי Cookie ונתונים אחרים שמוצגים דרך ממשקי API של JavaScript.
  • הבטחה לשמירה על פרטיות הנתונים: שרת כלי הפיתוח ל-Chrome עבור סוכנים הוא תהליך מקומי ולא שולח את נתוני הדפדפן, אסימוני הסשן או הטלמטריה אל Google.
  • אמון והנחיות: מומלץ להשתמש במצב הזה רק עם סוכנים שאתם סומכים עליהם, ולהיזהר עם המידע שאתם כוללים בהנחיות.

דרישות מוקדמות

לפני שמשתמשים בתכונת החיבור האוטומטי, חשוב לוודא שיש לכם:

  • Chrome 144 ואילך: חיבור אוטומטי דורש פרוטוקולי ניפוי באגים מודרניים שנמצאים בגרסאות הנוכחיות של Chrome.
  • ערוץ Chrome נכון: הסוכן שלכם מתחבר לגרסה יציבה של Chrome כברירת מחדל. כדי להשתמש ב-Canary או בבטא, צריך לציין את הערוץ בהגדרות.
  • ניפוי באגים מרחוק הופעל: הפעלה ידנית של הגשר בין הדפדפן לסוכן.
  • הגדרה נכונה: צריך לעדכן את ההגדרה של MCP כך שתכלול את הדגל --autoConnect.

הגדרת חיבור אוטומטי

כדי להגדיר את התכונה של חיבור אוטומטי בשרת ה-MCP:

  1. בדפדפן Chrome שפועל, עוברים אל chrome://inspect/#remote-debugging ומפעילים את האפשרות 'ניפוי באגים מרחוק'.
  2. מעדכנים את ההגדרות של MCP כך שיכללו את הדגל --autoConnect:

    {
      "mcpServers": {
        "chrome-devtools": {
          "command": "npx",
          "args": ["chrome-devtools-mcp@latest", "--autoConnect"]
        }
      }
    }
    
  3. מבקשים מהנציג ליצור אינטראקציה עם אפליקציית Chrome הפתוחה. כשמופיעה בקשה ב-Chrome לאישור ההפעלה של הסשן, לוחצים על אישור.

הסוכן משתמש עכשיו בשרת ה-MCP כדי לתקשר עם אפליקציית Chrome שפועלת.

תרחישים לדוגמה לחיבור אוטומטי

החיבור האוטומטי מאפשר לכם להשתמש בכלים או במצבים שלא ניתן להשתמש בהם בסשנים של Chrome בסביבת ארגז חול. לדוגמה, במקום לבקש מהנציג להיכנס לחשבון, מה שלרוב לא מצליח, אתם יכולים לעבור לדף בעצמכם ולהיכנס לחשבון. אחר כך מבקשים מהנציג להשתלט על השיחה.

בקטעים הבאים מופיעות כמה דוגמאות לתרחישי שימוש בתכונת החיבור האוטומטי.

ניפוי באגים במרכזי בקרה מאומתים

כלים פנימיים ולוחות בקרה פרטיים נמצאים לרוב מאחורי שכבות מורכבות של כניסה יחידה (SSO) או רשת וירטואלית פרטית (VPN). בדרך כלל, כדי להשתמש בדפדפן בארגז חול צריך להיכנס לחשבון, והנציג לא יכול לעקוף את זה. בחיבור אוטומטי, הסוכן מקבל בירושה את הסשן הפעיל שלכם.

הנחיה לדוגמה:

I have my company's staging dashboard open in the next tab. Can you look at the
User Analytics chart, find the SVG element for the Friday data point, and tell
me why the tooltip isn't appearing on hover?

דוגמה להפעלת סוכן: הסוכן מזהה את תהליך Chrome הקיים, מוצא את הכרטיסייה הפעילה ובודק את עץ הנגישות כדי לאתר את הרכיבים. יכול להיות שהכלי ישתמש גם בממשקי API של JavaScript כדי להעריך קונפליקטים ספציפיים.

תיקון בשידור חי של הכרטיסייה הנוכחית

לא מומלץ לשחזר שגיאות באופן ידני. במקום לתרגם את שלבי השחזור להנחיה חדשה לסוכן בסביבת ארגז חול, אפשר לבקש מהסוכן לתקן את הבאג בדף הפעיל שבו כבר נתקלתם בו.

הנחיה לדוגמה:

Look at the current page. The Submit button overlaps with the footer on this
screen size. Generate a fix for the layout and verify it by injecting the CSS
directly into this tab.

דוגמה להרצת סוכן: הסוכן מחובר לחלון הפעיל, ולכן הוא מנתח את הפריסה ומחיל את התיקון באופן מיידי. הלחצן זז במסך, וזה מאשר שהתיקון פועל לפני שמעדכנים את קוד המקור.