تقویت Gemini Nano: ارائه خلاصه‌هایی با کیفیت بالاتر با LoRA

Yae Jee Cho

تاریخ انتشار: 21 می 2025

خلاصه سازی به عنوان یکی از رایج ترین و حیاتی ترین وظایف هوش مصنوعی با استفاده از مدل های زبان بزرگ (LLM) است. خلاصه‌ها ابزاری حیاتی برای درک سریع محتوای گسترده ارائه می‌دهند - از مقالات طولانی و گزارش‌های چت فشرده گرفته تا بررسی‌های متعدد - باعث صرفه‌جویی در زمان، افزایش بهره‌وری و امکان تصمیم‌گیری سریع‌تر و آگاهانه‌تر می‌شود.

انواع مختلفی از خلاصه ها، با سطوح متنوعی از جزئیات و انتظارات قالب بندی وجود دارد. برای برآورده کردن انتظارات انواع خلاصه، کروم با Google Cloud برای بهبود خروجی Gemini Nano همکاری کرد.

ما Gemini Nano را با سازگاری با رتبه پایین (LoRA) تنظیم کردیم تا تجربه و کیفیت خروجی را برای همه سبک‌ها و طول‌ها افزایش دهیم. علاوه بر این، ارزیابی‌های خودکار و خودکار را در جنبه‌های مختلف کیفیت خلاصه، از جمله واقعیت، پوشش، قالب، و خوانایی اجرا کردیم.

ما تجسم کرده ایم که این تفاوت در عمل چگونه به نظر می رسد. می‌توانید با این پیاده‌سازی آزمایش کنید و به یک نسخه نمایشی بی‌درنگ نگاه کنید که خروجی‌های Gemini Nano و Gemini Nano را با LoRA مقایسه می‌کند.

Summarizer API چیست؟

توضیح دهنده	وب	برنامه های افزودنی	وضعیت کروم	قصد
MDN	کروم 138	کروم 138	مشاهده کنید	قصد حمل

Summarizer API محتوای متنی طولانی را به خلاصه های کوتاه و آسان برای هضم فشرده می کند. API در Chrome تعبیه شده است و از Gemini Nano برای انجام استنتاج استفاده می کند.

سایت های مختلف ممکن است به خلاصه هایی با طیف وسیعی از سبک ها و طول ها نیاز داشته باشند. به عنوان مثال، اگر یک سایت خبری هستید، ممکن است بخواهید فهرستی از نکات کلیدی را در مقالات خود ارائه دهید. از طرف دیگر، کاربرانی که مرور محصولات را مرور می‌کنند، می‌توانند از خلاصه‌ای کوتاه و سریع از احساسات نقد بهره ببرند. برای نشان دادن، صفحه ویکی‌پدیا در ولز کورگی را با طول short خلاصه کرده‌ایم.

می‌توانید با استفاده از Summarizer API Playground، صفحات دیگر را آزمایش کنید.

با تنظیم دقیق آزمایش کنید

تنظیم دقیق فقط به عنوان یک پرچم در Chrome Canary از نسخه 138.0.7180.0 در دسترس است. برای استفاده از این مدل:

1. Chrome Canary را باز کنید.
2. به chrome://flags/#summarization-api-for-gemini-nano بروید
3. Enabled with Adaptation را انتخاب کنید.
4. مرورگر را مجددا راه اندازی کنید.
5. DevTools Console را باز کنید و Summarizer.availability() وارد کنید. با این کار دانلود LoRA تکمیلی شروع می شود.

پس از اتمام دانلود، می توانید شروع به آزمایش کنید.

ارزیابی عملکرد خلاصه کننده

ما بهبود عملکرد Gemini Nano را با استفاده از دو روش ارزیابی خودکار و autorater اندازه‌گیری کردیم. تنظیم دقیق به مدل کمک می کند تا وظایف خاص را بهتر انجام دهد، مانند:

• متن پزشکی را بهتر ترجمه کنید.
• ایجاد تصاویر در یک سبک هنری خاص.
• یک زبان عامیانه جدید را درک کنید.

در این مورد، ما می خواستیم انتظارات هر نوع خلاصه را بهتر برآورده کنیم.

ارزیابی خودکار

ارزیابی خودکار از نرم افزار برای قضاوت در مورد کیفیت خروجی مدل استفاده می کند. ما از این تکنیک برای جستجوی خطاهای قالب‌بندی، تکرار جملات و وجود کاراکترهای غیرانگلیسی در خلاصه‌های ورودی انگلیسی استفاده کردیم.

• خطاهای قالب بندی : بررسی می کنیم که آیا پاسخ های خلاصه از دستورالعمل های قالب بندی فرمان پیروی می کنند یا خیر. به عنوان مثال، برای سبک نقاط کلیدی کوتاه، بررسی می کنیم که آیا هر نقطه با یک ستاره ( * ) شروع می شود و تعداد نقاط گلوله از 3 نقطه تجاوز نمی کند.

• تکرار جمله : بررسی می‌کنیم که آیا همان جمله در یک پاسخ خلاصه تکرار می‌شود، زیرا این نشان‌دهنده کیفیت پایین پاسخ است.

• نویسه‌های غیرانگلیسی : بررسی می‌کنیم که آیا پاسخ شامل نویسه‌های غیرانگلیسی است یا نه، وقتی ورودی به انگلیسی باشد.

• هایپرپیوند در خروجی : بررسی می‌کنیم که آیا پاسخ دارای پیوندهایی با فرمت Markdown یا متن ساده است که در ورودی وجود نداشته باشد.

ما دو سبک ورودی را ارزیابی کردیم: مقالات خراشیده شده و گزارش‌های چت.

پس از تنظیم دقیق Gemini Nano، شاهد کاهش قابل توجهی در میزان خطای قالب در انواع مختلف خلاصه، هم برای مقالات و هم برای گزارش‌های چت بودیم.

ارزیابی خودکار

ما از Gemini 1.5 Pro برای ارزیابی autorater استفاده کردیم تا کیفیت خروجی Gemini Nano را قضاوت کنیم. از آنجایی که هر خلاصه هدف متفاوتی دارد، معیارها و ارزش معیارها برای انواع خلاصه متفاوت متفاوت است. همه انواع خلاصه برای:

• پوشش : آیا خلاصه به طور دقیق هدف اصلی ورودی را نشان می دهد؟
• واقعیت: آیا خلاصه حقیقت دارد؟ آیا خلاصه اطلاعات جدیدی را معرفی می کند که به صراحت در متن ذکر نشده یا ضمنی در متن ذکر نشده است؟
• قالب : آیا خلاصه با نحو Markdown معتبر فرمت شده است؟ آیا خلاصه به حداکثر طول جملات، همانطور که درخواست می شود، حفظ می شود؟
• وضوح : آیا خلاصه تکراری است؟ آیا خلاصه پیام اصلی را با کمترین کلمات ممکن به درستی منتقل می کند؟

از آنجایی که این انواع خلاصه اهداف متفاوتی دارند، معیارهای اضافی برای انواع خلاصه خاص اعمال می شود:

• نامزدی: ( headline ): آیا خلاصه فوراً برای مخاطب عام قابل درک است؟ آیا در خلاصه از لحنی استفاده شده است که برای مخاطب عام جذاب و جذاب باشد؟
• موجز بودن ( tldr ): آیا خلاصه، واضح، مختصر، و فوراً برای کسی با دامنه توجه بسیار کوتاه قابل درک است؟ آیا به طور موثر پیام اصلی را به شکلی قابل هضم برای خواندن سریع تقطیر می کند؟
• اغوا کننده ( teaser ): آیا خلاصه به طور موثر فتنه ایجاد می کند و خواننده را تشویق می کند که با خواندن متن کامل بیشتر بیاموزد؟ آیا از زبانی استفاده می‌کند که جذاب باشد و محتوای جالب را مطرح کند؟

ما خروجی مدل پایه و مدل را با LoRA، کنار هم، با استفاده از autorater مقایسه کردیم. میانگین امتیازات نویسنده بین 0 تا 1 بود که سپس با مقدار آستانه ارزیابی شد.

برای اطمینان از یک نتیجه خوب، ما واریانس داده ها را کاهش دادیم و سوگیری موقعیتی را کاهش دادیم.

• کاهش واریانس داده‌ها : ما میانگین نمرات سه خروجی مستقل را در هر ورودی محاسبه کردیم، زیرا اجرای مستقل ممکن است نتایج کمی متفاوت داشته باشد. میانگین خروجی‌ها را هم برای مدل پایه و هم برای Gemini Nano به‌خوبی تنظیم کردیم. در حالی که تفاوت در امتیازات بین خروجی ها فقط اندکی متفاوت بود، میانگین ها به ما کمک می کنند تا مجموعه های بزرگی از داده ها را با اطمینان بیشتری درک کنیم.

• کاهش تعصب موقعیتی : برای اجتناب از اولویت دادن به ارزش خلاصه ای که ابتدا با رتبه دهنده به اشتراک گذاشته شده است، نتایج را دو بار ارزیابی کردیم، سپس امتیازات نهایی را میانگین گرفتیم.

  1. ما مدل را با LoRA و سپس مدل پایه را ارزیابی کردیم.
  2. سپس، ترتیب را برعکس کردیم. ما مدل پایه و به دنبال آن مدل با LoRA را ارزیابی کردیم.
  3. میانگین نمرات نهایی را گرفتیم.

  Winrates برای نوع خلاصه key-points . مقادیر بالاتر نتایج بهتری دارند.

  	کوتاه	متوسط	طولانی
  	پایه / با LoRA	پایه / با LoRA	پایه / با LoRA
  ابتدا LoRA	74.29٪ / 86.64٪	76.11٪ / 81.38٪	68.62٪ / 78.95٪
  ابتدا مدل پایه	68.02٪ / 88.60٪	64.97٪ / 87.58٪	58.25٪ / 86.35٪
  نسخه C (متوسط)	71.02٪ / 89.18٪	69.59٪ / 84.08٪	63.47٪ / 82.65٪

در حالی که تفاوت در امتیازدهی برای خروجی های یک مدل فقط کمی متفاوت بود، میانگین ها به ما کمک می کنند تا مجموعه های بزرگی از داده ها را با اطمینان بیشتری درک کنیم.

در بین 500 مقاله، Gemini Nano با تنظیم دقیق عملکرد قابل توجهی بهتر از مدل پایه داشت.

در ارزیابی ما از 500 گزارش چت نیز همین امر صادق بود، Gemini Nano به‌خوبی تنظیم شده از مدل پایه بهتر عمل کرد.

این نتایج نشان می‌دهد که تنظیم دقیق ما کیفیت خلاصه کلی را بهبود بخشیده است.

خلاصه های بهتر با LoRA

به طور سنتی، تنظیم دقیق با تنظیم پارامترهای مدل انجام می شود. مدل‌های مدرن هوش مصنوعی بسیار بزرگ هستند ، بنابراین این عملیات آهسته، گران است و نیاز به ذخیره یک نسخه کاملاً جدید از مدل دارد.

به جای تغییر همه پارامترها، اگر قطعات کوچک اضافی را اضافه کنیم که مدل را به سمتی که می‌خواهیم هدایت کند، چه؟ اندازه کوچکتر آنها امکان آموزش بسیار سریعتر را فراهم می کند. این اصل اصلی انطباق با رتبه پایین (LoRA) است. با LoRA، قطعات خاصی از مدل بدون تغییر باقی می‌مانند، که اغلب به عنوان انجماد پارامترها از آن یاد می‌شود. سپس مجموعه کوچک‌تری از داده‌ها با اصلاحات کوچک معرفی می‌شوند و تلاش‌های آموزشی روی این قطعات اضافه شده متمرکز می‌شوند.

در واقع، معمولاً می‌توانید 2 درصد از پارامترهای اصلی را با LoRA آموزش دهید و همچنان تغییرات قابل توجهی در خروجی‌های خود مشاهده کنید.

چرا این کار می کند؟ بسیاری از رفتارها (مانند سبک‌ها، وظایف یا دانش جدید) را می‌توان بدون تغییر هر پارامتر مدل گنجاند. این تغییرات را می توان به صورت الگوها یا جهت های کوچک در دانش موجود مدل بیان کرد. LoRA به طور موثر این الگوها را بدون دست زدن به مدل اصلی ثبت می کند.

به چند نمونه نگاه کنید که مدل پایه Gemini Nano را با نتایج پس از اضافه کردن LoRA مقایسه می کند.

ما از Gemini Nano خواستیم که در مقاله ویکی‌پدیا پارک ملی Joshua Tree عنوان کوتاهی ایجاد کند که «توجه را جلب کند و ماهیت محتوا را منتقل کند».

در مرحله بعد، Gemini Nano را برای یک تیزر کوتاه برای مقاله Ratatouille تشویق کردیم. "یک جمله فریبنده بنویسید که کاربران را تشویق به خواندن متن کامل کند."

نسخه ی نمایشی استنتاج بلادرنگ

ما رابطی ساختیم که مقایسه خروجی‌ها بین Gemini Nano و Gemini Nano با LoRA را نشان می‌دهد.

ما از Gemini Nano خواستیم که یک خلاصه tldr با طول short برای مقاله Ocean Sunfish ایجاد کند. به یاد داشته باشید که tldr و short نیاز به پاسخی در 1 جمله دارد که "خواندن سریع" است.

با اجرای تنظیم دقیق، Gemini Nano بهتر می تواند خلاصه ای را تولید کند که از دستورالعمل های خاص پیروی می کند.

مشارکت کنید و بازخورد را به اشتراک بگذارید

ما مشتاق شنیدن بازخورد شما در مورد اینکه چگونه خلاصه‌های شما تحت تأثیر دقیق Gemini Nano هستند، هستیم.

• مدل به روز شده را در Chrome Canary آزمایش کنید.
• درباره Summarizer API بیشتر بیاموزید.
• اگر بازخوردی در مورد اجرای Chrome دارید، یک گزارش اشکال یا درخواست ویژگی ارسال کنید.

همه APIهای داخلی هوش مصنوعی را که از مدل‌ها، از جمله مدل‌های زبان بزرگ، در مرورگر استفاده می‌کنند، کشف کنید.