অন্তর্নির্মিত AI সহ ভাষা সনাক্তকরণ

Thomas Steiner

প্রকাশিত: ২৪ সেপ্টেম্বর, ২০২৪, সর্বশেষ হালনাগাদ: ২০ মে, ২০২৫

এক ভাষা থেকে অন্য ভাষায় কোনো লেখা অনুবাদ করার আগে, আপনাকে প্রথমে নির্ধারণ করতে হবে যে প্রদত্ত লেখাটিতে কোন ভাষা ব্যবহার করা হয়েছে। পূর্বে, অনুবাদের জন্য লেখাটিকে একটি ক্লাউড সার্ভিসে আপলোড করতে হতো, সার্ভারে অনুবাদ সম্পন্ন করতে হতো এবং তারপর ফলাফল ডাউনলোড করতে হতো।

ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই ক্লায়েন্ট-সাইডে কাজ করে, যার মানে আপনি ব্যবহারকারীর গোপনীয়তা রক্ষা করতে পারেন। যদিও এই কাজটি করার জন্য একটি নির্দিষ্ট লাইব্রেরি সরবরাহ করা সম্ভব, তবে সেটি ডাউনলোড করার জন্য অতিরিক্ত রিসোর্সের প্রয়োজন হবে।

কখন ভাষা সনাক্তকরণ ব্যবহার করবেন

ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই প্রধানত নিম্নলিখিত পরিস্থিতিগুলিতে উপযোগী:

• ইনপুট টেক্সটের ভাষা নির্ধারণ করুন, যাতে এটি অনুবাদ করা যায়।
• ইনপুট টেক্সটের ভাষা নির্ধারণ করুন, যাতে বিষাক্ততা শনাক্তকরণের মতো ভাষা-নির্দিষ্ট কাজের জন্য সঠিক মডেলটি লোড করা যায়।
• ইনপুট টেক্সটের ভাষা নির্ধারণ করুন, যাতে এটিকে সঠিকভাবে লেবেল করা যায়, উদাহরণস্বরূপ, অনলাইন সোশ্যাল নেটওয়ার্কিং সাইটগুলিতে।
• ইনপুট টেক্সটের ভাষা নির্ধারণ করুন, যাতে অ্যাপের ইন্টারফেস সেই অনুযায়ী সামঞ্জস্য করা যায়। উদাহরণস্বরূপ, একটি বেলজিয়ান সাইটে শুধুমাত্র ফরাসিভাষী ব্যবহারকারীদের জন্য প্রাসঙ্গিক ইন্টারফেসটি দেখানো।

শুরু করুন

ব্রাউজারটি ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই সমর্থন করে কিনা তা দেখতে ফিচার ডিটেকশন চালান।

if ('LanguageDetector' in self) {
  // The Language Detector API is available.
}

মডেল ডাউনলোড

ভাষা শনাক্তকরণ এমন একটি মডেলের উপর নির্ভর করে, যা ভাষা শনাক্ত করার নির্দিষ্ট কাজের জন্য বিশেষভাবে তৈরি করা হয়। যদিও এপিআই (API) ব্রাউজারের মধ্যেই তৈরি করা থাকে, কিন্তু কোনো সাইট যখন প্রথমবার এপিআই ব্যবহার করার চেষ্টা করে, তখন চাহিদা অনুযায়ী মডেলটি ডাউনলোড করা হয়। ক্রোমে, অন্যান্য মডেলের তুলনায় এই মডেলটি খুবই ছোট হয়। এটি আগে থেকেই উপস্থিত থাকতে পারে, কারণ ক্রোমের অন্যান্য ফিচারেও এই মডেলটি ব্যবহৃত হয়।

মডেলটি ব্যবহারের জন্য প্রস্তুত কিনা তা নির্ধারণ করতে, অ্যাসিঙ্ক্রোনাস LanguageDetector.availability() ফাংশনটি কল করুন। যদি availability() এর প্রতিক্রিয়া downloadable হয়, তাহলে ডাউনলোডের অগ্রগতি পর্যবেক্ষণ করুন এবং ব্যবহারকারীকে জানান, কারণ ডাউনলোড হতে সময় লাগতে পারে।

ডাউনলোড শুরু করতে এবং ল্যাঙ্গুয়েজ ডিটেক্টরটি ইনস্ট্যানশিয়েট করতে, ব্যবহারকারীর অ্যাক্টিভেশন যাচাই করুন। তারপর, অ্যাসিঙ্ক্রোনাস LanguageDetector.create() ফাংশনটি কল করুন।

const detector = await LanguageDetector.create({
  monitor(m) {
    m.addEventListener('downloadprogress', (e) => {
      console.log(`Downloaded ${e.loaded * 100}%`);
    });
  },
});

ভাষা ডিটেক্টরটি চালান

ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই একটি র‍্যাঙ্কিং মডেল ব্যবহার করে নির্ধারণ করে যে, কোনো প্রদত্ত টেক্সটে কোন ভাষাটি ব্যবহৃত হওয়ার সম্ভাবনা সবচেয়ে বেশি। র‍্যাঙ্কিং হলো এক ধরনের মেশিন লার্নিং, যার উদ্দেশ্য হলো একটি তালিকার আইটেমগুলোকে ক্রমানুসারে সাজানো। এক্ষেত্রে, ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই ভাষাগুলোকে সর্বোচ্চ থেকে সর্বনিম্ন সম্ভাবনার ক্রমানুসারে র‍্যাঙ্ক করে।

detect() ফাংশনটি প্রথম ফলাফল, সবচেয়ে সম্ভাব্য উত্তর, অথবা কনফিডেন্স লেভেল অনুযায়ী র‍্যাঙ্ক করা ক্যান্ডিডেটগুলোর ওপর পুনরাবৃত্তি করতে পারে। এটি {detectedLanguage, confidence} অবজেক্টের একটি লিস্ট হিসেবে রিটার্ন করা হয়। confidence লেভেলকে 0.0 (সর্বনিম্ন কনফিডেন্স) এবং 1.0 (সর্বোচ্চ কনফিডেন্স)-এর মধ্যে একটি মান হিসেবে প্রকাশ করা হয়।

const someUserText = 'Hallo und herzlich willkommen!';
const results = await detector.detect(someUserText);
for (const result of results) {
  // Show the full list of potential languages with their likelihood, ranked
  // from most likely to least likely. In practice, one would pick the top
  // language(s) that cross a high enough threshold.
  console.log(result.detectedLanguage, result.confidence);
}
// (Output truncated):
// de 0.9993835687637329
// en 0.00038279531872831285
// nl 0.00010798392031574622
// ...

এপিআই প্লেগ্রাউন্ড

আমাদের এপিআই প্লেগ্রাউন্ডে ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই নিয়ে পরীক্ষা করুন। টেক্সটএরিয়াতে বিভিন্ন ভাষায় লেখা টেক্সট প্রবেশ করান।

অনুমতি নীতি, আইফ্রেম এবং ওয়েব ওয়ার্কার

ডিফল্টরূপে, ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই শুধুমাত্র টপ-লেভেল উইন্ডো এবং তাদের সেম-অরিজিন আইফ্রেমগুলোর জন্য উপলব্ধ থাকে। পারমিশন পলিসি allow="" অ্যাট্রিবিউট ব্যবহার করে ক্রস-অরিজিন আইফ্রেমগুলোতে এই এপিআই-এর অ্যাক্সেস অর্পণ করা যেতে পারে:

<!--
  The hosting site at https://main.example.com can grant a cross-origin iframe
  at https://cross-origin.example.com/ access to the Language Detector API by
  setting the `allow="language-detector"` attribute.
-->
<iframe src="https://cross-origin.example.com/" allow="language-detector"></iframe>

ওয়েব ওয়ার্কারগুলিতে ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই উপলব্ধ নয়। এর কারণ হলো, পারমিশন পলিসির অবস্থা পরীক্ষা করার জন্য প্রতিটি ওয়ার্কারের জন্য একটি দায়িত্বশীল ডকুমেন্ট তৈরি করার জটিলতা।

আপনার মতামত জানান

ল্যাঙ্গুয়েজ ডিটেক্টর এপিআই দিয়ে আপনি কী তৈরি করছেন, তা আমরা দেখতে চাই। আপনার ওয়েবসাইট ও ওয়েব অ্যাপ্লিকেশনগুলো আমাদের সাথে X , YouTube , এবং LinkedIn- এ শেয়ার করুন।

ক্রোমের বাস্তবায়ন সম্পর্কে আপনার কোনো মতামত থাকলে, একটি ক্রোমিয়াম বাগ রিপোর্ট করুন।

নতুন বিল্ট-ইন এআই এপিআইগুলো আগেভাগে দেখার সুযোগ পেতে এবং আমাদের মেইলিং লিস্টের আলোচনায় অংশগ্রহণের জন্য আর্লি প্রিভিউ প্রোগ্রামে যোগ দিন ।