পড়তে 4 মিনিট
মাল্টিমোডাল এআই: ছবির সঙ্গে আপনার প্রশ্ন মেলায় কীভাবে?
30 সেকেন্ডে সারাংশ
মাল্টিমোডাল এআই হলো এমন ব্যবস্থা, যা লেখা, ছবি বা শব্দের মতো একাধিক ধরনের তথ্যের সম্পর্ক ব্যবহার করে উত্তর বা অন্য বিষয়বস্তু তৈরি করে।
অচেনা একটি গৃহস্থালি যন্ত্রের বোতামের ছবি তুলে জানতে চাইলেন, কোনটি সময় নির্ধারণ করে। এটি ব্যবহার বোঝানোর কাল্পনিক দৃশ্য, সফল পরীক্ষার বিবরণ নয়। ছবি বোতামগুলোর অবস্থান জানায়, আর প্রশ্ন আপনার উদ্দেশ্য জানায়। সবকিছু কথায় বর্ণনা করার দরকার কমে যায়, কিন্তু উত্তরে দেখানো বোতামটি সত্যিই সেই কাজ করে কি না, তা যাচাইয়ের প্রয়োজন থাকে।
ছবি আর প্রশ্নের আলাদা ভূমিকা
ছবি প্রক্রিয়াকরণের অংশটি আকার, রং ও অবস্থানের মতো বৈশিষ্ট্যকে এমন সংখ্যায় বদলায়, যা মডেল হিসাব করতে পারে। প্রশ্নের শব্দগুলোও সংখ্যায় প্রকাশ করা হয়। উত্তর তৈরির অংশ দুই দিকের তথ্য ব্যবহার করে প্রশ্নের সঙ্গে ছবির প্রাসঙ্গিক অংশের সম্পর্ক কাজে লাগায়। ছবির সঙ্গে আগে থেকেই নিখুঁত বিবরণ লেখা থাকে না; উত্তরটি প্রক্রিয়াকরণের ফল।
প্রস্তুতির সময় ছবির সঙ্গে বিবরণের মতো সম্পর্কযুক্ত উদাহরণ ব্যবহার করা হয়। কোন দৃশ্যমান বৈশিষ্ট্যের সঙ্গে কোন শব্দের সম্পর্ক আছে, মডেল তা ব্যবহার করতে শেখে। নতুন ছবি পেলে সেই শেখা সম্পর্ক আর দেওয়া প্রশ্ন কাজে লাগিয়ে উত্তর গড়ে। এটি মানুষের মতো ঘটনাটি দেখা বা অভিজ্ঞতা অর্জনের প্রমাণ নয়। ভুল সম্পর্ক ব্যবহার করলে উত্তরও ভুল হতে পারে।
একই ছবিতে «পর্দার সংখ্যাটি পড়ুন» আর «সময় নির্ধারণের বোতাম খুঁজুন» আলাদা কাজ। প্রশ্ন বদলালে প্রয়োজনীয় অংশ বদলায়। কিন্তু যন্ত্রের নাম বা চিহ্নের ব্যাখ্যা ছবিতে না থাকলে, একটি বোতামের আসল কাজ নিশ্চিত করা কঠিন হতে পারে। দৃশ্যমান অবস্থান আর কার্যকারিতা এক জিনিস নয়; শুধু দেখতে পাওয়া থেকে সব জানা যায় না।
সব মাধ্যম সব ব্যবস্থায় থাকে না
কোনো মডেল লেখা ও ছবি নেয়; অন্যটি শব্দ বা ভিডিওও নিতে পারে। Google-এর Gemini নিয়ে প্রযুক্তিগত প্রতিবেদনে একটি নির্দিষ্ট মডেল পরিবারের একাধিক মাধ্যম ব্যবহারের কথা আছে। কিন্তু মাল্টিমোডাল নাম দেখেই সব অ্যাপে সব ধরনের তথ্য দেওয়া যাবে ধরে নেওয়া ঠিক নয়। আপনার প্রয়োজনের তথ্যটি ওই সেবায় গ্রহণ করা যায় কি না, আগে দেখুন।
তথ্য নেওয়া আর উত্তর দেওয়ার ধরনও আলাদা। রেকর্ডিং নিয়ে লিখিত সারাংশ দেওয়া মানেই মুখে উত্তর দেওয়ার ক্ষমতা নয়। Google-এর শব্দসংক্রান্ত নথিতে কথাকে লেখায় বদলানো, সারাংশ ও প্রশ্নের উত্তর দেওয়ার কথা আছে; সরাসরি কথোপকথনের জন্য আলাদা নির্দেশনা রয়েছে। তাই শব্দ ঢুকতে পারে বলে শব্দই বেরোবে, এমন সিদ্ধান্ত নেবেন না। নির্দিষ্ট সুবিধাটি যাচাই করুন।
ভেতরের গঠনও এক রকম নয়। ছবি, শব্দ ও ভাষা সামলানোর আলাদা অংশ একসঙ্গে কাজ করতে পারে। মাঝখানে কথাকে লেখায় বদলানো কোনো ব্যবস্থাকে নামের ভিত্তিতে বাদ দেওয়া যায় না। «সব একটি ডিজিটাল মস্তিষ্কে যায়» ভাবার চেয়ে কোন তথ্য নেওয়া হচ্ছে, তার কী পরিবর্তন হচ্ছে আর কী ফল আসছে, তা বোঝা বেশি কার্যকর।
পড়া, অনুমান আর যাচাই
ঝাপসা ছবি বা ছোট অক্ষর গুরুত্বপূর্ণ তথ্য আড়াল করতে পারে। Google পরিষ্কার ছবি এবং সঠিক দিক নিশ্চিত করতে বলে। কিছু মডেলে বেশি বিস্তারিত ছবি প্রক্রিয়াকরণ ছোট লেখা পড়তে সাহায্য করে, কিন্তু সময় ও সম্পদের খরচ বাড়তে পারে। বেশি বিস্তারিত মানেই সব উত্তর সঠিক নয়। সুন্দরভাবে সাজানো উত্তরও ভুল পড়া তথ্যের ওপর দাঁড়াতে পারে।
«এটি বুঝিয়ে দিন» বলার বদলে «বোতামের লেখা পড়ুন, যা পড়া যাচ্ছে না তা আলাদা করে জানান» বললে কাজটি স্পষ্ট হয়। এতে ছবির সঙ্গে উত্তরের নির্দিষ্ট অংশ মিলিয়ে দেখা সহজ। এই নির্দেশ ভুল বন্ধ করার নিশ্চয়তা নয়; বরং কী যাচাই করবেন, তা নির্ধারণের উপায়। মডেল সব অনিশ্চয়তা নিজে জানাবে, এমন প্রত্যাশাও করবেন না।
ছবিতে যা নেই, তা অনুপস্থিতই থাকে। যন্ত্রের বোতামের ছবি ভেতরের ত্রুটি নিশ্চিত করে না। বিলের ছবি দেখে বিলদাতা আসল কি না প্রমাণ হয় না। গুরুত্বপূর্ণ তথ্য যন্ত্রের নির্দেশিকা বা প্রকৃত প্রতিষ্ঠানের সঙ্গে মিলিয়ে দেখুন। ছবির বর্ণনা দেওয়া আর তার উৎসের সত্যতা যাচাই করা আলাদা কাজ; একটি পারলেই অন্যটি নির্ভরযোগ্য হয় না।
ছবি বা রেকর্ডিং পাঠানোর আগে মুখ, ঠিকানা এবং অন্যের কথাবার্তা আছে কি না খেয়াল করুন। প্রশ্নের জন্য দরকারি অংশটুকু দেওয়া যায় কি না দেখুন এবং সেবাটি তথ্য কীভাবে ব্যবহার করে পড়ুন। সব প্রক্রিয়া ফোনেই হয় বা সব সেবা একইভাবে তথ্য রাখে, এমন ধারণা করবেন না। উত্তর পাওয়ার সুবিধার সঙ্গে কতটা তথ্য পাঠাচ্ছেন, সেটিও বিবেচনা করুন।
মাল্টিমোডাল এআই তথ্যের বিভিন্ন অংশ মিলিয়ে সাহায্য করতে পারে। আপনি যা দিয়েছেন, মডেল যা বলেছে এবং আলাদা উৎস থেকে যা নিশ্চিত করেছেন, এই তিনটি আলাদা রাখুন। ছবি ও প্রশ্ন একে অন্যকে সাহায্য করলেও উত্তর নিজে থেকেই সত্য হয়ে যায় না। যাচাই করা যায় এমন ব্যাখ্যা চাইলে সুবিধাটি বেশি কাজে লাগে, আর ভুলের জায়গা চেনা সহজ হয়।
উৎস
- Gemini: A Family of Highly Capable Multimodal ModelsGemini Team, Google / arXiv
- Image understandingGoogle AI for Developers
- Audio understandingGoogle AI for Developers