الذكاء الاصطناعي يقرأ الشفاه دون صوت.. تقنية جديدة تحول الفيديوهات الصامتة إلى كلمات مكتوبة
حقق باحثون في كوريا الجنوبية تقدمًا جديدًا في مجال الذكاء الاصطناعي، بعدما طوروا نظامًا قادرًا على قراءة حركة الشفاه وتحويل الكلام إلى نصوص مكتوبة، دون الحاجة إلى تسجيل صوتي أو سماع المتحدث.
وتفتح هذه التقنية آفاقًا جديدة للتواصل، خاصة بالنسبة للصم وضعاف السمع، كما قد تساعد على فهم المحادثات في الأماكن المزدحمة والبيئات الصناعية التي يصعب فيها سماع الأصوات بوضوح.
نظام ذكاء اصطناعي يقرأ الشفاه دون الحاجة إلى الصوت
طور باحثون في المعهد الكوري المتقدم للعلوم والتكنولوجيا (KAIST) نظامًا جديدًا يحمل اسم DLLM-VSR، يعتمد على تحليل حركات الشفاه لاستخراج الكلمات وتحويلها إلى نص مكتوب.
وحقق النظام معدل خطأ بلغ 19.4% في التعرف على الكلمات، خلال اختباره باستخدام معيار LRS3، الذي يعتمد على مقاطع فيديو مصنفة تبلغ مدتها الإجمالية 433 ساعة.
ووفقًا للباحثين، سجل النظام نتيجة قياسية بين الأنظمة التي دُربت باستخدام مجموعة البيانات المصنفة نفسها، ما يعكس تقدمًا في دقة تقنيات التعرف البصري على الكلام.
كيف يستطيع الذكاء الاصطناعي فهم الكلام من حركة الشفاه؟
تواجه أنظمة قراءة الشفاه تحديًا كبيرًا، يتمثل في تشابه حركات الفم عند نطق بعض الحروف والكلمات.
فعلى سبيل المثال، تبدو بعض الأصوات الإنجليزية مثل P وB وM متقاربة للغاية عند مشاهدة حركة الشفاه، وهو ما يجعل تحديد الكلمة الصحيحة صعبًا دون الاستعانة بالصوت.
وللتغلب على هذه المشكلة، اعتمد الباحثون على نموذج لغوي كبير قائم على تقنية الانتشار، يُعرف باسم Diffusion Large Language Model.
ويختلف هذا الأسلوب عن أنظمة التعرف التقليدية التي تعالج الكلمات بالتتابع، إذ يبدأ النظام بتحديد الكلمات والأجزاء التي يستطيع التعرف عليها بدرجة ثقة مرتفعة.
بعد ذلك، يستخدم هذه الكلمات باعتبارها سياقًا لفهم الأجزاء غير الواضحة، مستفيدًا من المعلومات الموجودة قبل الكلمة وبعدها.
كما يستطيع النظام اختبار أطوال مختلفة للجملة وفقًا لمدة مقطع الفيديو، وإنشاء احتمالات متعددة للنص، ثم اختيار الصياغة الأكثر ترجيحًا.
ويساعد هذا الأسلوب على تقليل تأثير الأخطاء المبكرة في تفسير بقية الجملة، وتحسين دقة التعرف على الكلام من دون صوت.
تقنية جديدة قد تغير وسائل التواصل لذوي الإعاقة السمعية
لا تقتصر أهمية النظام الجديد على فهم المحادثات في الأماكن المزدحمة، بل تمتد إلى تطبيقات إنسانية وتقنية متعددة.
ومن أبرز الاستخدامات المحتملة تطوير أدوات مساعدة للصم وضعاف السمع، تستطيع تحويل حركة شفاه المتحدثين إلى كلمات مكتوبة.. بما يسهل متابعة المحادثات والتفاعل مع الآخرين.
كما يمكن الاستفادة من التقنية داخل المصانع والمنشآت الصناعية، حيث تتسبب أصوات المعدات والآلات في صعوبة التواصل الصوتي بين العاملين.
وتشمل التطبيقات المستقبلية المحتملة دمج النظام في النظارات الذكية والأجهزة القابلة للارتداء والروبوتات.. بما يسمح بفهم الكلام بصريًا دون الاعتماد على الميكروفونات.
تحديات الخصوصية والتشغيل الفوري
ورغم النتائج التي حققها النظام، فإنه لا يزال بحاجة إلى مزيد من التطوير قبل استخدامه على نطاق واسع.
ويعمل الباحثون على تقليل المتطلبات الحاسوبية اللازمة لتشغيله.. بهدف تمكين الأجهزة الصغيرة والقابلة للارتداء من معالجة مقاطع الفيديو وتحليل حركة الشفاه في الوقت الفعلي، دون الحاجة إلى اتصال بالإنترنت.
وفي المقابل، تثير هذه الإمكانات تساؤلات تتعلق بالخصوصية.. إذ قد تسمح تقنيات قراءة الشفاه بتحليل المحادثات من تسجيلات الفيديو الصامتة، حتى في غياب أي تسجيل صوتي.
ويمثل هذا التطور خطوة جديدة في توظيف الذكاء الاصطناعي لتجاوز الحواجز التي تعوق التواصل.. ويعزز فرص تطوير وسائل أكثر سهولة لفهم الكلام في مختلف الظروف.










