معرفی هوش مصنوعی FantasyTalking برای ساخت شخصیت های سخنگو! + ویدیو
محققان چینی هوش مصنوعی از مدلی نوآورانه با نام FantasyTalking رونمایی کرده اند که می تواند فقط با یک تصویر پرتره ثابت، ویدیوهایی واقع گرایانه و قابل کنترل از چهره های درحال صحبت تولید کند. این مدل از معماری پیشرفته مبتنی بر Video Diffusion Transformer بهره می برد و با استفاده از تکنیک های هماهنگ سازی صوتیتصویری، هماهنگی دقیقی میان حرکات لب، حالات چهره، حرکات بدن و صدای ورودی ایجاد می کند.
طبق توضیحات صفحه Github این پروژه، در قلب آن استراتژی دومرحله ای برای همگام سازی صوت و تصویر وجود دارد.
نحوه تولید آواتار سخنگو توسط هوش مصنوعی FantasyTalking
Your browser does not support the video tag.
در مرحله اول، مدل با آموزش در سطح کلیپ، حرکات کلی صحنه شامل چهره، اشیای اطراف و پس زمینه را با صدای ورودی هماهنگ می کند. در مرحله دوم، جزئیات حرکات لب با دقت فریم به فریم و با استفاده از ماسک های خاصی اصلاح می شود تا کامل با صدا منطبق شود.
یکی از چالش های اساسی در حوزه گرافیک و بینایی ماشین تولید آواتارهای متحرک از تصویر ثابت بوده است. اغلب روش های قبلی برای حفظ واقع گرایی و هماهنگی با صدا، از مدل های سه بعدی میانجی مثل 3DMM یا FLAME استفاده می کردند اما این روش ها در بازتولید حرکات ظریف صورت و انیمیشن های طبیعی ناکارآمد بودند.
Your browser does not support the video tag.
در ویدیو زیر می توانید برخی نمونه های ساخته این مدل و مدل های دیگر را با هم مقایسه کنید:
FantasyTalking همچنین از ماژول ویژه برای کنترل شدت حرکات بهره می برد که امکان تنظیم میزان انیمیشن حالات چهره و بدن را فراهم می کند. این ویژگی تولید ویدیوهایی فراتر از حرکت لب ها را ممکن می کند. برخلاف بسیاری از مدل های دیگر، این سیستم برای حفظ هویت چهره از مکانیزمی مبتنی بر چهره استفاده می کند که نتایج طبیعی تر و یکپارچه تری ارائه می دهد.
Your browser does not support the video tag.
از دیگر توانایی های این مدل می توان به تولید ویدیوهای حرف زدن شخصیت ها با زوایای مختلف (نمای نزدیک، نیم تنه، تمام قد، از روبه رو یا زاویه دار)، پشتیبانی از استایل های گرافیکی مختلف (واقع گرایانه یا کارتونی) و حتی متحرک سازی (Animate) حیوانات اشاره کرد.
در مقایسه با روش های بسته و پیشرفته ای مانند OmniHuman1، مدل FantasyTalking از نظر واقع گرایی، حفظ هویت، انسجام حرکتی و تطابق صوتیتصویری کیفیت بالاتری ارائه می دهد.
