مدل هوش مصنوعی چندوجهی متا ImageBind به صورت متن باز معرفی شد

متا از مدل هوش مصنوعی جدیدی رونمایی کرده است که چندین جریان داده مختلف ازجمله متن، صدا، تصویر، دما و اطلاعات حرکتی را به یکدیگر پیوند می دهد. این مدل که ImageBind نام دارد، به صورت متن باز در دسترس عموم قرار می گیرد و سعی می کند مانند انسان رابطه میان داده ها را پیش بینی کند.

مدل هایی مثل میدجرنی، Stable Diffusion و DALLE 2 کلمات را با تصاویر پیوند می دهند تا امکان خلق تصاویر جدید با توصیفات متنی فراهم شود. اما ImageBind قابلیت های وسیع تری دارد. این مدل هوش مصنوعی می تواند میان 6 نوع داده شامل متن، تصویر یا ویدیو، صدا، اندازه گیری های سه بعدی (عمق)، اطلاعات دمایی (حرارت) و داده های حرکتی (IMU یا واحد اندازه گیری اینرسی که مثلاً در گوشی های هوشمند برای تشخیص تغییر حالت دستگاه از عمودی به افقی استفاده می شود) پیوند ایجاد کند.

این کار در شرایطی انجام می شود که لازم نیست تمام احتمالات ممکن، از قبل به هوش مصنوعی آموزش داده شود. می توانید ImageBind را به عنوان یک سیستم یادگیری ماشینی در نظر بگیرید که شباهت بیشتری به یادگیری انسانی دارد. برای مثال، اگر شما در یک محیط شلوغ مثل خیابان ایستاده باشید، مغزتان (عمدتاً به طور ناخودآگاه) محیط را می بیند و صداها را می شنود تا متوجه عبور خودروها، عابران پیاده، ساختمان ها، وضعیت آب وهوا و غیره شود.

مدل متا ImageBind چگونه کار می کند؟

حالا کامپیوترها هم بیشتر به سمت شبیه سازی رابطه میان حواس مختلف انسانی رفته اند تا میان داده های ورودی مختلف پیوند ایجاد کنند. اگر توصیف «یک سگ شکاری با لباس های گندالف که سعی دارد تعادلش را روی یک توپ حفظ کند» را به میدجرنی بدهید و یک تصویر واقع گرایانه از این صحنه دریافت کنید، در طرف مقابل با یک مدل هوش مصنوعی چندوجهی مثل ImageBind احتمالاً می توانید ویدیویی از یک سگ با صداهای مربوطه، مثلاً در یک محیط شهری، بسازید که در اتاقی با دمای مشخص حضور دارد.

ازجمله کاربردهای این مدل قدرتمند می توان به دنیای واقعیت مجازی و متاورس اشاره کرد. برای مثال، در آینده احتمالاً هدستی تولید خواهد شد که بتواند در لحظه یک صحنه سه بعدی واقعی را با مشخصات معین خلق کند.

متا انتظار دارد که این مدل هوش مصنوعی در آینده تعداد «حواس» خود را از شش عدد افزایش دهد. محققان این شرکت می گویند پشتیبانی از حس هایی مثل لامسه، تکلم، بویایی و حتی سیگنال های fMRI مغزی می تواند به غنی ترکردن تجربه استفاده از این مدل ها کمک کند. منتها درحال حاضر به نظر می رسد که هوش مصنوعی جدید متا بیشتر برای امور تحقیقاتی کاربرد داشته باشد.