بایت‌دنس از نسخه 1.0 هوش مصنوعی Seed3D رونمایی کرد؛ تبدیل تصاویر به مدل‌های سه‌بعدی

کمپانی بایت‌دنس، که به عنوان شرکت مادر تیک‌تاک شناخته می‌شود، به تازگی از یک ابزار هوش مصنوعی پیشرفته به نام Seed3D 1.0 رونمایی کرده است. این ابزار فراتر از یک مولد مدل سه‌بعدی معمولی عمل می‌کند و قادر است یک تصویر دوبعدی ساده را به یک مدل سه‌بعدی کامل و آماده برای شبیه‌سازی تبدیل کند.

ابزارهایی نظیر Gaussian Splatting و پروژه‌های متن‌بازی مانند Hunyuan3D در عرصه تولید محتوای سه‌بعدی عملکرد برجسته‌ای را از خود نشان می‌دهند، اما بایت‌دنس ادعا می‌کند که Seed3D 1.0 در زمینه کیفیت بافت و هندسه، رقبای متن‌باز و بسته را به چالش می‌کشد. جالب توجه است که این ابزار با سیستم ۱.۵ میلیارد پارامتری خود، به چنین کیفیتی دست یافته و حتی مدل‌های بزرگ‌تری مانند Hunyuan3D 2.1 (که دارای ۳ میلیارد پارامتر است) را نیز پشت سر گذاشته است.

نوآوری اصلی ابزار Seed3D 1.0 در استراتژی تولید مرحله به مرحله آن نهفته است: ۱. در گام اول، تصویر ورودی با استفاده از یک مدل زبان-بینایی (VLM) تحلیل شده و اشیاء و ویژگی‌های فضایی آنها استخراج می‌شود. ۲. سپس برای هر شیء شناسایی شده، یک مدل سه‌بعدی مجزا ایجاد می‌گردد. ۳. در نهایت، تمامی مدل‌های سه‌بعدی تولید شده با توجه به چیدمان فضایی پیش‌بینی شده توسط VLM، در یک صحنه کامل ادغام می‌شوند.

مدل Seed3D 1.0 بایت‌دنس

در مقایسه با بسیاری از مدل‌های مشابه، خروجی‌های Seed3D 1.0 تنها به اهداف تحقیقاتی یا رندرهای ساده محدود نمی‌شوند؛ این مدل‌ها به‌طور خاص «آماده شبیه‌سازی» به حساب می‌آیند. به عنوان مثال، می‌توان این مدل‌ها را به‌صورت مستقیم در پلتفرم‌های شبیه‌سازی مانند Isaac Sim (وابسته به انویدیا) برای آموزش ربات‌ها به کار گرفت.

زمانی که یک مدل سه‌بعدی به شبیه‌ساز بارگذاری می‌شود، VLM به ارزیابی اندازه واقعی شیء پرداخته و سپس Isaac Sim به صورت خودکار مش‌های برخورد (Collision Mesh) مورد نیاز را برای آن تولید می‌کند. این قابلیت باعث می‌شود که شبیه‌سازی‌هایی مانند برداشتن اشیا به وسیله یک بازوی رباتیک، به سرعت و بدون نیاز به تنظیمات دستی پیچیده آغاز گردد.

علاوه بر این، Seed3D 1.0 توانایی ایجاد صحنه‌های کامل را نیز دارد؛ این ابزار می‌تواند یک شیء واحد (مانند یک صندلی) یا یک فضای داخلی کاملاً جزئی (مانند یک دفتر کار) و حتی یک منظر شهری وسیع را تولید کند. براساس ارزیابی‌های انسان‌محور، Seed3D 1.0 در شش بُعد کلیدی؛ از جمله جزئیات دقیق و بازسازی ویژگی‌های پیچیده، عملکردی قوی و رقابتی را از خود به نمایش گذاشته و در بنچمارک‌های هندسی (مانند ULIP-I و Uni3D-I) نیز موفق به پیشی گرفتن از رقبای خود شده است.