اپل در حال توسعه یک ایجنت هوش مصنوعی برای توصیف خیابان‌ها به افراد نابینا است

تیم تحقیقاتی هوش مصنوعی شرکت اپل در حال ایجاد یک ایجنت هوش مصنوعی است که قادر است ویژگی‌های خیابان‌ها را برای افراد نابینا توصیف نماید. این ابزار کمک خواهد کرد تا افراد نابینا بتوانند اطلاعاتی درباره یک منطقه خاص کسب کنند.

دپارتمان تحقیقات یادگیری ماشینی اپل اخیراً مقاله‌ای منتشر کرده است که جزئیات پروژه‌ای به نام SceneScout را تشریح می‌کند. SceneScout یک ایجنت هوش مصنوعی مبتنی بر مدل زبانی وسیع و چندوجهی به شمار می‌آید که می‌تواند تصاویر نمای خیابان را مشاهده کرده، تحلیل کند و آنچه را که دیده است به بیننده توصیف نماید.

ایجنت هوش مصنوعی اپل صحنه‌های مختلف را برای نابینایان توصیف می‌کند

در این مقاله بیان شده است که افراد با کم‌بینی به دلیل ناآشنایی با محیط‌های جدید ممکن است از انجام سفر یا جابه‌جایی اجتناب ورزند. هم‌اکنون ابزارهایی برای توصیف محیط اطراف وجود دارد، از جمله اپلیکیشن Soundscape که توسط مایکروسافت در سال ۲۰۱۸ ارائه شد. با این حال، تمامی این ابزارها به‌گونه‌ای طراحی شده‌اند که در لحظه و در محل استفاده شوند و برای کسب آگاهی ابتدایی نمی‌توان از آنها استفاده کرد.

در اینجا است که SceneScout وارد عمل می‌شود. SceneScout به‌عنوان یک عامل هوش مصنوعی، تعاملات دسترسی‌پذیر را با بهره‌گیری از تصاویر نمای خیابان فراهم می‌آورد و به افراد کم‌بینا یا نابینا این امکان را می‌دهد که توصیفاتی از یک ناحیه را قبل از حرکت به آنجا دریافت کنند.

SceneScout دارای دو حالت عملکرد است که یکی از آنها «پیش‌نمایش مسیر» نام دارد و اطلاعات دقیقی از عناصری که کاربر در طول مسیر مشاهده می‌کند، ارائه می‌دهد. به‌عنوان مثال، می‌تواند به کاربر اطلاع دهد که در یک پیچ، درختان دیده می‌شود و سایر اشیای قابل تشخیص را به او یادآوری کند.

حالت دوم، «کاوش مجازی» نام دارد که به کاربر اجازه می‌دهد به‌صورت آزاد در تصاویر نمای خیابان حرکت کند و در حین این جابه‌جایی مجازی، عناصر موجود در محیط را برای او توصیف می‌کند.

یک مطالعه نشان داده است که SceneScout برای افراد کم‌بینا بسیار کاربردی و مفید است، زیرا اطلاعاتی را فراهم می‌آورد که با روش‌های موجود به آسانی قابل‌دسترس نیست.

همچنین، SceneScout دارای دقت ۷۲ درصدی در توصیف کلی و دقت ۹۵ درصدی در توصیف عناصر بصری پایدار است. با این حال، برخی خطاهای جزئی نیز در عملکرد این ایجنت مشاهده شده است.