معرفی بنچمارک جدید سونی برای ارزیابی تعصب در هوش مصنوعی

سونی در بخش هوش مصنوعی خود بنچمارک جدیدی با هدف ارزیابی انصاف و تعصب مدل‌های هوش مصنوعی معرفی کرده است که تحت عنوان «معیار تصویر انسان‌محور منصفانه» یا به اختصار (FHIBE) شناخته می‌شود. این شرکت به‌طور واضح اعلام کرده که هیچ مجموعه داده‌ای از شرکت‌های دیگر قادر به برآورده کردن کامل استانداردهای خاص این بنچمارک نبوده است.

براساس گزارش‌های ارائه‌شده، سونی اذعان کرده است که FHIBE می‌تواند به حل مسائل اخلاقی و تعصبی در صنعت هوش مصنوعی یاری رساند. این مجموعه شامل تصاویری از نزدیک به 2000 شرکت‌کننده از بیش از 80 کشور مختلف است، که تصاویری که در این مجموعه وجود دارد، با رضایت کامل افراد به اشتراک گذاشته شده‌اند. همچنین شرکت‌کنندگان این امکان را دارند که در هر زمان اقدام به حذف تصاویر خود کنند.

تصاویر موجود در این مجموعه همراه با یادداشت‌هایی در خصوص ویژگی‌های دموگرافیک، مشخصات فیزیکی، عوامل محیطی و حتی تنظیمات دوربین ارائه شده‌اند.

موارد مختلف از تعصب مدل‌های هوش مصنوعی

ابزار جدید سونی، «تعصبات مستند شده پیشین» موجود در مدل‌های هوش مصنوعی معاصر را تأیید کرده است. با این حال، سونی اعلام کرده است که FHIBE می‌تواند تشخیص‌های دقیق‌تری از عواملی که موجب این تعصبات شده‌اند، ارائه دهد. به‌عنوان نمونه، برخی مدل‌ها در شناسایی افرادی که از ضمایر «she/her/hers» استفاده می‌کنند، عملکرد ضعیف‌تری داشته‌اند و FHIBE تغییرات بیشتری در مدل‌های موی افراد را به‌عنوان یکی از عوامل نادیده‌گرفته‌شده شناسایی کرده است.

FHIBE همچنین نشان داده که مدل‌های هوش مصنوعی کنونی در مواجهه با سؤالات بی‌طرفانه درباره شغل یک فرد، به تقویت کلیشه‌های فرهنگی مشغول هستند. این مدل‌ها به‌ویژه نسبت به گروه‌های خاص با توجه به ضمایر و پیشینه قومی، تمایل به نسبت دادن عناوینی مانند فروشندگان مواد مخدر یا دزد به آن‌ها دارند. زمانی که این مدل‌ها درباره جرایم افراد قضاوت می‌کنند، برخی از آن‌ها پاسخ‌های «سمی» بیشتری نسبت به افرادی با پیشینه‌های آفریقایی یا آسیایی، همچنین کسانی که دارای پوست تیره‌تر بوده یا خود را با ضمیر «he/him/his» معرفی می‌کنند، تولید کرده‌اند.

شرکت سونی بر این باور است که FHIBE به وضوح نشان می‌دهد که جمع‌آوری داده‌ها می‌تواند به‌صورت اخلاقی، متنوع و منصفانه انجام شود. این ابزار اکنون در دسترس عموم قرار گرفته و با گذشت زمان به‌روزرسانی خواهد شد. مقاله‌ای که به تحلیل‌های سونی مربوط می‌شود نیز در مجله Nature منتشر شده است.