هوش مصنوعی GPT4o در مکالمه صدای کاربر را بدون اجازه تقلید می کند

OpenAI اخیراً گزارشی از عملکرد GPT4o را منتشر کرده که در آن به محدودیت ها و نقص های امنیتی این مدل و نحوه برطرف کردن آن ها پرداخته است. این گزارش نشان می دهد که در آزمایش ها، حالت صوتی پیشرفته GPT4o گاهی ناگهانی صدای کاربر را بدون اجازه او تقلید کرده است.

در بخشی از گزارش OpenAI درباره GPT4o با عنوان «تولید صدای غیرمجاز»، این شرکت قسمتی را توضیح می دهد که در آن هوش مصنوعی ناگهانی صدای کاربر را تقلید می کند. OpenAI می نویسد: «حین آزمایش، ما موارد نادری را مشاهده کردیم که در آن مدل ناخواسته یک خروجی تولید می کند که در آن صدای کاربر را شبیه سازی کرده است.» در ادامه می توانید این مکالمه را بشنوید:

همان طور که می شنوید، وسط مکالمه مدل هوش مصنوعی با صدای بلندی می گوید: «نه» و سپس با صدای کاربر به صحبت هایش ادامه می دهد.

تقلید صدای کاربر توسط هوش مصنوعی GPT4o

OpenAI در گزارش خود می گوید توانایی مدل هوش مصنوعی برای ایجاد صدایی شبیه به دیگر افراد می تواند منجر به آسیب هایی مانند افزایش کلاهبرداری شود و جعل هویت را تسهیل کند. همچنین این توانایی ممکن است برای انتشار اطلاعات نادرست استفاده شود.

طبق گفته این شرکت، GPT4o می تواند تقریباً هر نوع صدایی را که در داده های آموزشی خود یافت می شود، ازجمله جلوه های صوتی و موسیقی را تولید کند؛ اگرچه OpenAI با دستورالعمل های خاصی مانع این امر می شود. به طورکلی چت بات ها دستورالعملی خاص دارند که کاربران مشاهده نمی کنند؛ برای مثال وقتی فردی با این چت بات مکالمه ای متنی را شروع می کند، دستورالعملی به هوش مصنوعی می گوید: «شما چت بات مفیدی هستید. درباره اعمال خشونت آمیز و غیره صحبت نکنید.»

GPT4o نیز مدل چندوجهی است اما OpenAI برای آن دستورالعمل هایی تعریف می کند تا برخی کارها مانند تقلید صدای کاربران را انجام ندهد.

در گزارش OpenAI به چند مورد نادر تقلید صدای کاربر توسط هوش مصنوعی اشاره شده است. این شرکت همچنین با محدودکردن کاربر به استفاده از صداهایی که OpenAI با همکاری صداپیشگان ایجاد می کند، احتمال تولید صداهای دیگر را کاهش خواهد داد.