با این پلتفرم عملکرد چت بات های هوش مصنوعی را با یکدیگر مقایسه کنید

از زمان محبوبیت ChatGPT در نوامبر گذشته، چت بات های زیاد دیگری نیز راه اندازی شده اند که به عنوان رقیب ChatGPT عمل می کنند. این چت بات ها از نظر LLM (مدل زبانی بزرگ)، قیمت، رابط کاربری، دسترسی به اینترنت و موارد دیگری متفاوت هستند و برای آسان ترکردن مقایسه آن ها، یک سازمان تحقیقاتی به نام Model Systems Organization که توسط دانشجویان و اساتید «دانشگاه کالیفرنیا، برکلی» تأسیس شده، از Chatbot Arena رونمایی کرده است.

Chatbot Arena یک پلتفرم بنچمارک گیری برای مدل های زبانی بزرگ است که به کاربران اجازه می دهد چت بات ها را با یکدیگر مقایسه کند. برای آزمایش چت بات ها با این پلتفرم، کاربران ابتدا باید یک درخواست را ارائه کنند و سپس دو مدل به طور تصادفی پاسخ هایی را ارائه می کنند و کاربران بدون اینکه از LLM هر مدل اطلاعی داشته باشند، بهترین پاسخ را می کنند.

پس از اینکه کاربران بهترین پاسخ ارائه شده توسط یکی از دو چت بات را کردند، نام آن نمایش داده می شود.

به عنوان مثال، در آزمایش زیر از دو چت بات خواسته شده است تا یک نامه درخواست مرخصی بنویسد. پس از ارائه پاسخ های متفاوت و گزینه موردنظر، متوجه می شوید که یکی از چت بات ها koala13b و دیگری vicuna13b نام دارد.

برترین چت بات

سپس در صفحه تابلوی امتیازات (Leaderboard)، رتبه بندی تمام LLMها نمایش داده می شود که نتایج آزمایش کاربران تأثیر زیادی بر آن دارد و از سیستم رده بندی Elo استفاده می کند که در زمینه محاسبه سطح مهارتی بازیکنان رشته های ورزشی کاربرد دارد. طبق این صفحه، درحال حاضر GPT4 از OpenAI پیشرفته ترین LLM محسوب می شود و امتیاز Elo آن 1227 است. Claudev1 که توسط Anthropic توسعه یافته، با امتیاز 1227 در جایگاه دوم قرار دارد.

در جایگاه هشتم این لیست نیز نام PaLMChatBison001 دیده می شود که یکی از زیرمجموعه های PaLM 2، مدل زبانی بزرگ هوش مصنوعی Bard گوگل است.

علاوه براین، وب سایت ChatBot Arena بخش دیگری نیز دارد که از طریق آن می توانید یک چت بات مشخص را آزمایش کنید یا دو مدل مشخص را با یکدیگر مقایسه کنید. اگر می خواهید LLM خاصی را آزمایش کنید، این ویژگی می تواند مفید باشد.