گوگل با معماری PEER عملکرد مدل های هوش مصنوعی را بهبود می بخشد
تکنیک «ترکیب متخصصان» (MoE) به رویکردی محبوب برای افزایش مقیاس مدل های زبانی بزرگ بدون افزایش هزینه های محاسباتی تبدیل شده است. اکنون دیپ مایند گوگل با معرفی معماری PEER قصد دارد محدودیت های این تکنیک را برطرف کند تا عملکرد هوش مصنوعی را بهبود دهد و هزینه های توسعه آن را تعدیل کند.
در تکنیک MoE به جای استفاده از کل ظرفیت مدل برای هر ورودی، داده ها به ماژول های کوچکی موسوم به «متخصص» هدایت می شوند. بااین حال، تکنیک های فعلی MoE محدودیت هایی دارند که آن ها را منحصر به تعداد نسبتاً کمی از این متخصصان می کند. دیپ مایند گوگل در مقاله ای جدید، معماری PEER را معرفی کرده که می تواند مدل های MOE را به میلیون ها متخصص تقسیم کند و عملکرد محاسباتی مدل های زبانی بزرگ را بهبود بخشد.
چندین مدل هوش مصنوعی محبوب ازجمله Mistral ،Grok و GPT4 از تکنیک MoE بهره می برند.
معماری جدید PEER دیپ مایند گوگل
براساس گزارش VentureBeat، معماری جدید محققان دیپ مایند این باور قدیمی را زیر سؤال می برد که مدل های MoE با تعداد محدودی از «متخصصان» به اوج بازدهی می رسند. PEER نشان می دهد با استفاده از مکانیسم های بازیابی و مسیریابی مناسب، می توان MoE را به میلیون ها «متخصص» تقسیم کرد. این رویکرد می تواند در کاهش بیشتر هزینه ها و پیچیدگی آموزش مؤثر باشد و به ارائه مدل های زبانی بسیار بزرگ کمک کند.
چند سال گذشته، مشخص شد افزایش مقیاس مدل های زبانی با افزایش تعداد پارامترهای آن ها عملکرد و قابلیت های جدید را بهبود می دهد. همچنین محققان دریافته اند که افزایش «دانه بندی» (Granularity) یک مدل MOE که به تعداد متخصصان آن اشاره دارد، می تواند منجر به افزایش عملکرد شود، به ویژه زمانی که همراه افزایش اندازه مدل و داده های آموزشی باشد.
همچنین MoE با دانه بندی بالا می تواند مدل ها را قادر سازد تا دانش جدید را مؤثرتر بیاموزند. بااین حال یکی از محدودیت های فعلی این است که این مدل ها معمولاً مسیریاب های ثابتی دارند که برای تعداد خاصی از متخصصان طراحی شده اند و با اضافه شدن متخصصان جدید نیاز به تنظیم مجدد دارند.
اکنون معماری PEER به مسائل و محدودیت های مقیاس بندی MoE می پردازد. برای هر ورودی، PEER ابتدا از محاسبات اولیه سریع ایجاد فهرست کوتاهی از گزینه های مختلف برای و فعال کردن متخصصان مناسب استفاده می کند. این مکانیسم MoE را قادر می سازد تا تعداد بسیار زیادی از متخصصان را بدون کاهش سرعت مدیریت کند.
گوگل احتمالاً از معماری PEER در مدل های جمینای 1.5 استفاده خواهد کرد.
