آپدیت LLM Runner Llamafile: افزایش عملکرد 10 برابری برای پردازنده های AMD Ryzen

به تازگی خبرهای جدیدی به گوش می رسد مبنی بر این که آخرین آپدیت Llamafile، با استفاده از دستورالعمل های AVX512 عملکرد پردازنده های Ryzen شرکت AMD را تا 10 برابر افزایش خواهد داد.

با این اوصاف به نظر می رسد که اجرای مدل های Hefty LLM در سیستم های محلی با جدیدترین به روزرسانی Llamafile آسان تر شده است زیرا پردازنده های AMD Ryzen با AVX512، به طور چشمگیری بوست می شوند.

در همین رابطه، فورونیکس (Phoronix) گزارش داده است که آخرین به روزرسانی Llamafile اکنون از مجموعه دستورالعمل های AVX512 پشتیبانی خواهد کرد و به پردازنده هایی که از این دستورالعمل بهره می برند اجازه می دهد در حین استفاده از نرم افزار، شاهد افزایش عملکرد قابل توجهی باشند. به علاوه گزارش شده است که پردازنده های Zen 4 Ryzen شرکت AMD با به روزرسانی جدید، امکان ارزیابی سریع تر تا حداکثر 10 برابر را تجربه خواهند کرد، که در نهایت عملکرد بسیار کارآمدتر LLM را در این ابزار فراهم می کند.

اعتبار تصویر: Mozilla Ocho از طریق Github

آشنایی با Llamafile: ابزار توسعه یافته توسط Mozilla Ocho برای اجرای مدل های LLM

برای کسانی که از Llamafile آگاه نیستند باید گفت که می توان آن را با یک فایل اجرایی منفرد که یک مدل LLM را با کتابخانه های لازم برای اجرای آن ترکیب می کند، اجرا کرد. Mozilla Ocho این ابزار را توسعه داده است و هدف آن این است که LLM ها را با استفاده از اجرای پردازنده و گرافیک برای مخاطبان بزرگتر در دسترس قرار دهد. این ابزار در بین توسعه دهندگان موفقیت چشمگیری داشته است، به خصوص از آنجایی که نیاز به گزینه های پرهزینه برای دسترسی به LLM را از بین می برد. با این وجود باید درنظر داشته باشید که، Llamafile هنوز در مراحل اولیه تولید است، از این رو نشانه هایی از عدم دقت در رابطه با آن دیده می شود، که البته ما معتقدیم زمانی که روند و تکنولوژی های مرتبط با محاسبات لبه (Edge Computing) شتاب گرفت، این کاستی ها نیز به سرعت برطرف خواهند شد.

آمادگی برای آزمایش Llamafile: نگاهی به ارتقاء عملکرد و پشتیبانی از AVX512 در پردازنده های Ryzen AMD و اینتل

در نهایت باید به این نکته اشاره کرد که ارتقاء عملکرد جدید هنوز آزمایش نشده است، با این وجود فورونیکس بیان می کند که آن ها برنامه هایی برای آزمایش نسخه Llamafire 0.7 جدید در آینده، هم در سیستم های شرکت AMD و هم نمونه های کمپانی اینتل، دارند. از اینجا می توانید از طریق GitHub به آخرین نسخه دسترسی داشته باشید. توجه داشته باشید که پردازنده های Ryzen شرکت AMD تنها پردازنده های بخش مصرف کننده ای هستند که از دستورالعمل AVX512 پشتیبانی می کنند. در عین حال، شرکت اینتل از پشتیبانی از AVX512 در پردازنده های خود دست کشیده است، زیرا این موضوع تاثیر منفی بر فروش پردازنده های Xeon این شرکت گذاشته بود. همچنین باید گفت، این آپدیت به پلتفرم Ryzen AMD برای کاربرانی که می خواهند از برنامه هایی استفاده کنند که از دستورالعمل AVX512 بهره می برند، برتری خواهد داد.

امتیاز: 5.0 از 5 (3 رای)

کمی صبر کنید…