تکنیک نوین هواوی میزان مصرف حافظه هوش مصنوعی را 70 درصد کاهش می‌دهد

شرکت هواوی به تازگی یک راهکار متن‌باز به نام SINQ را ارائه کرده است که به توسعه‌دهندگان اجازه می‌دهد تا مدل‌های زبانی بزرگ را فشرده کرده و مصرف حافظه آن‌ها را تا ۷۰ درصد کاهش دهند. این ابتکار می‌تواند به اجرای مدل‌های پیشرفته هوش مصنوعی بر روی سخت‌افزارهای با قیمت پایین‌تر کمک کند.

یکی از بزرگ‌ترین چالش‌ها در به‌کارگیری عمومی مدل‌های زبانی بزرگ، ابعاد وسیع و نیاز مفرط آن‌ها به حافظه و توان پردازشی است. عموماً برای اجرای این مدل‌ها، به پردازشگرهای گرافیکی بسیار هزینه‌بر (همچون NVIDIA A100 یا H100 که قیمت آن‌ها به ده‌ها هزار دلار می‌رسد) و هزینه‌های سرسام‌آور سرورهای ابری نیاز است. به همین خاطر، دسترسی به هوش مصنوعی قوی برای پژوهشگران، استارتاپ‌ها و شرکت‌های کوچک‌تر به شدت دشوار می‌باشد.

یک راهکار برای حل این معضل، فرایند به نام کوانتایزاسیون (Quantization) است. در این روش، دقت عددی مدل کاهش می‌یابد (مشابه با کاهش کیفیت یک تصویر به منظور کاهش حجم آن). این کار به کاهش مصرف حافظه و افزایش سرعت کمک می‌کند، اما خطر اصلی آن، افت کیفیت و دقت نتایج مدل است.

تکنیک نوین و متن‌باز هواوی که با نام SINQ شناخته می‌شود، دقیقاً برای غلبه بر این مشکل طراحی شده است. این روش می‌تواند مصرف حافظه را ۶۰ تا ۷۰ درصد کاهش دهد، بدون اینکه کاهش محسوسی در کیفیت خروجی رخ دهد.

روش نوین هواوی برای اجرای هوش مصنوعی بر روی سیستم‌های اقتصادی

کاهش مصرف حافظه در این روش به این معناست که مدلی که قبلاً نیاز به بیش از ۶۰ گیگابایت حافظه داشت، اکنون می‌تواند بر روی سیستمی با حدود ۲۰ گیگابایت حافظه اجرا شود. در عمل، این بدان معناست که می‌توانید به جای استفاده از یک پردازنده ۳۰ هزار دلاری H100، از کارت گرافیکی نظیر NVIDIA GeForce RTX 4090 (با قیمتی حدود ۱۶۰۰ دلار) برای اجرای دقیق آن مدل بهره ببرید. این کاهش هزینه همچنین در استفاده از سرورهای ابری بسیار چشمگیر است.

<pنکته‌ای که شایان توجه است، قرار دادن این روش به‌طور کاملاً متن‌باز توسط هواوی می‌باشد. SINQ با مجوز Apache 2.0 در پلتفرم‌های Github و Hugging Face منتشر شده است؛ این به این معناست که هر فرد یا شرکتی در هر نقطه از جهان می‌تواند به صورت کاملاً رایگان از این کد بهره‌برداری کند، آن را تغییر دهد و حتی در محصولات تجاری خود به کار بگیرد.

با کاهش قابل توجه موانع سخت‌افزاری و مالی، هواوی به جامعه جهانی توسعه‌دهندگان این امکان را می‌دهد تا با کار بر روی مدل‌های بزرگ‌تر و قدرتمندتر، موجی از نوآوری را در اپلیکیشن‌ها و خدمات هوشمند به وجود آورند.