انویدیا از TensorTRLLM برای افزایش سرعت مدل های زبانی در ویندوز رونمایی کرد
انویدیا در بازار سخت افزارهای هوش مصنوعی مولد حکمرانی می کند و سخت افزارهای این شرکت در دیتاسنترهای شرکت هایی مانند مایکروسافت و OpenAI برای چت بات هایی مانند بینگ چت و ChatGPT مورد استفاده قرار می گیرد. حالا انویدیا از نرم افزار جدیدی رونمایی کرده است که TensorRTLLM نام دارد و عملکرد مدل های زبانی بزرگ (LLM) را بهبود می بخشد.
انویدیا در یک پست از این ابزار متن باز جدید رونمایی کرده است؛ البته باید به این موضوع اشاره کنیم که قبل از این، TensorTRLLM برای دیتاسنترها عرضه شده بود و حالا در اختیار کاربران ویندوزی قرار گرفته است. این ابزار سرعت اجرای مدل های زبانی بزرگ را روی کامپیوترهای ویندوزی مجهز به گرافیک های جی فورس RTX تا 4 برابر افزایش می دهد.
ابزار TensorRTLLM برای کاربران و توسعه دهندگان مفید خواهد بود
انویدیا در پست مربوط به معرفی این ابزار گفته است که TensorRTLLM برای توسعه دهندگان و کاربران عادی مفید خواهد بود:
«در ابعاد بزرگ، این شتاب دهنده می تواند به طور قابل توجهی تجربه استفاده از مدل های زبانی پیچیده را بهبود ببخشد؛ مدل هایی مانند دستیارهای متن نویسی و کدنویسی که نتایج را به طور هم زمان تکمیل می کنند. نتیجه این رویکرد، عملکرد سریع تر و کیفیت بهتر است که به کاربران اجازه می دهد که بهترین ها را کنند.»
انویدیا با انتشار تصویری، نحوه عملکرد TensorRTLLM را نشان داده است. در این مثال، مدل استاندارد LLaMa 2 جواب دقیقی نمی دهد، اما زمانی که با TensorRTLLM جفت می شود نه تنها جواب دقیق تری می دهد، بلکه سریع تر هم پاسخ می دهد.
