در یک مطالعه انقلابی، محققان دانشگاه کالیفرنیا روشی را برای اجرای مدل های زبان بزرگ (LLM) با میلیاردها پارامتر با استفاده از تنها 13 وات برق ارائه کرده اند. در مقایسه، لامپ ها معمولاً حدود 100 وات انرژی مصرف می کنند. نکته دیگر اینکه مصرف انرژی مدل های هوش مصنوعی با روش جدید 50 برابر کمتر از مصرف انرژی کارت های گرافیک قدرتمند مراکز داده مانند Nvidia H100 و H200 است که نیاز به 700 وات برق دارند و حتی مدل آینده Blackwell B200 که 1200 وات در هر کارت مصرف می کند. ، بهینه تر است.
در تحقیقات محققان کالیفرنیا، از سخت‌افزار FPGA سفارشی برای دستیابی به مصرف انرژی بسیار بهینه برای پیاده‌سازی مدل‌های زبان بزرگ استفاده شد و محققان تاکید کردند که بخش بزرگی از این صرفه‌جویی را می‌توان از طریق نرم‌افزار منبع باز و تنظیمات سیستم موجود به دست آورد. راز اصلی این توسعه حذف عملیات ضرب ماتریس (MatMul) از فرآیندهای آموزش و استنتاج مدل‌های هوش مصنوعی است.
ممکن است بپرسید چگونه می توان ضرب ماتریس را از شبکه های عصبی بدون از دست دادن عملکرد و دقت حذف کرد؟ محققان با ترکیب دو روش به این امر دست یافته اند. اولین راه حل این است که سیستم اعداد را به یک سیستم سه تایی با اعداد -1، 0 و 1 تغییر دهید. این تغییر به جای ضرب اعداد، محاسبات را با جمع ساده انجام می دهد. در مرحله بعد، شبکه با تبدیل محاسبات مبتنی بر زمان به معادلات، حافظه موثری را به دست می آورد که با انجام عملیات ساده تر، عملکرد سریع تری را ارائه می دهد.
محققان از مدل LLaMa متا به عنوان مرجع در سیستم خود استفاده کردند. این تحقیق از مقاله مایکروسافت در مورد استفاده از اعداد سه حالته در شبکه های عصبی الهام گرفته شده است، با این تفاوت که مایکروسافت تا حد حذف ضرب ماتریس یا رمزگشایی مدل خود پیش نرفت.
در نهایت، تحقیقات محققان دانشگاه کالیفرنیا با مسئله بهینه سازی به پایان می رسد. راستی روی-جی ژویکی از دانشجویان تحصیلات تکمیلی که روی این مقاله کار کرده است، عملیات پرمصرف را جایگزین عملیات کم مصرف کردند. هنوز مشخص نیست که آیا رویکرد جدید می تواند به طور کلی برای راه حل های هوش مصنوعی و مدل های زبان بزرگ اعمال شود یا خیر. با این حال، اگر روش جدید وارد فاز عملیاتی شود، این پتانسیل را دارد که چشم انداز هوش مصنوعی را به طور چشمگیری تغییر دهد.
سال گذشته شاهد عطش سیری ناپذیر شرکت های پیشرو در زمینه هوش مصنوعی برای مصرف برق بودیم. تحقیقات محققان دانشگاه کالیفرنیا نشان می‌دهد که بخش بزرگی از این رقابت تنها برای پیشروی در بازار و با استفاده از روش‌های پردازش ناکارآمد انجام شده است. کارشناسان برجسته ای مانند مدیرعامل ARM هشدار داده اند که اگر تقاضای برق از هوش مصنوعی با این میزان افزایش یابد، تا سال 2030 یک چهارم برق مصرفی در ایالات متحده را به خود اختصاص می دهد. بنابراین کاهش مصرف برق به یک -پنجم مبلغ فعلی پیشرفت بزرگی محسوب می شود.
