الون ماسکمدیرعامل X، تسلا و اسپیس ایکس اعلام کرد که مدل زبان بزرگ GROK 3 را در زیرساختی عظیم با استفاده از تعداد زیادی پردازنده گرافیکی Nvidia آموزش خواهد داد.
طبق پست ماسک در X، آموزش مدل xAI AI با “قدرتمندترین خوشه آموزشی هوش مصنوعی در جهان” با کمک 100000 پردازنده گرافیکی H100 آغاز می شود. ماسک در پست خود عنوان کرد که در این سیستم از خنک کننده مایع استفاده شده است.
تمام پردازنده های H100 بر اساس یک معماری RDMA ساخته شده اند. RDMA (دسترسی به حافظه مستقیم از راه دور) به زیرساخت شبکه ای اشاره دارد که امکان دسترسی مستقیم به حافظه از راه دور را فراهم می کند. این امر تأخیر را کاهش می دهد و توان عملیاتی را افزایش می دهد و آن را برای مراکز داده و پایگاه های داده ایده آل می کند.
فعالیت سیستم آموزشی xAI از ساعت 4:20 صبح به وقت محلی ممفیس آغاز شد. در پست دیگری، ایلان ماسک ادعا کرد که تا پایان سال 2024 قدرتمندترین مدل هوش مصنوعی جهان (GROK 3) را آماده خواهد کرد. این خبر حدود دو هفته پس از لغو قرارداد 10 میلیارد دلاری سرور xAI و Oracle منتشر شد.
استارت آپ هوش مصنوعی ایلان ماسک در ابتدا می خواست فضای ابری اوراکل را اجاره کند، اما تصمیم گرفت سرور اختصاصی خود را بسازد و قرارداد بین آنها که قرار بود چند سال طول بکشد به پایان رسید.
اکنون هدف پروژه xAI یک ابر رایانه بسیار قدرتمند است که با استفاده از صد هزار پردازنده گرافیکی H100 با کارایی بالا به دست می آید. هر H100 تقریباً 30000 دلار قیمت دارد و در حالی که 20000 پردازنده برای توسعه GROK 2 استفاده شده است، GROK 3 برای توسعه چت ربات هوش مصنوعی خود به پنج برابر قدرت بیشتری نیاز دارد.
این تصمیم در حالی اتخاذ می شود که انویدیا پردازنده های جدید H200 خود را در سه ماهه سوم سال جاری عرضه خواهد کرد. H200 پیکربندی حافظه بهتری را ارائه می دهد و در نتیجه زمان پاسخگویی را تا 45 درصد بهبود می بخشد. تیم سبز قرار است پردازنده‌های گرافیکی B100 و B200 را با معماری خیره‌کننده بلک‌ول در اوایل سال 2025 عرضه کنند.
انتظار می رفت مدل xAI AI در نیمه اول سال 2025 آماده شود، اما به نظر می رسد روند آموزش زودتر آغاز شده است. به گفته ایلان، مدل زبان بزرگ Grac 3 تا پایان سال 2024 به طور کامل آموزش داده می شود و خود را به عنوان سریع ترین هوش مصنوعی جهان تثبیت خواهد کرد.
