اجرای مدل هوش مصنوعی Llama 2 روی ویندوز ۹۸
پژوهشگران در کمال تعجب اخیراً مدل زبانی Llama 2 را روی سیستم‌عامل ویندوز ۹۸ با پردازنده پنتیوم II و ۱۲۸ مگابایت رم اجرا کردند.
به گزارش فناور، در آزمایشی جالب و غیرمنتظره، تیم EXO Labs موفق شد مدل زبان بزرگ Llama 2 را روی سیستم‌عامل ویندوز ۹۸ اجرا کند. این پروژه منحصر‌به‌فرد که روی کامپیوتر ۲۶ ساله پنتیوم II با ۱۲۸ مگابایت رم در حال اجرا بود، نشان‌دهنده توانمندی‌های غیرمنتظره فناوری هوش مصنوعی حتی در شرایط سخت و محدود است.
تیم EXO Labs با استفاده از کامپیوتر قدیمی Elonex پنتیوم II با فرکانس ۳۵۰ مگاهرتز، ویندوز ۹۸ را بوت و سپس موتور استنتاج سفارشی خود را راه‌اندازی کرد که بر‌اساس کد Llama2.c آندری کَرپاتی ساخته شده است. این مدل هوش مصنوعی از مدل زبان بزرگ Llama 2 بهره می‌برد.
چالش‌ها و موانع فنی در اجرای مدل روی ویندوز ۹۸
به نقل از تامزهاردور، برای تیم EXO خرید کامپیوتر قدیمی ویندوز ۹۸ از eBay و استفاده از آن به‌عنوان پایه این پروژه کار ساده‌ای بود؛ اما موانع فنی زیادی پیش روی آن‌ها قرار داشت. یکی از مشکلات اصلی انتقال داده‌ها به کامپیوتر قدیمی بود که تیم به استفاده از پروتکل FTP برای انتقال فایل‌ها از‌طریق پورت اترنت دستگاه مجبور شد.
علاوه‌بر این، کامپایل‌کردن کدهای جدید برای ویندوز ۹۸ مشکلی بزرگ‌تر به شمار می‌رفت. خوشبختانه EXO توانست کد Llama2.c آندری کَرپاتی که ۷۰۰ خط کد C خالص برای استنتاج مدل‌های Llama 2 است، به فایل اجرایی سازگار با ویندوز ۹۸ تبدیل کند.
نتایج و چشم‌انداز آینده
با وجود محدودیت‌های سخت‌افزاری، اجرای مدل Llama 2 روی پنتیوم II با سرعت ۳۵۰ مگاهرتز در این سیستم قدیمی، عملکرد موفقی داشته است. طبق پست وبلاگ EXO، اجرای مدل LLM 260K روی این سیستم با سرعت ۳۵/۹ tok/sec انجام شده است. این در حالی است که استفاده از مدل‌های بزرگ‌تر مانند LLM 15M سرعت تولید ۱ tok/sec را به‌همراه داشت و Llama 3.2 1B با سرعت بسیار کُند ۰/۰۰۹۳ tok/sec اجرا شد.
این دستاورد نشان‌دهنده ظرفیت‌های فراوان فناوری‌های هوش مصنوعی است و به‌ویژه در حوزه‌هایی که منابع محدود هستند، می‌تواند به توسعه و گسترش این فناوری‌ها کمک کند. EXO Labs با این پروژه نه‌تنها در پی ارائه نمایش فنی از توانمندی‌های هوش مصنوعی است؛ بلکه به‌دنبال ایجاد زیرساخت‌هایی است که به عموم مردم اجازه دهد تا مدل‌های هوش مصنوعی را به‌راحتی روی هر دستگاهی اجرا کنند.
