تنها یک هفته پس از عرضه و شگفتی کاربران از عملکردهای کم‌نظیر مدل جدید اوپن‌ای‌آی (OpenAI) با نام GPT-۶ Astra، موج گسترده‌ای از انتقادها فضای مجازی را فرا گرفته است. بسیاری از توسعه‌دهندگان و کاربران حرفه‌ای مدعی هستند که کیفیت پاسخ‌دهی و کدنویسی این مدل به‌طور محسوسی افت کرده است و شرکت اوپن‌ای‌آی احتمالاً برای مهار هزینه‌های سرسام‌آور سرورها، توان محاسباتی مدل را کاهش داده است
افت کیفیت GPT-۶ Astra؛ چه چیزی تغییر کرده است؟
فهرست مطالب
کاربران با انتشار تصاویر مقایسه‌ای گزارش داده‌اند که مدل آسترا اکنون پاسخ‌های سریع‌تر اما سطحی‌تر و پر از خطایی تولید می‌کند. برخی محققان با اجرای مجدد پرامپت‌های روز اول متوجه شدند که کیفیت خروجی نسبت به زمان راه‌اندازی با افت چشمگیری روبه‌رو شده است؛ رویدادی که موجب شده برخی شرکت‌های توسعه نرم‌افزار به نسخه‌های قدیمی‌تر بازگردند.
پرانجل پالیوال (Pranjal Paliwal)، توسعه‌دهنده نرم‌افزار، در شبکه اجتماعی ایکس نوشت:
ما به هوش جامع مصنوعی نرسیده‌ایم، بلکه دچار پس‌رفت شده‌ایم. بازگشتم و کدهایی را که آسترا برایم نوشته بود بررسی کردم و حرفم را پس می‌گیرم؛ چطور ممکن است یک مدل هم‌زمان تا این حد هوشمند و این‌چنین ناتوان باشد!
فرضیه تضعیف عمدی و ابهام در کارایی مدل
کارشناسان این پدیده را ناشی از کاهش عمدی منابع پردازشی اختصاص‌یافته به هر درخواست یا استفاده از تکنیک‌های فشرده‌سازی ریاضی مدل موسوم به کوانتیزه‌سازی (Quantization) می‌دانند؛ رویکردی که هزینه‌های زیرساختی اوپن‌ای‌آی را کاهش می‌دهد، اما دقت پردازش را فدا می‌کند. این در حالی است که هزینه استفاده از این مدل همچنان ۱۰ دلار به ازای هر ۱ میلیون توکن ورودی و ۵۰ دلار به ازای هر ۱ میلیون توکن خروجی است که ۲.۵ برابر نسل‌های پیشین محسوب می‌شود.
فروکش کردن هیجان اولیه یا افت واقعی؟
در این میان، گروهی از تحلیل‌گران باور دارند که افت محسوسی در هسته مدل ایجاد نشده، بلکه فروکش کردن موج هیجان اولیه پس از عرضه، فرصت را برای سنجش دقیق‌تر کاستی‌ها و ناسازگاری‌های نگارشی فراهم کرده است. با این حال، تکرار این سناریو که پیش از این برای مدل‌های قبلی نیز رخ داده بود، بار دیگر این پرسش را به میان می‌آورد که آزمایشگاه‌های بسته هوش مصنوعی تا چه میزان در مدیریت توان سامانه‌های خود شفاف هستند.
نکته مهم این است که «افت کیفیت» در مدل‌های زبانی یک مفهوم واحد نیست. بخشی از آن می‌تواند به تغییر در تخصیص منابع پردازشی مربوط باشد، بخشی به تنظیمات سمت سرویس برای کاهش تأخیر و بخشی نیز به انتظارات کاربر. کسی که روز اول با یک پرامپت ساده پاسخ درخشان گرفته، همان پاسخ را در روز هفتم با همان پرامپت انتظار دارد؛ اما شرایط سرویس، بار سرور و نسخه مدل ممکن است تغییر کرده باشد.
کوانتیزه‌سازی، در این میان، متهم اصلی است. فشرده‌سازی ریاضی وزن‌های مدل می‌تواند هزینه اجرا را به‌طور محسوس کاهش دهد، اما در وظایف حساس به دقت — مانند کدنویسی، استدلال چندمرحله‌ای و محاسبات عددی — خطاهای کوچک را بیشتر می‌کند. کاربران دقیقاً در همین حوزه‌ها بیشترین شکایت را مطرح کرده‌اند: کدی که کامپایل نمی‌شود، پاسخی که ظاهر قوی دارد اما جزئیاتش نادرست است و متنی که روان است اما به پرسش اصلی پاسخ نمی‌دهد.
مقایسه قیمت نیز به همین بحث دامن می‌زند. وقتی هزینه ورودی ۱۰ دلار و خروجی ۵۰ دلار به ازای هر ۱ میلیون توکن است و این رقم ۲.۵ برابر نسل‌های پیشین محسوب می‌شود، کاربر انتظار دارد کیفیت نیز به همان نسبت ارتقا یابد. اگر تجربه او خلاف این را نشان دهد، احساس «پس‌رفت» شکل می‌گیرد، حتی اگر بخشی از آن ناشی از انتظار بالاتر باشد. همین شکاف میان قیمت و تجربه، به سوخت اصلی بحث‌های شبکه‌های اجتماعی تبدیل شده است.
بیشتر بخوانید: شرکت اوپن‌ای‌آی در کمتر از ۷۲ ساعت با هوش مصنوعی کلود هک شد
گزارش‌های بیشتر درباره محصولات اوپن‌ای‌آی را می‌توانید در رویترز دنبال کنید.
پرسش‌های متداول
کاربران چه تغییری در GPT-۶ Astra گزارش کرده‌اند؟
آنها می‌گویند پاسخ‌ها سریع‌تر اما سطحی‌تر و پرخطاتر شده و کیفیت کدنویسی نسبت به روزهای اول عرضه افت کرده است.
علت احتمالی این افت چیست؟
کارشناسان کاهش عمدی منابع پردازشی اختصاص‌یافته به هر درخواست یا استفاده از کوانتیزه‌سازی برای کاهش هزینه‌های زیرساختی را محتمل می‌دانند.
هزینه استفاده از این مدل چقدر است؟
۱۰ دلار به ازای هر ۱ میلیون توکن ورودی و ۵۰ دلار به ازای هر ۱ میلیون توکن خروجی؛ رقمی که ۲.۵ برابر نسل‌های پیشین محسوب می‌شود.
آیا همه تحلیل‌گران افت واقعی را تأیید می‌کنند؟
نه؛ گروهی معتقدند افت محسوسی در هسته مدل رخ نداده و فروکش کردن هیجان اولیه پس از عرضه، فرصت سنجش دقیق‌تر کاستی‌ها را فراهم کرده است.
جمع‌بندی
بحث بر سر افت کیفیت GPT-۶ Astra تنها یک شکایت کاربری نیست؛ پرسشی درباره شفافیت آزمایشگاه‌های بسته هوش مصنوعی در مدیریت توان سامانه‌هایشان است. کاهش منابع پردازشی یا کوانتیزه‌سازی می‌تواند هزینه‌ها را پایین بیاورد، اما اگر تجربه کاربر را ضعیف کند، اعتماد به محصول را هدف می‌گیرد. پاسخ نهایی به انتشار داده‌های مستقل و مقایسه‌های قابل تکرار بستگی دارد.