مرکز استانداردها و نوآوری هوش مصنوعی (CAISI)، وابسته به مؤسسه ملی استاندارد و فناوری (NIST) ایالات متحده، در گزارشی اعلام کرد که قدرتمندترین مدل هوش مصنوعی چین یعنی دیپ سیک (DeepSeek) V۴ Pro، حدود ۸ ماه از مدل‌های پیشرو آمریکایی عقب‌تر است.
فهرست مطالب
هوش مصنوعی دیپ سیک در گزارش CAISI
بر اساس این ارزیابی، هرچند دیپ سیک توانمندترین مدل چینی تا به امروز محسوب می‌شود، اما فاصله فنی آن با رقبای غربی با گذشت زمان در حال افزایش است. این نتیجه برای فعالان اکوسیستم هوش مصنوعی چین نگران‌کننده است، زیرا نشان می‌دهد پیشرفت مدل‌های داخلی نه‌تنها شکاف را پر نکرده، بلکه روند عقب‌ماندگی ادامه دارد.
این نهاد دولتی به جای میانگین‌گیری ساده از نمرات بنچمارک، از روش آماری نظریه پاسخ سؤال (IRT) برای تخمین توانایی‌های نهفته مدل‌ها استفاده کرده است. در این رتبه‌بندی، مدل GPT-۵.۵ با ۱۲۶۰ امتیاز در صدر قرار دارد، در حالی که دیپ سیک V۴ Pro با کسب ۸۰۰ امتیاز، در جایگاهی نزدیک به نسخه ضعیف‌تر و قدیمی‌تر GPT-۵.۴ mini قرار گرفته است. استفاده از IRT به این معناست که ارزیابان تلاش کرده‌اند دشواری پرسش‌ها را نیز در محاسبه لحاظ کنند تا مقایسه مدل‌ها واقعی‌تر باشد.
اختلاف در نتایج بنچمارک‌های عمومی و خصوصی
گزارش CAISI نشان می‌دهد که شکاف عملکردی در بنچمارک‌های حوزه امنیت سایبری و مهندسی نرم‌افزار بسیار چشم‌گیر است؛ به طوری که در تست امنیت سایبری، مدل GPT-۵.۵ به دقت ۷۱ درصد دست یافت، در حالی که دیپ سیک تنها ۳۲ درصد از سوالات را پاسخ داد. این تفاوت در وظایفی که به مهارت‌های عملی و زنجیره‌ای نیاز دارند، بیش از سایر حوزه‌ها دیده می‌شود.
با این حال، در بنچمارک‌های عمومی نظیر حل مسائل ریاضی المپیاد، دیپ سیک با دقت ۹۷ درصدی فاصله بسیار کمی با رقبای خود دارد. همین موضوع باعث شده برخی کارشناسان نتیجه‌گیری کلی درباره عقب‌ماندگی هشت‌ماهه را نادرست یا حداقل ناقص بدانند، زیرا تصویر عملکرد مدل در همه حوزه‌ها یکسان نیست.
بسیاری از تحلیل‌گران و توسعه‌دهندگان به شفافیت گزارش CAISI انتقاد کرده‌اند. به گفته آن‌ها، بخش مهمی از این ارزیابی بر پایه بنچمارک‌هایی انجام شده که عمومی نیستند؛ بنابراین دیگران نمی‌توانند نتایج آن را بررسی یا بازتولید کنند. در پژوهشی که داده‌های خام و روش آزمون آن در دسترس نباشد، اعتبار نتیجه برای جامعه فنی محل تردید خواهد بود.
در همین زمینه، توسعه‌دهنده‌ای با نام مستعار اگزوبیت (Ex0bit) در شبکه اجتماعی ایکس نوشت:
هیچ شکافی وجود ندارد و هیچ‌کس ۸ ماه عقب نیست. ما با هر بار عرضه مدل‌های بسته آمریکایی مورد تمسخر قرار گرفتیم، اما با مدل‌های متن‌باز قدرت خود را نشان دادیم.
برای آشنایی بیشتر با سابقه این شرکت چینی و مدل‌های آن می‌توانید صفحه دیپ سیک در ویکی‌پدیا را مطالعه کنید.
بیشتر بخوانید: رونمایی شرکت چینی از قدرتمندترین هوش مصنوعی متن‌باز برای برنامه‌نویسی
گزارش CAISI دقیقاً چه ادعایی دارد؟
این گزارش می‌گوید قدرتمندترین مدل چینی، یعنی دیپ سیک V۴ Pro، حدود ۸ ماه از مدل‌های پیشرو آمریکایی عقب‌تر است و این فاصله در حال افزایش است. ارزیابی بر پایه امتیازدهی IRT انجام شده و در آن GPT-۵.۵ با ۱۲۶۰ امتیاز بالاتر از دیپ سیک با ۸۰۰ امتیاز قرار گرفته است.
چرا نتایج این گزارش بحث‌برانگیز شده است؟
بخش مهمی از آزمون‌ها بر بنچمارک‌های غیرعمومی متکی است و دیگر پژوهشگران نمی‌توانند آن‌ها را بازتولید کنند. به همین دلیل منتقدان می‌گویند نتیجه‌گیری کلی درباره عقب‌ماندگی هشت‌ماهه، تصویر کاملی از توانایی مدل ارائه نمی‌دهد.
دیپ سیک در کدام آزمون‌ها بهتر عمل کرده است؟
در بنچمارک‌های عمومی مانند حل مسائل ریاضی المپیاد، دیپ سیک دقت ۹۷ درصدی داشته و فاصله‌اش با رقبا کم است. در مقابل، در تست امنیت سایبری تنها ۳۲ درصد سوالات را پاسخ داده، در حالی که GPT-۵.۵ به دقت ۷۱ درصد رسیده است.
واکنش توسعه‌دهندگان به این ارزیابی چه بود؟
برخی توسعه‌دهندگان از جمله فردی با نام مستعار اگزوبیت، ادعای وجود شکاف هشت‌ماهه را رد کردند. آن‌ها معتقدند مدل‌های متن‌باز توان خود را نشان داده‌اند و مقایسه بر پایه آزمون‌های غیرشفاف نمی‌تواند مبنای قضاوت باشد.
جمع‌بندی
گزارش CAISI تصویری دوگانه از دیپ سیک ارائه می‌دهد؛ یک سو، فاصله آشکار در آزمون‌های امنیت سایبری و مهندسی نرم‌افزار، و سوی دیگر، عملکرد نزدیک به رقبا در ریاضیات. آنچه این ماجرا را پیچیده می‌کند، شفافیت نداشتن بخشی از بنچمارک‌ها و نبود امکان بازتولید نتایج است. تا زمانی که داده‌های کامل آزمون منتشر نشود، قضاوت قطعی درباره میزان واقعی عقب‌ماندگی دیپ سیک دشوار خواهد بود و بحث میان طرفداران مدل‌های متن‌باز و منتقدان ارزیابی دولتی ادامه پیدا می‌کند.