جیکوب کاکسون (Jacob Coxon)، پژوهشگر سابق اوپن‌ای‌آی (OpenAI) و شرکت انتروپیک (Anthropic)، با هشدار درباره خطرات هوش مصنوعی از سمت خود استعفا داده است.
فهرست مطالب
پژوهشگر سابق آنتروپیک و هشدار درباره نابودی بشر
وی معتقد است که رقابت شرکت‌های بزرگ برای ساخت سیستم‌های قدرتمندتر می‌تواند در سال‌های آینده به تهدیدی جدی برای بشر تبدیل شود و حتی احتمال دارد هوش مصنوعی تا پایان این دهه همه انسان‌ها را نابود کند.
به گفته کاکسون مشکل اصلی این است که شرکت‌های فعال در این حوزه، با وجود آگاهی از خطرات احتمالی، همچنان با سرعت زیادی به توسعه مدل‌های پیشرفته ادامه می‌دهند. به گفته او، اوپن‌ای‌آی و انتروپیک در رقابت برای ساخت ابرهوشی هستند که بتواند توانایی‌های خودش را بهبود دهد؛ مسیری که اگر کنترل نشود، می‌تواند پیامدهای خطرناکی برای بشر داشته باشد.
کاکسون در توضیح نگرانی خود گفت:
افرادی که هوش مصنوعی را می‌سازند، واقعاً معتقدند که این فناوری ممکن است تا پایان این دهه همه ما را از بین ببرد.
مدیر ارشد انتروپیک: احتمال نابودی بشر بیش از ۱۰ درصد است
نگرانی درباره خطر هوش مصنوعی تنها به کاکسون محدود نمی‌شود. ایوان هوبینگر (Evan Hubinger)، از مدیران ارشد تحقیقات ایمنی هوش مصنوعی در انتروپیک، اعلام کرده است که احتمال نابودی بشر بر اثر هوش مصنوعی در دهه آینده را بیش از ۱۰ درصد می‌داند. با این حال، او تأکید کرده که مدل‌های فعلی چنین خطری ندارند و نگرانی اصلی مربوط به زمانی است که سیستم‌های هوش مصنوعی بتوانند بدون دخالت انسان، خودشان را به‌طور مداوم بهبود دهند و قدرتمندتر شوند.
کاکسون همچنین می‌گوید رقابت شدید میان شرکت‌های هوش مصنوعی، کاهش سرعت توسعه این فناوری را دشوار کرده است. حتی اگر یک شرکت تصمیم بگیرد برای بررسی بیشتر خطرات سرعت خود را کاهش دهد، این نگرانی وجود دارد که رقیبش زودتر به فناوری پیشرفته‌تری دست پیدا کند. او معتقد است شرکت‌های بزرگ باید برای کاهش سرعت این رقابت با یکدیگر همکاری کنند و حتی توقف موقت توسعه برخی قابلیت‌های پیشرفته را در نظر بگیرند.
استعفای کاکسون بار دیگر بحث درباره ایمنی نسل‌های آینده هوش مصنوعی را پررنگ کرده است. نگرانی اصلی او این است که شرکت‌ها پیش از اطمینان از امکان کنترل سیستم‌های بسیار پیشرفته، به سمت ساخت آن‌ها حرکت کنند. از نگاه او، تا زمانی که راه مطمئنی برای همسو نگه‌داشتن رفتار این سیستم‌ها با منافع انسان وجود نداشته باشد، ادامه رقابت برای ساخت هوش مصنوعی قدرتمندتر می‌تواند خطراتی جدی به همراه داشته باشد.
چرا این هشدار با دیگر هشدارها تفاوت دارد؟
هشدار کاکسون از آن جهت اهمیت دارد که از درون همین شرکت‌ها مطرح شده است. او در اوپن‌ای‌آی و انتروپیک کار کرده و از نزدیک با روند توسعه مدل‌های پیشرفته آشناست. وقتی فردی با این پیشینه می‌گوید سازندگان هوش مصنوعی خودشان احتمال نابودی بشر را جدی می‌گیرند، بحث از یک نگرانی عمومی به یک مسئله درونی صنعت تبدیل می‌شود.
محور اصلی نگرانی، مفهوم «ابرهوش» است؛ سیستمی که بتواند توانایی‌های خودش را بهبود دهد. ویژگی خودبهبودی همان چیزی است که کنترل را سخت می‌کند، زیرا سرعت پیشرفت سیستم می‌تواند از سرعت ارزیابی و نظارت انسان جلو بزند. هوبینگر نیز تأکید کرده است که خطر مدل‌های فعلی نیست، بلکه مربوط به مرحله‌ای است که سیستم‌ها بدون دخالت انسان به‌طور مداوم قدرتمندتر می‌شوند.
نکته دیگر، مسئله هماهنگی میان شرکت‌هاست. اگر یک شرکت به‌تنهایی سرعت خود را کاهش دهد اما رقبا این کار را نکنند، آن شرکت در بازار عقب می‌ماند. به همین دلیل کاکسون بر همکاری جمعی و حتی توقف موقت برخی قابلیت‌های پیشرفته تأکید می‌کند. این وضعیت شبیه یک دوراهی است: هیچ بازیگری به‌تنهایی انگیزه کافی برای کاهش سرعت ندارد، اما ادامه همین مسیر برای همه پرخطر است.
ارزیابی ۱۰ درصدی هوبینگر نیز نشان می‌دهد که بحث ایمنی هوش مصنوعی دیگر در حاشیه قرار ندارد. او این احتمال را برای دهه آینده مطرح کرده و همزمان تأکید کرده که خطر مربوط به امروز نیست. همین تفکیک زمانی مهم است؛ چون نشان می‌دهد نگرانی اصلی، آینده‌ای است که هنوز می‌توان برای آن تصمیم گرفت.
بیشتر بخوانید: شکست حقوقی آنتروپیک در برابر پنتاگون پیش از عرضه اولیه ۲ تریلیون دلاری
برای آشنایی با مباحث کلی ایمنی هوش مصنوعی می‌توانید این مدخل ویکی‌پدیا را مطالعه کنید.
پرسش‌های متداول
جیکوب کاکسون کیست؟
او پژوهشگر سابق اوپن‌ای‌آی و شرکت انتروپیک است که با هشدار درباره خطرات هوش مصنوعی از سمت خود استعفا داد.
دلیل اصلی استعفای او چه بود؟
او معتقد است شرکت‌های بزرگ با وجود آگاهی از خطرات، با سرعت زیاد به توسعه مدل‌های پیشرفته ادامه می‌دهند و این رقابت می‌تواند به تهدیدی جدی برای بشر تبدیل شود.
ایوان هوبینگر چه ارزیابی‌ای از خطر دارد؟
این مدیر ارشد تحقیقات ایمنی هوش مصنوعی در انتروپیک، احتمال نابودی بشر بر اثر هوش مصنوعی در دهه آینده را بیش از ۱۰ درصد می‌داند، اما تأکید کرده که مدل‌های فعلی چنین خطری ندارند.
راه‌حل پیشنهادی کاکسون چیست؟
او بر همکاری شرکت‌های بزرگ برای کاهش سرعت رقابت تأکید می‌کند و حتی توقف موقت توسعه برخی قابلیت‌های پیشرفته را تا زمان اطمینان از امکان کنترل این سیستم‌ها در نظر می‌گیرد.
جمع‌بندی
استعفای پژوهشگر سابق آنتروپیک نشان می‌دهد که نگرانی درباره ایمنی هوش مصنوعی به داخل خود شرکت‌های سازنده هم رسیده است. ترکیب هشدار کاکسون درباره رقابت بی‌وقفه و ارزیابی بالای ۱۰ درصدی هوبینگر، این پیام را منتقل می‌کند که کنترل سیستم‌های خودبهبوددهنده، پیش از ساخت آن‌ها باید حل شود.