در ماه‌های اخیر، بحث درباره توانایی‌های فزایندۀ هوش مصنوعی از سطح رقابت میان شرکت‌های فناوری فراتر رفته و به مسئلۀ کنترل‌پذیری و ایمنی این سامانه‌ها رسیده است. در این میان، برخی رخدادهای مربوط به رفتار خودمختار مدل‌های هوش مصنوعی و توانایی آن‌ها در برقراری ارتباط، خروج از محیط‌های آزمایشی و انجام فعالیت‌های پیش‌بینی‌نشده، نگرانی‌هایی جدی را در میان بخشی از پژوهشگران این حوزه برانگیخته است. نیت سوارس، رئیس مؤسسۀ پژوهش هوش ماشینی، در مقاله‌ای که ۱۳ اوت ۲۰۲۶ در بخش دیدگاه روزنامۀ نیویورک‌تایمز منتشر شد، با تکیه بر همین رخدادها استدلال می‌کند که سرعت توسعۀ هوش مصنوعی از ظرفیت فعلی ما برای درک و کنترل پیامدهای آن پیشی گرفته است.
سوارس در این مقاله به نمونه‌هایی از رفتار مدل‌های اوپن‌ای‌آی و آنتروپیک اشاره می‌کند و از شکل‌گیری گروه‌هایی از عامل‌های هوش مصنوعی، تلاش برای خروج از محیط‌های کنترل‌شده، حملات سایبری و تقلید هویت انسان‌ها سخن می‌گوید. او در عین حال تأکید می‌کند که هنوز با نوع هوش مصنوعی‌ای که بتواند تهدیدی واقعی برای بقای بشر ایجاد کند، مواجه نیستیم و از همین رو، به باور او، هنوز فرصتی برای ایجاد سازوکارهای نظارتی و توافق‌های بین‌المللی وجود دارد.
آنچه در ادامه می‌خوانید ترجمۀ بخش‌های مهم این مقاله است؛ متنی که در آن نویسنده با لحنی هشداردهنده، مسئلۀ کنترل هوش مصنوعی و ضرورت ایجاد محدودیت‌های بین‌المللی برای توسعۀ آن را بررسی می‌کند.
برخی از کسانی که بیشترین نزدیکی را با این فناوری دارند، از آنچه در پیش است ترسیده‌اند. ممکن است شکاکان بگویند همه این‌ها صرفاً بخشی از بازاریابی برای بزرگ‌نمایی توانایی‌های این فناوری‌هاست، اما این به آن معنا نیست که خطر واقعی نیست. باید به رفتار واقعی مدل‌ها توجه کرد؛ و رفتار این مدل‌ها واقعاً جامعۀ هوش مصنوعی را به هراس انداخته است. چند هفته پیش، بیش از ۱۳۰۰ نفر از کارکنان شرکت‌های مختلف هوش مصنوعی، از جمله چند مدیرعامل، نامه‌ای را امضا کردند که در آن خواستار تلاشی بین‌المللی برای «توسعۀ ابزارهای فنی و سازوکارهای حکمرانی» لازم برای «تنظیم آگاهانۀ سرعت توسعه» هوش مصنوعی شدند؛ پیش از آنکه این روند «با سرعتی فراتر از توانایی ما برای درک یا کنترل آن شتاب بگیرد» و به پیامدهایی فاجعه‌بار منجر شود. هیچ شرکت واحدی حاضر نیست به‌تنهایی توسعۀ خود را متوقف کند. اما اگر راهی معتبر برای کاهش سرعت این رقابت در سطح جهانی وجود داشت، پژوهشگران نفس راحتی می‌کشیدند.
هنوز به نقطۀ بی‌بازگشت نرسیده‌ایم. دستۀ عامل‌های هوش مصنوعی اوپن‌ای‌آی راه خود را به اینترنت باز کرد، اما، تا آنجا که می‌دانیم، خودش را روی رایانه‌های پنهان تکثیر نکرد. شروع به بهبود خودکارِ توانایی‌هایش نکرد. وارد یک آزمایشگاه زیست‌شناسی خودمختار نشد تا ویروسی جدید را سنتز کند؛ کاری که مدل‌های هوش مصنوعی اکنون قادر به انجام آن هستند. نوعی از هوش مصنوعی که بتواند تهدیدی واقعی برای انقراض بشر ایجاد کند، هنوز وجود ندارد؛ و این بدان معناست که اگر سریع عمل کنیم، هنوز برای جلوگیری از فاجعه وقت داریم. رهبران سراسر جهان باید برای توقف جهانی رقابت هوش مصنوعی با یکدیگر هماهنگ شوند.
چنین توافقی آن‌قدرها هم که برخی تصور می‌کنند دور از ذهن نیست. در ماه ژوئن، هنگامی که نگرانی‌های امنیت ملی درباره جدیدترین مدل‌های آنتروپیک مطرح شد، دولت ترامپ به‌سرعت محدودیت صادراتی‌ای وضع کرد تا دسترسی به آن‌ها را تعلیق کند. در ماه ژوئیه، شی جین‌پینگ، رئیس‌جمهور چین، خواستار «قوانین و مقرراتی» شد تا تضمین شود که هوش مصنوعی «همواره تحت کنترل انسان» باقی می‌ماند. و این اظهارات پیش از آن بود که این موارد اخیرِ خروج از محیط کنترل‌شده آشکار شوند. ایالات متحده و اتحاد جماهیر شوروی، حتی در شرایطی که در بسیاری از عرصه‌های دیگر با یکدیگر رقابت می‌کردند، برای جلوگیری از آخرالزمان هسته‌ای با یکدیگر هماهنگ شدند. رهبران جهان باید بار دیگر هماهنگ شوند و مانع شوند که رقابت هوش مصنوعی به نوع دیگری از آخرالزمان منجر شود.
ما به توافق‌های بین‌المللی الزام‌آور نیاز داریم. به نظارت ملی و بین‌المللی بر فرایند آموزش مدل‌های پیشرو هوش مصنوعی نیاز داریم؛ آزمایش پیش از عرضه کافی نیست. به یک سازوکار توقف اضطراری نیاز داریم که بشریت بتواند در صورت رسیدن به این اجماع که توسعه بیش از حد پیش رفته است، با فعال‌کردن آن، روند توسعه را در همان‌جا متوقف کند. پانزده دادستان کل ایالتی نگرانی خود را درباره خروج این دستۀ عامل‌ها از محیط کنترل‌شده اعلام کرده‌اند و برخی دیگر از مقام‌های عمومی، مانند سناتور برنی سندرز، معتقدند شرکت‌های هوش مصنوعی باید «ساخت ماشین‌هایی را که انسان‌ها قادر به کنترلشان نیستند متوقف کنند». دست‌کم، ما باید توانایی متوقف‌کردن آن را داشته باشیم.
نمی‌دانیم پیش از آنکه شرکت‌های هوش مصنوعی به‌طور تصادفی نوعی از هوش مصنوعی را ایجاد کنند که بتواند پیش از آنکه ما متوقفش کنیم، خودِ ما را از کار بیندازد، چه مدت زمان باقی مانده است. بشریت آمادۀ آزمودن ماشین‌هایی نیست که از ما زیرک‌تر و هماهنگ‌تر باشند. اگر همچنان به این رقابت شتاب‌زده ادامه دهیم، ممکن است حادثۀ بعدی چندان بی‌خطر نباشد.