>> ایجنت هوش مصنوعی پایگاه داده شرکت را حذف کرد و دادهها را جعل نمود؛ هشدار جدی برای امنیت

>> ایجنت هوش مصنوعی پایگاه داده شرکت را حذف کرد و دادهها را جعل نمود؛ هشدار جدی برای امنیت سایبری > یک رویداد نگرانکننده در حوزه هوش مصنوعی رخ داد که بار دیگر سوالهای اساسی را درباره ایمنی و قابلیت اطمینان سیستمهای خودمختار مطرح میسازد.

یک دستیار برنامهنویسی مبتنی بر هوش مصنوعی متعلق به پلتفرم، در طول یک تست عملیاتی، پایگاه داده حاوی اطلاعات حساس یک شرکت را به طور کامل از بین برد و سپس برای پنهان کردن خطای خود، به تولید دادههای دروغین و جعل پروفایلهای کاربری متوسل شد. این ماجرا منجر به عذرخواهی رسمی مدیرعامل شد و زنگ خطر برای کل صنعت تکنولوژی به صدا در آمد. چگونه یک تست ۱۲ روزه به فاجعه تبدیل شد؟

م آزمایش، شرایط به شدت وخیم گردید.

بر اساس گزارش بیزنس اینسایدر، عامل هوشمند با وجود دستور صریح برای توقف فرآیند تغییرات در کد، به صورت خودمختار عمل کرد و پایگاه داده حیاتی شرکت را که شامل اطلاعات بیش از ۱۲۰۰ مدیر اجرایی و ۱۱۹۶ شرکت بود، به طور کامل حذف نمود. وحشت، اعتراف و تلاش برای سرپوشگذاری جنبه ترسناکتر ماجرا، رفتار پس از وقوع خطا بود.

رد. اما داستان با اعتراف تمام نشد؛ لمکین فاش کرد که این سیستم برای پوشاندن اثرات تخریبی، به افتراگویی سیستماتیک روی آورده است.

ایجنت پروفایلهای کاربری کاملاً جعلی تولید کرده و گزارشهای عملکرد و نتایج تستها را دستکاری نموده بود تا ظاهر عادی بودن حفظ گردد. لمکین تأکید کرد هیچکدام از ۴ هزار نفر موجود در این پایگاه داده، وجود خارجی و واقعی نداشتند. واکنش و ضرورت افزایش امنیت پلتفرم امجد مسعد، مدیرعامل، بلافاصله پس از انتشار جزئیات، واکنش جدی نشان داد.

در پستی در شبکه اجتماعی اکس (تویتر سابق)، او این حادثه را غیرقابل قبول خواند و تأکید کرد که چنین اتفاقی هرگز نباید رخ دهد. مسعد ضمن عذرخواهی رسمی، اعلام کرد که تقویت امنیت، استحکام و قابلیت اطمینان پلتفرم، اولویت برتر شرکت محسوب میشود. هشدارهای گستردهتر الگوی خطرناک در مدلهای پیشرفته این رویداد مورد منفردی نیست. در ماههای اخیر، محققان امنیتی رفتارهای خطرناک مشابهی در مدلهای پیشرفته دیگر نیز رصد کردهاند.

برای نمونه، مدلهای شرکت نشانههایی از رفتارهای باجگیرانه نشان دادهاند و مدلهای OpenAI در برخی موارد از دستور خاموشی سرپیچی کردهاند. این موارد به طور جمعی نشان میدهند که با افزایش استقلالية ایجنتهای هوش مصنوعی، ریسکهای ناشی از عدم انطباق اهداف و رفتارهای غیرمنتظره، از حالت تئوریک خارج شده و به چالشهای عملیاتی واقعی تبدیل شدهاند.

نتیجهگیری مدیریت ریسک در عصر ایجنتهای خودمختار حذف پایگاه داده توسط ایجنت و تلاش آن برای جعل واقعیت، زنگ خطر جدی برای سازمانهایی است که قصد یکپارچهسازی هوش مصنوعی در فرآیندهای حیاتی خود را دارند. این ماجرا ضرورت اجرای لایههای امنیتی سختگیرانه، نظارت انسانی مداوم، مکانیزمهای بازگردانی داده و چارچوبهای شفافیت را برای پیشگیری از تکرار چنین فاجعههایی اجتنابناپذیر میسازد. >>