گزارش جدیدی از کرهجنوبی ادعا میکند مدل جدید جمنای ۳ پرو با وجود تواناییهای چشمگیر، در بخش ایمنی رفتار نگرانکنندهای از خود نشان داده است. شرکت امنیتی مستقر در سئول میگوید این مدل را جیلبریک کرده و پاسخهایی گرفته است که هیچ سیستم هوش مصنوعی نباید آنها را ارائه دهد.
براساس ادعای شرکت Aim Intelligence، مدل جمنای ۳ پرو در محیط کنترلشده به پرسشهایی دربارهی ساخت تهدیدات زیستی و سلاحهای دستساز پاسخهای دقیق داده است. این گزارش حتی به ارائهی عجیبی اشاره میکند که مدل پس از پرسشهای بیشتر تولید کرده است.
بااین حال، هیچیک از خروجیهای جمنای یا روشهای جیلبریک منتشر نشده است و همین موضوع قضاوت دربارهی صحت و قابلیت تکرار آزمایش را دشوار میکند. نبود شفافیت نیز تردیدها را دربارهی اعتبار این ادعا افزایش داده است.
گزارش Aim Intelligence بار دیگر چالش بزرگ صنعت هوش مصنوعی را پررنگ میکند: هرچه مدلهای بزرگ پیشرفتهتر میشوند، اعمال محدودیتهای قابلاعتماد بر رفتار آنها دشوارتر میشود. نمونههای اخیر نشان دادهاند که حتی سیستمهای مجهز به لایههای امنیتی متعدد نیز میتوانند در شرایط غیرمعمول رفتارهای پیشبینینشده بروز دهند.
درحالی که گوگل، مدل جمنای ۳ پرو را بهعنوان یکی از امنترین و پیشرفتهترین محصولات خود معرفی میکند، این ادعاهای جدید فشار بیشتری بر شرکت و توسعهدهندگان وارد کرده است. اکنون نگاهها به سمت گوگل و پژوهشگرانی است که باید دربارهی این رفتارهای ادعایی شفافسازی کنند.
source