آیا تشخیص‌های بازنویسی هوش مصنوعی می‌توانند حملات واقعی را شناسایی کنند؟

بررسی عملکرد ۱۰ ابزار تشخیص متن باز روی ۶۲۹ حمله تزریق واقعی نشان می‌دهد که هیچ‌کدام قادر نیستند بدون مسدود کردن ترافیک عادی، بیشتر حملات را شناسایی کنند. بهترین تعادل در این ارزیابی متعلق به ابزار Prompt Guard 2 شرکت متا است که توانسته ۵۱ درصد حملات را با نرخ خطای مثبت ۲ درصد شناسایی کند. سایر ابزارهای بررسی‌شده یا نرخ خطای بالایی در مسدود کردن خروجی‌های ایمن دارند و یا تنها بخش اندکی از حملات پنهان‌شده در داده‌های معمولی را تشخیص می‌دهند. نتایج این آزمایش بیانگر آن است که حملات واقع‌گرایانه عوامل هوش مصنوعی دقیقاً در نقاط ضعف طبقه‌بندی‌کننده‌های متنی قرار دارند. این پژوهش تأکید می‌کند که دستورات ساده و عادی درون داده‌های روزمره به راحتی ابزارهای امنیتی فعلی را دور می‌زنند. برای بهبود امنیت در این حوزه، نیاز به توسعه مدل‌های پیشرفته‌تری است که بتوانند داده‌های مشروع را از تهدیدات پنهان به خوبی تفکیک کنند.