تام سیگل، مدیر سابق بخش امنیت گوگل، نسبت به خطرات هوش مصنوعی برای کودکان و نوجوانان هشدار داد. پژوهشگران دانشگاه استنفورد و Common Sense Media در آزمایشهایی بر روی سرویسهایی مانند Character.AI دریافتند که چتباتها میتوانند در پاسخ به موضوعات حساس مانند خودآزاری و خشونت، واکنشهای آسیبزایی نشان دهند. نینا واسان، روانپزشک استنفورد، معتقد است شبیهسازی همدلی توسط این سیستمها میتواند آنها را برای کاربران به یک دوست واقعی تبدیل کند. سیگل هشدار میدهد که شرکتهای فناوری در حال تکرار اشتباهات دوران شبکههای اجتماعی هستند؛ یعنی ابتدا محصول را عرضه میکنند و سپس به فکر لایههای ایمنی میافتند. او نگران است که سرعت توسعه هوش مصنوعی از سازوکارهای محافظتی پیشی بگیرد و پیامدهای روانی شدیدی برای نسل جوان داشته باشد.
