شرکتهای گوگل، OpenAI، آنتروپیک و مایکروسافت متعهد شدند از استاندارد جدیدی در فایل robots.txt برای کنترل دسترسی هوش مصنوعی به محتوای وبسایتها پشتیبانی کنند. این استاندارد که توسط سازمان IETF پیشنهاد شده، به ناشران اجازه میدهد با استفاده از یک دستور واحد، از خزش رباتهای آموزشدهنده هوش مصنوعی در سایت خود جلوگیری کنند. با این تغییر، وبمسترها میتوانند با تعریف یک «User-Agent» اختصاصی، دسترسی مدلهای هوش مصنوعی را محدود کرده یا بخشهای خاصی مانند بستههای خبری را برای آنها باز بگذارند. این اقدام تأثیری بر خزشهای گذشته ندارد و تنها از جمعآوری دادههای جدید جلوگیری میکند. آنتروپیک هماکنون از این دستور پشتیبانی میکند و گوگل، مایکروسافت و OpenAI نیز تا اوایل سال ۲۰۲۷ آن را به طور کامل پیادهسازی خواهند کرد.