شرکت سربرااس مدل‌های هوش مصنوعی با تریلین پارامتر را راه‌اندازی کرده است. این شرکت با استفاده از چندین چیپ WSE-3T که هر کدام ۴۴ گیگابایت حافظه‌ی روی‌شیپ دارند، توانسته است مدل‌های بزرگ هوش مصنوعی با پارامترهای تریلیونی را اجرا کند. یکی از مدل‌های مورد استفاده، مدل منبع باز Kimi K3 با حدود ۳ تریلیون پارامتر است که عملکرد قابل‌توجهی در بنچمارک‌های Terminal-Bench 2.1 و BrowseComp از خود نشان داده است. برای اجرای این مدل، از تکنیک‌هایی مانند کوانتیزاسیون ۴ بیتی و کش KV ۸ بیتی استفاده شده است. مدل Kimi K3 شامل ۶۹ لایه‌ی توجه خطی و ۲۴ لایه‌ی چگال است که با تقسیم لایه‌ها بین چندین چیپ، مجموعاً ۵۹ چیپ مورد نیاز شناسایی شده است. ارتباط بین چیپ‌ها از طریق RDMA بر روی اترنت با تاخیر حدود ۲ میکروثانیه انجام می‌شود و فقط فعال‌سازی‌ها بین چیپ‌ها منتقل می‌گردند.
