اجرای محلی مدل های هوش مصنوعی روی لپ تاپ و گوشی هوشمند به کاربران اجازه می دهد حتی در شرایط قطعی کامل اینترنت نیز به صورت آفلاین از این ابزارها استفاده کنند. این روش علاوه بر حفظ حریم خصوصی کاربران به دلیل عدم خروج داده ها از دستگاه، امکان استفاده رایگان از مدل های سبک و متن باز را فراهم می کند. مدلهای زبانی کوچک یا SLM به گونه ای طراحی شده اند که روی سخت افزارهای معمولی و بدون نیاز به ابرکامپیوترها اجرا شوند. فرایند اجرای هوش مصنوعی به شدت به حافظه موقت رم و به خصوص حافظه اختصاصی کارت گرافیک یعنی VRAM وابسته است. برای سیستم های ضعیف تر، تکنیک کوانتیزیشن دقت اعداد مدل را کاهش می دهد تا مدلهای چند میلیاردی پارامتری روی سیستم های معمولی نیز قابل اجرا باشند. لپ تاپ های گیمینگ و مک بوک های اپل با حافظه یکپارچه گزینه های مناسبی برای این پردازش های محلی به شمار می روند. این راهنما به کاربران کمک می کند تا با توجه به سخت افزار دستگاه خود، مدل مناسب را انتخاب و نصب کنند.
