MLC LLM

允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Mac，Windows pc，Linux，还支持浏览器Web GPU。