#MLC-LLM

mlc-MiniCPM项目基于MLC-LLM技术，实现了MiniCPM和MiniCPM-V模型在Android设备上的运行。该项目开发了Android应用程序，支持用户与AI模型进行文本和图像交互。通过4位量化技术，项目将模型压缩以适应移动设备资源，在保持性能的同时提高运行效率。

Llama-3.2-1B-Instruct模型的MLC格式q4f16_1版本，适用于MLC-LLM和WebLLM项目。支持命令行聊天、REST服务器部署和Python API调用。模型采用量化技术，在保持性能的同时减小体积，适合多种设备高效推理。可通过简单命令或代码快速部署使用。