effort
Effort是bucketMul算法的开源实现,支持实时调整LLM模型推理过程中的计算量。在Apple Silicon芯片上,50%effort可匹配常规矩阵乘法速度,25%effort则提供双倍速度,同时保持大部分输出质量。项目支持跳过加载次要权重,实现性能与质量的灵活平衡。Effort Engine提供预编译二进制文件,源代码基于Swift和Metal开发。