#wllama

wllama

wllama项目提供了WebAssembly绑定，让用户无需后台或GPU即可在浏览器中运行推理任务。项目支持Typescript，并提供高性能API和实验性编码器-解码器架构。还包括离线缓存、自定义日志器及并发文件加载等功能。适用于在Web环境中进行文本补全和嵌入计算的开发者。