热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLaMa
llm-chain
llm-chain是一组强大的Rust库,支持创建高级LLM应用,如聊天机器人和智能代理。平台支持云端和本地LLM,提供提示模板和多步骤链功能,以处理复杂任务。还支持向量存储集成,为模型提供长期记忆和专业知识。兼容ChatGPT、LLaMa和Alpaca模型,并通过llm.rs实现Rust语言的LLM支持,无需C++依赖。
llama.onnx
此项目提供LLaMa-7B和RWKV-400M的ONNX模型与独立演示,无需torch或transformers,适用于2GB内存设备。项目包括内存池支持、温度与topk logits调整,并提供导出混合精度和TVM转换的详细步骤,适用于嵌入式设备和分布式系统的大语言模型部署和推理。
modal_finetune_sql
此项目展示了在Text-to-SQL数据集上微调LLaMa 2 7B模型的过程。利用LlamaIndex、Modal和Hugging Face datasets等工具,项目提供了从数据加载到模型微调和推理的完整教程。开发者可以学习如何针对结构化数据库执行自然语言查询,并通过提供的模型权重下载选项,快速构建Text-to-SQL应用。项目涵盖了整个开发流程,为Text-to-SQL应用的实现提供了实用的参考。
相关文章
llm-chain: 强大的Rust语言大模型应用开发框架
2 个月前
LLaMA/RWKV ONNX模型:高效推理与量化的开源实现
2 个月前
Modal Finetune SQL: 使用LlamaIndex微调Llama 2实现高效文本到SQL转换
1 个月前
llm-chain - Rust语言大模型应用开发框架学习资源汇总
1 个月前
llama.onnx入门指南 - LLaMa/RWKV模型的ONNX转换与量化工具
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号