访问官网
Github微调LLaMa + 文本到SQL转换
本教程向您展示如何在文本到SQL数据集上微调LLaMa 2 7B模型，然后使用LlamaIndex对任何结构化数据库进行推理。
此代码来自并改编自Modal的doppel-bot仓库：https://github.com/modal-labs/doppel-bot。
技术栈
- LlamaIndex
- Modal
- Hugging Face数据集
- OpenLLaMa
- Peft
设置
首先，克隆或fork此仓库：
git clone https://github.com/run-llama/modal_finetune_sql.git
运行步骤
请加载tutorial.ipynb笔记本以获取完整说明。
cd modal_finetune_sql
jupyter notebook tutorial.ipynb
同时，您可以按以下步骤单独运行每个部分：
加载数据：
modal run src.load_data_sql
微调：
modal run --detach src.finetune_sql
推理：
modal run src.inference_sql_llamaindex::main --query "哪个城市人口最多？" --sqlite-file-path "nbs/cities.db"
（可选）下载模型权重：
modal run src.download_weights --output-dir out_model
