FinGLM - 金融大模型学习资料汇总
FinGLM是一个致力于构建开放、公益、持久的金融大模型项目,旨在利用开源开放来促进'AI+金融'的发展。本文将为大家汇总FinGLM项目的相关学习资料和资源,帮助读者快速了解和入门这个令人兴奋的金融AI项目。
项目介绍
FinGLM的目标是打造一个能够深度解析上市公司年报的对话交互智能系统。面对金融文本中的专业术语与隐含信息,该项目致力于用AI实现专家级别的金融分析。
主要特点包括:
- 开放性:完全开源,鼓励共同贡献
- 公益性:出于公益目的,欢迎开发者加入
- 持久性:长期维护优化,确保项目持续迭代
项目框架
FinGLM项目的整体框架主要包括三个部分:
- 数据准备流程:PDF转TXT、数据切分、数据处理、存入数据库等
- 模型微调流程:数据分类、选择微调策略、执行微调等
- 问答流程:输入问题、生成Prompt、查询数据库、生成答案等
开源策略
FinGLM采取了全面开放的开源策略:
- 赛事转型为学习赛,允许任何人学习使用
- 开源70G+的年报数据、1万条标注数据等
- 多个参赛团队的方案、代码、模型完全开源
- 组织线上线下交流,推广优秀技术
- 提供系列学习教程,包括数据处理、模型微调等
数据集资源
FinGLM提供了丰富的数据资源:
- 年报数据集:11588份2019-2021年上市公司年报
- 提供PDF、TXT、HTML等多种格式
- 可通过git或ModelScope SDK等方式下载
# ModelScope SDK加载示例
from modelscope.msdatasets import MsDataset
ds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train')
开源项目代码
多个团队的优秀实现已开源,包括:
- FinGLM_all:综合多队项目的整合版本
- 馒头科技
- 南哪都队
- Chatglm反卷总局
学习资料
为方便学习,项目提供了丰富的教程资料:
- GLM使用教程
- 数据预处理教程
- Prompt编写教程
- 模型微调技巧
此外,还可以观看各团队的分享视频深入学习。
总结
FinGLM作为一个开放的金融AI项目,为我们提供了宝贵的学习资源。无论你是AI爱好者还是金融从业者,都可以从这个项目中获益良多。欢迎大家积极参与,共同推动金融AI的发展!
相关链接:
让我们一起,用AI的力量,开启金融智能分析的新纪元! 🚀🌟
