PIXIU - 金融大规模语言模型的开发、微调与评估

PIXIU 项目简介

PIXIU 项目旨在推动金融领域大语言模型（LLM）的开发、微调和评估。该项目是了解和利用大语言模型在金融领域潜力的重要一步。

PIXIU 仓库由几个核心组成部分构成，每个部分在金融自然语言处理管道中有其特定用途：

开放资源：PIXIU 开放提供金融大语言模型、指令调优数据及包含在评估基准中的数据集，以鼓励开放研究和透明度。
多任务：PIXIU 的指令调优数据和基准涵盖了多种金融任务，包括四个金融自然语言处理任务和一个金融预测任务。
多模态：PIXIU 的指令调优数据和基准由多模态金融数据组成，包括股票运动预测任务中的时间序列数据，涵盖各种类型的金融文本，包括报告、新闻文章、推文和监管文件。
多样性：不同于以往主要聚焦于金融自然语言处理任务的基准，PIXIU 的评估基准包括与现实世界场景一致的关键金融预测任务，增加了挑战性。

FinBen 2.0 提供了对比像 ChatGPT、GPT-4 和 BloombergGPT 这样的领先模型与 FinMA 的详细性能分析。所选取的任务和指标涵盖了金融自然语言处理和金融预测的各个方面。

FinBen 提供了一系列任务，包括情感分析、分类、知识提取、数字理解、文本摘要、信用评分和预测等。同时，FinBen 收录了多个金融数据集，例如新闻情感分析数据集、信贷评分数据集和股票走势预测数据集。

我们提供了针对评估过程的详细指导，包括如何在本地安装、如何使用 Docker 镜像运行项目、以及如何使用自动化任务评估工具。对于每种任务类型，PIXIU 提供了相应的预定义任务指标，例如分类任务中的准确率和 F1 得分，抽取和生成摘要任务的 Rouge 得分等。

开发者可以创建适用于 FinBen 的新任务，只需在 Huggingface 上创建数据集并在项目中实现任务。任务的实现可以使用我们提供的基础类，如分类、序列标注、关系抽取等，并在特定文件中定义并注册新任务。

总的来说，PIXIU 项目通过提供先进的金融大语言模型工具和基准，服务于金融领域的研究与应用，鼓励研究人员和开发者利用该平台进行深入探索和研究。