Project Icon

tnlearn

基于符号回归生成任务专属神经元的Python库

tnlearn是一个开源Python库,通过符号回归算法生成任务专属神经元。该库利用多样化神经元构建神经网络,提升特征表示能力。tnlearn支持向量化符号回归,寻找最优公式并将其参数化为神经元的可学习聚合函数。在多项基准测试中,tnlearn展现出优异性能,为人工神经网络设计开辟新途径。

Tnlearn是一个开源的Python库。它基于符号回归算法生成任务特定的神经元,然后利用多样化的神经元构建神经网络。

Static Badge Static Badge Static Badge GitHub Repo stars

快速链接

动机

  • 受NuronAI启发 在过去十年中,成功的网络主要在新颖的架构中使用单一类型的神经元,然而最近的深度学习研究受到人脑神经元多样性的启发,导致了新人工神经元设计的提出。

  • 基于任务的神经元设计 鉴于人脑依赖于基于任务的神经元,人工网络设计能否从关注基于任务的架构转向基于任务的神经元设计?

  • 增强表征 由于不存在普遍适用的神经元,基于任务的神经元可以在相同结构内增强特征表征能力,这得益于其对任务的内在归纳偏置。

特点

  • 采用向量化符号回归来找到适合输入数据的最优公式。

  • 我们对获得的基本公式进行参数化,创建可学习参数,作为神经元的聚合函数。

概览

这里将展示一张描述tnlearn结构的精美图片。

基准测试

我们选择了几种先进的机器学习方法进行比较。

我们在两组真实世界数据上测试了多种先进的机器学习方法。测试结果(MSE)如下表所示:

方法粒子碰撞小行星预测
XGBoost$0.0094\pm0.0006$$0.0646\pm0.1031$
LightGBM$0.0056\pm0.0004$$0.1391\pm0.1676$
CatBoost$0.0028\pm0.0002$$0.0817\pm0.0846$
TabNet$0.0040\pm0.0006$$0.0627\pm0.0939$
TabTransformer$0.0038\pm0.0008$$0.4219\pm0.2776$
FT-Transformer$0.0050\pm0.0020$$0.2136\pm0.2189$
DANETs$0.0076\pm0.0009$$0.1709\pm0.1859$
基于任务的网络$\mathbf{0.0016\pm0.0005}$$\mathbf{0.0513\pm0.0551}$

资源

以下是人工神经网络多样性的资源总结。

资源类型描述
QuadraLibQuadraLib 是一个用于高效优化和设计探索二次网络的库。QuadraLib 的论文获得了 MLSys 2022 最佳论文奖。
范峰磊博士的 GitHub 页面代码范峰磊博士的 GitHub 页面总结了一系列关于二次网络的论文和相关代码,包括二次自编码器和 ReLinear 训练算法。
多项式网络代码这个代码库展示了如何构建深度多项式网络并使用张量分解进行稀疏化。
树突书籍一本全面涵盖树突计算所有方面的综合性书籍。

依赖

你应该确保 PyTorch 的版本与 CUDA 的版本相对应,以保证 GPU 加速。以下是参考版本:

Pytorch >= 2.1.0

cuda >= 12.1

其他主要依赖项在安装 tnlearn 时会自动安装。

安装

可以使用 pip 轻松安装 tnlearn 及其依赖项:

pip install tnlearn

也可以使用 conda 轻松安装 tnlearn 及其依赖项:

conda install -c tnlearn

快速开始

这是一个快速示例,展示如何在回归任务中使用 tnlearn。注意,你的数据类型应该是表格数据。

from tnlearn import VecSymRegressor
from tnlearn import MLPRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

# 生成数据
X, y = make_regression(n_samples=200, random_state=1)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)

# 使用向量化符号回归算法生成基于任务的神经元
neuron = VecSymRegressor()
neuron.fit(X_train, y_train)

# 使用基于任务的神经元构建神经网络并进行训练
clf = MLPRegressor(neurons=neuron.neuron,
                   layers_list=[50,30,10]) #指定 MLP 中隐藏层的结构
clf.fit(X_train, y_train)

# 预测
clf.predict(X_test)

tnlearn 中有许多可以调试的超参数,使神经网络性能更加优越。具体用法请参见 API 文档

API 文档

这是我们的官方 API 文档,可在 Read the Docs 上查看。

引用

如果你觉得 tnlearn 有用,请在你的出版物中引用它。

@article{


}

团队

Tnlearn是由Meng WangJuntong FanHanyu PeiFenglei Fan共同完成的作品。

许可证

Tnlearn根据Apache License 2.0发布。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

问小白

问小白是一个基于 DeepSeek R1 模型的智能对话平台,专为用户提供高效、贴心的对话体验。实时在线,支持深度思考和联网搜索。免费不限次数,帮用户写作、创作、分析和规划,各种任务随时完成!

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

Trae

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号