Project Icon

tnlearn

基于符号回归生成任务专属神经元的Python库

tnlearn是一个开源Python库,通过符号回归算法生成任务专属神经元。该库利用多样化神经元构建神经网络,提升特征表示能力。tnlearn支持向量化符号回归,寻找最优公式并将其参数化为神经元的可学习聚合函数。在多项基准测试中,tnlearn展现出优异性能,为人工神经网络设计开辟新途径。

Tnlearn是一个开源的Python库。它基于符号回归算法生成任务特定的神经元,然后利用多样化的神经元构建神经网络。

Static Badge Static Badge Static Badge GitHub Repo stars

快速链接

动机

  • 受NuronAI启发 在过去十年中,成功的网络主要在新颖的架构中使用单一类型的神经元,然而最近的深度学习研究受到人脑神经元多样性的启发,导致了新人工神经元设计的提出。

  • 基于任务的神经元设计 鉴于人脑依赖于基于任务的神经元,人工网络设计能否从关注基于任务的架构转向基于任务的神经元设计?

  • 增强表征 由于不存在普遍适用的神经元,基于任务的神经元可以在相同结构内增强特征表征能力,这得益于其对任务的内在归纳偏置。

特点

  • 采用向量化符号回归来找到适合输入数据的最优公式。

  • 我们对获得的基本公式进行参数化,创建可学习参数,作为神经元的聚合函数。

概览

这里将展示一张描述tnlearn结构的精美图片。

基准测试

我们选择了几种先进的机器学习方法进行比较。

我们在两组真实世界数据上测试了多种先进的机器学习方法。测试结果(MSE)如下表所示:

方法粒子碰撞小行星预测
XGBoost$0.0094\pm0.0006$$0.0646\pm0.1031$
LightGBM$0.0056\pm0.0004$$0.1391\pm0.1676$
CatBoost$0.0028\pm0.0002$$0.0817\pm0.0846$
TabNet$0.0040\pm0.0006$$0.0627\pm0.0939$
TabTransformer$0.0038\pm0.0008$$0.4219\pm0.2776$
FT-Transformer$0.0050\pm0.0020$$0.2136\pm0.2189$
DANETs$0.0076\pm0.0009$$0.1709\pm0.1859$
基于任务的网络$\mathbf{0.0016\pm0.0005}$$\mathbf{0.0513\pm0.0551}$

资源

以下是人工神经网络多样性的资源总结。

资源类型描述
QuadraLibQuadraLib 是一个用于高效优化和设计探索二次网络的库。QuadraLib 的论文获得了 MLSys 2022 最佳论文奖。
范峰磊博士的 GitHub 页面代码范峰磊博士的 GitHub 页面总结了一系列关于二次网络的论文和相关代码,包括二次自编码器和 ReLinear 训练算法。
多项式网络代码这个代码库展示了如何构建深度多项式网络并使用张量分解进行稀疏化。
树突书籍一本全面涵盖树突计算所有方面的综合性书籍。

依赖

你应该确保 PyTorch 的版本与 CUDA 的版本相对应,以保证 GPU 加速。以下是参考版本:

Pytorch >= 2.1.0

cuda >= 12.1

其他主要依赖项在安装 tnlearn 时会自动安装。

安装

可以使用 pip 轻松安装 tnlearn 及其依赖项:

pip install tnlearn

也可以使用 conda 轻松安装 tnlearn 及其依赖项:

conda install -c tnlearn

快速开始

这是一个快速示例,展示如何在回归任务中使用 tnlearn。注意,你的数据类型应该是表格数据。

from tnlearn import VecSymRegressor
from tnlearn import MLPRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

# 生成数据
X, y = make_regression(n_samples=200, random_state=1)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)

# 使用向量化符号回归算法生成基于任务的神经元
neuron = VecSymRegressor()
neuron.fit(X_train, y_train)

# 使用基于任务的神经元构建神经网络并进行训练
clf = MLPRegressor(neurons=neuron.neuron,
                   layers_list=[50,30,10]) #指定 MLP 中隐藏层的结构
clf.fit(X_train, y_train)

# 预测
clf.predict(X_test)

tnlearn 中有许多可以调试的超参数,使神经网络性能更加优越。具体用法请参见 API 文档

API 文档

这是我们的官方 API 文档,可在 Read the Docs 上查看。

引用

如果你觉得 tnlearn 有用,请在你的出版物中引用它。

@article{


}

团队

Tnlearn是由Meng WangJuntong FanHanyu PeiFenglei Fan共同完成的作品。

许可证

Tnlearn根据Apache License 2.0发布。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号