Project Icon

HDLTex

层级深度学习提升大规模文本分类效能

HDLTex是一种创新的层级深度学习方法,旨在解决大规模文档集合的文本分类难题。该方法采用堆叠式深度学习架构,为文档层次结构的各个层级提供专门化理解。HDLTex通过层级分类方式提升了分类性能,尤其适合类别数量庞大的场景。项目开源了完整实现代码和详尽文档,支持多个标准数据集,并提供pip和git两种便捷安装方式。

|DOI| |appveyor| |在Gitter上加入聊天| |arXiv| |RG| |Binder| |下载| |许可证| |twitter|

HDLTex: 用于文本分类的层次深度学习

参考论文:《HDLTex: 用于文本分类的层次深度学习》

|图片|

文档:

随着文档集合规模的不断增大,需要改进信息处理方法以搜索、检索和组织文本。文档分类是这些信息处理方法的核心,已成为监督学习的重要应用。近来,随着文档数量的增加,传统监督分类器的性能有所下降。这是因为文档数量的增长伴随着类别数量的增加。本文采用与当前将问题视为多类分类的文档分类方法不同的方法。我们使用一种称为文本分类层次深度学习(HDLTex)的方法进行层次分类。HDLTex采用堆叠的深度学习架构,在文档层次结构的每个层级提供专门的理解。

安装

使用pip

.. code:: bash

pip install HDLTex

使用git

.. code:: bash

git clone --recursive https://github.com/kk7nc/HDLTex.git

该软件包的主要要求是Python 3和Tensorflow。requirements.txt文件包含所需Python包的列表;要安装所有要求,请运行以下命令:

.. code:: bash

pip -r install requirements.txt

.. code:: bash

pip3 install -r requirements.txt

或:

.. code:: bash

conda install --file requirements.txt

如果上述命令不起作用,请使用以下命令:

.. code:: bash

sudo -H pip install -r requirements.txt

HDLTex的数据集:

数据集链接: |数据|

Web of Science数据集 WOS-11967 <http://dx.doi.org/10.17632/9rw3vkcfy4.2>__

::

    该数据集包含11,967个文档,有35个类别,包括7个父类别。

Web of Science数据集 WOS-46985 <http://dx.doi.org/10.17632/9rw3vkcfy4.2>__

::

    该数据集包含46,985个文档,有134个类别,包括7个父类别。

Web of Science数据集 WOS-5736 <http://dx.doi.org/10.17632/9rw3vkcfy4.2>__

::

    该数据集包含5,736个文档,有11个类别,包括3个父类别。

要求:

通用:

  • Python 3.5或更高版本,参见《安装说明》
  • TensorFlow,参见《安装说明》
  • scikit-learn,参见《安装说明》
  • Keras,参见《安装说明》
  • scipy,参见《安装说明》
  • GPU
    • CUDA® Toolkit 8.0。详情请参见NVIDIA文档。
    • 与CUDA Toolkit 8.0相关的NVIDIA驱动程序。
    • cuDNN v6。详情请参见NVIDIA文档。
    • 具有CUDA计算能力3.0或更高版本的GPU卡。
    • libcupti-dev库,
    • 要安装此库,请执行以下命令:

::

    $ sudo apt-get install libcupti-dev

特征提取:

全局词向量表示 (GLOVE <https://nlp.stanford.edu/projects/glove/>__)

::

    对于CNN和RNN,你需要下载并链接GLOVE的文件夹位置

错误和评论:

发送电子邮件至kk7nc@virginia.edu

引用:

.. code:: bash @inproceedings{Kowsari2018HDLTex, 作者={Kowsari, Kamran and Brown, Donald E and Heidarysafa, Mojtaba and Meimandi, Kiana Jafari and Gerber, Matthew S and Barnes, Laura E}, 会议名称={2017年第16届IEEE国际机器学习与应用会议(ICMLA)}, 标题={HDLTex: 用于文本分类的层次深度学习}, 年份={2017},
页码={364-371}, doi={10.1109/ICMLA.2017.0-134},
月份={12月} }

.. |DOI| image:: https://img.shields.io/badge/DOI-10.1109%2FICMLA.2017.0--134-blue :target: https://doi.org/10.1109/ICMLA.2017.0-134 .. |travis| image:: https://travis-ci.org/kk7nc/HDLTex.svg?branch=master :target: https://travis-ci.org/kk7nc/HDLTex .. |wercker status| image:: https://app.wercker.com/status/24a123448ba8764b257a1df242146b8e/s/master :target: https://app.wercker.com/project/byKey/24a123448ba8764b257a1df242146b8e .. |加入Gitter聊天室| image:: https://badges.gitter.im/Join%20Chat.svg :target: https://gitter.im/HDLTex/Lobby?source=orgpage .. |appveyor| image:: https://ci.appveyor.com/api/projects/status/github/kk7nc/HDLTex?branch=master&svg=true :target: https://ci.appveyor.com/project/kk7nc/hdltex .. |arXiv| image:: https://img.shields.io/badge/arXiv-1709.08267-red.svg?style=flat :target: https://arxiv.org/abs/1709.08267 .. |RG| image:: https://img.shields.io/badge/ResearchGate-HDLTex-blue.svg?style=flat :target: https://www.researchgate.net/publication/319968747_HDLTex_Hierarchical_Deep_Learning_for_Text_Classification .. |Binder| image:: https://mybinder.org/badge.svg :target: https://mybinder.org/v2/gh/kk7nc/HDLTex/master .. |license| image:: https://img.shields.io/github/license/mashape/apistatus.svg?maxAge=2592104 :target: https://github.com/kk7nc/HDLTex/blob/master/LICENSE .. |Data| image:: https://img.shields.io/badge/DOI-10.17632/9rw3vkcfy4.6-blue.svg?style=flat :target: http://dx.doi.org/10.17632/9rw3vkcfy4.6 .. |Pic| image:: docs/HDLTex.png :alt: HDLTex作为两个层级都是DNN .. |twitter| image:: https://img.shields.io/twitter/url/http/shields.io.svg?style=social :target: https://twitter.com/intent/tweet?text=HDLTex:%20用于文本分类的层次深度学习%0aGitHub:&url=https://github.com/kk7nc/HDLTex&hashtags=深度学习,文本分类,分类,机器学习,深度神经网络

.. |Download| image:: https://pepy.tech/badge/hdltex :target: https://pepy.tech/project/hdltex

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号