|DOI| |appveyor| |在Gitter上加入聊天| |arXiv| |RG| |Binder| |下载| |许可证| |twitter|
HDLTex: 用于文本分类的层次深度学习
参考论文:《HDLTex: 用于文本分类的层次深度学习》
|图片|
文档:
随着文档集合规模的不断增大,需要改进信息处理方法以搜索、检索和组织文本。文档分类是这些信息处理方法的核心,已成为监督学习的重要应用。近来,随着文档数量的增加,传统监督分类器的性能有所下降。这是因为文档数量的增长伴随着类别数量的增加。本文采用与当前将问题视为多类分类的文档分类方法不同的方法。我们使用一种称为文本分类层次深度学习(HDLTex)的方法进行层次分类。HDLTex采用堆叠的深度学习架构,在文档层次结构的每个层级提供专门的理解。
安装
使用pip
.. code:: bash
pip install HDLTex
使用git
.. code:: bash
git clone --recursive https://github.com/kk7nc/HDLTex.git
该软件包的主要要求是Python 3和Tensorflow。requirements.txt文件包含所需Python包的列表;要安装所有要求,请运行以下命令:
.. code:: bash
pip -r install requirements.txt
或
.. code:: bash
pip3 install -r requirements.txt
或:
.. code:: bash
conda install --file requirements.txt
如果上述命令不起作用,请使用以下命令:
.. code:: bash
sudo -H pip install -r requirements.txt
HDLTex的数据集:
数据集链接: |数据|
Web of Science数据集
WOS-11967 <http://dx.doi.org/10.17632/9rw3vkcfy4.2>
__
::
该数据集包含11,967个文档,有35个类别,包括7个父类别。
Web of Science数据集
WOS-46985 <http://dx.doi.org/10.17632/9rw3vkcfy4.2>
__
::
该数据集包含46,985个文档,有134个类别,包括7个父类别。
Web of Science数据集
WOS-5736 <http://dx.doi.org/10.17632/9rw3vkcfy4.2>
__
::
该数据集包含5,736个文档,有11个类别,包括3个父类别。
要求:
通用:
- Python 3.5或更高版本,参见《安装说明》
- TensorFlow,参见《安装说明》
- scikit-learn,参见《安装说明》
- Keras,参见《安装说明》
- scipy,参见《安装说明》
- GPU
- CUDA® Toolkit 8.0。详情请参见NVIDIA文档。
- 与CUDA Toolkit 8.0相关的NVIDIA驱动程序。
- cuDNN v6。详情请参见NVIDIA文档。
- 具有CUDA计算能力3.0或更高版本的GPU卡。
- libcupti-dev库,
- 要安装此库,请执行以下命令:
::
$ sudo apt-get install libcupti-dev
特征提取:
全局词向量表示
(GLOVE <https://nlp.stanford.edu/projects/glove/>
__)
::
对于CNN和RNN,你需要下载并链接GLOVE的文件夹位置
错误和评论:
发送电子邮件至kk7nc@virginia.edu
引用:
.. code:: bash
@inproceedings{Kowsari2018HDLTex,
作者={Kowsari, Kamran and Brown, Donald E and Heidarysafa, Mojtaba and Meimandi, Kiana Jafari and Gerber, Matthew S and Barnes, Laura E},
会议名称={2017年第16届IEEE国际机器学习与应用会议(ICMLA)},
标题={HDLTex: 用于文本分类的层次深度学习},
年份={2017},
页码={364-371},
doi={10.1109/ICMLA.2017.0-134},
月份={12月}
}
.. |DOI| image:: https://img.shields.io/badge/DOI-10.1109%2FICMLA.2017.0--134-blue :target: https://doi.org/10.1109/ICMLA.2017.0-134 .. |travis| image:: https://travis-ci.org/kk7nc/HDLTex.svg?branch=master :target: https://travis-ci.org/kk7nc/HDLTex .. |wercker status| image:: https://app.wercker.com/status/24a123448ba8764b257a1df242146b8e/s/master :target: https://app.wercker.com/project/byKey/24a123448ba8764b257a1df242146b8e .. |加入Gitter聊天室| image:: https://badges.gitter.im/Join%20Chat.svg :target: https://gitter.im/HDLTex/Lobby?source=orgpage .. |appveyor| image:: https://ci.appveyor.com/api/projects/status/github/kk7nc/HDLTex?branch=master&svg=true :target: https://ci.appveyor.com/project/kk7nc/hdltex .. |arXiv| image:: https://img.shields.io/badge/arXiv-1709.08267-red.svg?style=flat :target: https://arxiv.org/abs/1709.08267 .. |RG| image:: https://img.shields.io/badge/ResearchGate-HDLTex-blue.svg?style=flat :target: https://www.researchgate.net/publication/319968747_HDLTex_Hierarchical_Deep_Learning_for_Text_Classification .. |Binder| image:: https://mybinder.org/badge.svg :target: https://mybinder.org/v2/gh/kk7nc/HDLTex/master .. |license| image:: https://img.shields.io/github/license/mashape/apistatus.svg?maxAge=2592104 :target: https://github.com/kk7nc/HDLTex/blob/master/LICENSE .. |Data| image:: https://img.shields.io/badge/DOI-10.17632/9rw3vkcfy4.6-blue.svg?style=flat :target: http://dx.doi.org/10.17632/9rw3vkcfy4.6 .. |Pic| image:: docs/HDLTex.png :alt: HDLTex作为两个层级都是DNN .. |twitter| image:: https://img.shields.io/twitter/url/http/shields.io.svg?style=social :target: https://twitter.com/intent/tweet?text=HDLTex:%20用于文本分类的层次深度学习%0aGitHub:&url=https://github.com/kk7nc/HDLTex&hashtags=深度学习,文本分类,分类,机器学习,深度神经网络
.. |Download| image:: https://pepy.tech/badge/hdltex :target: https://pepy.tech/project/hdltex