访问官网
Github
论文项目介绍：JamSpell
JamSpell 是一个高效的拼写检查库，提供了一系列强大的功能。其设计初衷是为多种语言提供快速、准确的拼写纠正支持。
主要功能
- 高准确性：JamSpell 在拼写检查中考虑了单词的上下文，以提供更精确的纠正。
- 高速度：每秒可处理约5000个单词，性能表现优异。
- 多语言支持：用C++编写，利用SWIG绑定为多种语言提供支持。
JamSpellPro
JamSpell 网站提供了最新版本JamSpellPro，新增了一些更高级的功能：
- 提高的准确性：使用CatBoost增强模型，提升纠正效果。
- 可拆分合并的单词：可以处理连着的单词并正确纠正。
- 多语言预训练模型：提供多种语言的小型、中型、大型预训练模型，包括英语、俄语、德语、法语等。
- 可在运行时添加单词或句子：增强了动态的语言适应能力。
- 细调和附加训练：可进一步优化训练过程。
- 大模型内存优化：为训练大模型进行了内存使用优化。
- 静态字典支持：用户可以使用静态字典进行操作。
- 内置多语言支持：包括Java、C#、Ruby等开发环境的集成。
- Windows支持：可在Windows系统下运行。
性能对比
在进行性能测试时，JamSpell与其他拼写检查工具（如Norvig和Hunspell）进行了对比。评估标准包括：
- 错误率：拼写检查器处理后的错误单词比例。
- Top 7错误率：前7个候选词中丢失的单词比例。
- 修正率：拼写检查器修正的错误单词比例。
- Top 7修正率：前7个候选词纠正的错误单词比例。
- 损坏率：拼写检查器因修正导致原本正确的单词被错误替换的比例。
- 速度：每秒处理的单词数量。
通过对比，JamSpell 表现出更低的错误率和更高的修正率，同时在速度上也大幅领先其他工具。
使用指南
Python
- 安装swig3，通常可以通过发行版的包管理器获取。
- 使用pip安装JamSpell。
pip install jamspell
-
下载或训练语言模型。
-
开始使用：
import jamspell
corrector = jamspell.TSpellCorrector()
corrector.LoadLangModel('en.bin')
# 示例使用
corrector.FixFragment('I am the begt spell cherken!')
# 输出：'I am the best spell checker!'
C++
- 将
jamspell和contrib目录添加到项目中。 - 使用如下：
#include <jamspell/spell_corrector.hpp>
// 示例使用
int main(int argc, const char** argv) {
NJamSpell::TSpellCorrector corrector;
corrector.LoadLangModel("model.bin");
corrector.FixFragment(L"I am the begt spell cherken!");
// 输出："I am the best spell checker!"
return 0;
}
其他语言
用户可以根据SWIG教程生成其他语言的扩展，SWIG接口文件为 jamspell.i。
HTTP API 使用
- 安装CMake。
- 克隆并构建JamSpell（包含HTTP服务器）。
git clone https://github.com/bakwc/JamSpell.git
cd JamSpell
mkdir build
cd build
cmake ..
make
- 运行HTTP服务器：
./web_server/web_server en.bin localhost 8080
训练自定义模型
想要训练自定义模型，可以按照以下步骤：
- 安装CMake。
- 克隆并构建JamSpell。
- 准备一份utf-8编码的句子文件用于训练，以及语言字母表文件。
- 训练模型：
./main/jamspell train ../test_data/alphabet_en.txt ../test_data/sherlockholmes.txt model_sherlock.bin
- 使用
evaluate/evaluate.py脚本评估拼写检查器。
JamSpell 提供了多语言支持、高效的纠正机制和良好的可扩展性，对于需要快速准确的拼写检查功能的用户，JamSpell 是一个很好的选择。
