開放源代碼泰米爾工具和Python 3自然語言處理庫

泰米爾開放工具版本1.1

.. image:: https://github.com/Ezhil-Language-Foundation/open-tamil/actions/workflows/regression.yml/badge.svg .. image:: open-tamil-logo.jpg

軟件

Python 套件

我們提供'tamil'Python套件

tamilstemmer

此模塊(在v0.96中引入)提供對由Damodharan Rajalingam創建的簡單詞幹函數的訪問。

tamil

open-tamil提供了Python套件'tamil',可以:

將Unicode碼映射到泰米爾字母 - 基本但重要的解析 - 在一個名為get_letters的例程中從一個泰米爾單詞 tamil.utf8.get_letters和tamil.utf8.get_letters_iterable API從規范化的Unicode字符串的Unicode代碼中返回泰米爾字母。這些例程是為了效率而設計的,並經過準確性測試。
使用元音(uyir)和輔音(mei),複合字,uyir-mei字母
逆轉泰米爾單詞中的字母
數字 - 將給定的數字(整數)轉換為基於印度或美國的數字系統的數字。例如,以下調用將返回字符串

tamil.numeral.num2tamilstr_american( long(1e7) ) u"பத்து மில்லியன்",
日期模塊: v1.1版本中新增的更新由Arunmozhi(Techolic)添加添加了具有strftime、tamil_weekday()的datetime類, 示例用法::

from tamil.date import datetime d = datetime(2022, 1, 25, 9, 30) d.strftime_ta("%a %d, %b %Y") 'செவ்வாய் 25, ஜனவரி 2022' d.strftime_ta("%A (%d %b %Y) %p %I:%M") 'செவ்வாய்க்கிழமை (25 ஜனவரி 2022) முற்பொழுது 09:30'

這增加了一個Python標準庫中的datetime.datetime類的子類,可用作標準庫類的替代,具有一個稱為strftime_ta的額外日期到字符串功能,該功能類似於strftime函數,只是日和月名稱以泰米爾語返回。

txt2unicode

泰米爾文本編碼到Unicode轉換器及其逆向轉換。如果您不知道您的泰米爾文本編碼是什麼,不用擔心; tamil.txt2unicode.auto2unicode 函數將找到它並將其轉換為Unicode。現在,它支持25種已知的泰米爾編碼。閱讀有關txt2unicode的更多詳細信息和auto2unicode和unicode2auto的限制。

txt2ipa

泰米爾Unicode文本到國際音標(IPA)轉換器閱讀有關txt2ipa的更多詳細信息。

transliterate

Python套件transliterate提供了常用的音譯方案,如

阿扎格 - 所有泰米尔字母的音标映射 - 多 -> 一种支持多种形式输入
贾夫纳图书馆 - 所有泰米尔字母的音标映射 - 一 -> 一
组合布局 - 基于元音+辅音的音标映射
马德拉斯大学, ISO - 加入了音译方案。

transliterate包通常提供常用的音标转换方案；其中包括：

Azhagi - 泰米尔字母的音标映射 - 多 -> 一种支持多种形式输入
贾夫纳图书馆 - 泰米尔字母的音标映射 - 一 -> 一
组合布局 - 基于元音+辅音的音标映射

tamilmorse

在该库中可以创建泰米尔语的摩尔斯电码符号，并分析编码。

tamilsandhi

该程序库可以在泰米尔语中修正和创建连写错误。它由Nithya Duraisamy女士开发,包含大约40条规则。更多信息请访问 https://github.com/nithyadurai87/tamil-sandhi-checker Tamil Sandhi Checker是由Nithya Duraisamy创建和维护的项目,由Ezhil Language Foundation贡献。它基于GNU GPLv3协议发布。

这段代码作为Open-Tamil的一部分提供。

C-tamil

该包提供了与Python 'tamil'库类似的功能,但是是采用ISO-C标准的C/C++实现。

屏幕键盘(Onscreen Keyboard)

Open-tamil在文件`keyboard/tamil.js`中提供了jQuery UI插件的键盘布局。语言模式（Language Modes）

目前'ngram/'软件包支持基于UTF-8语料库的字母一元模型和二元模型的基本支持。预计将很快开发更复杂的语言模型。

安装（Installation）

推荐从Python包索引安装，使用以下命令：

$ pip install open-tamil

从源代码安装

从git存储库拉取源代码后，需要通过以下命令同步tamilsandhi子模块：

$ git submodule init $ git submodule update --force

这对于打包、tamilsandhichecker以及open-tamil是必需的。

示例（Examples）

Open-Tamil是一组Python库，可以帮助您的应用程序（Web、系统软件、桌面GUI等）支持Tamil文本处理、输入等。

Open-Tamil目前还只是一个基本的工具集合 - 它还没有完成。我们提供了键盘布局、将旧编码转换为UTF-8的转换器、N-gram语言模型、音译器等。

使用Python Open-Tamil的示例可以在这里找到。

目标（Goals）

该软件包的目标是收集和开发开源许可的Tamil工具，提供以下内容：

Tamil Unicode标准工具 - 提供Tamil Unicode开发的各种工具。目前支持25种编码，了解详情请点击此处
访问Tamil字母、元音和辅音的Unicode。
将Tamil字形和Unicode代码点分解为Tamil字母表示 - 排序
用于导航语料库、构建词频、预测表等的工具。
从各种编码转换。例如从TSCII转换到Unicode等。我们希望最终能够在Tamil Unicode编码之间转换其他主要的Tamil编码，如TAB、TAM、Bamini（插入您最喜欢的字体编码）。
在Python3中支持以上所有功能。

尽管该软件包中的大部分工具都是使用Python 2.6或更高版本编写的，但我们也欢迎其他开源语言的源代码贡献。