AIAS - 专为图像识别和自然语言处理设计的高效SDK集合，提升开发效率

<div align="center">
<div align="center">
<img src=""  width = "200"  />
</div>

[![star]()](https://gitee.com/mymagicpower/AIAS/stargazers)   [![fork]()](https://gitee.com/mymagicpower/AIAS/members)
<h4 align="center">
    <p>
        <b>中文</b> |
        <a href="https://github.com/mymagicpower/AIAS/blob/main/README_EN.md">English</a>
    <p>
</h4>
<h4 align="center">
    <p>
        <b>官网</b> |
        <a href="https://www.aias.top/">https://www.aias.top/</a>
    <p>
</h4>
</div>

<br>
<hr>
<br>

<div align="center">
<img src=""  width = "600"  />
</div>


<div align="center">
  <table>
    <tr>
      <td>
        <div align="center">
        <img src=""  width = "250"  />
        </div>
      </td>
      <td>
        <div align="center">
        <img src=""  width = "250"  />
        </div>
      </td>
    </tr>  
    <tr>
      <td>
        <div align="center">
        <img src=""  width = "250"  />
        </div>
      </td>
      <td>
        <div align="center">
        <img src=""  width = "250"  />
        </div>
      </td>
    </tr>   
  </table>

</div>

#### 项目清单:

- 1. 1_image_sdks - [图像识别 SDK]
```text
  1). 工具箱系列：图像处理工具箱（静态图像）
  2). 目标检测：目标检测、目标跟踪、人脸检测&识别
  3). 图像分割：图像分割、医疗影像
  4). 行为分析：行为识别、姿态估计
  5). GAN：    超分辨率、动作驱动、风格迁移、图像生成
  6). 其它类别：OCR、深度估计、视频理解、图像检索
      ...

<div align="center">
  <table>
      <tr>
      <td style="width:220px">
        <div align="left">
          <p>OCR工具箱 1：OCR方向检测与旋转 - ocr_sdks/ocr_direction_det_sdk</p>
          OCR图像预处理。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/0bbdbfac-79bc-4cba-8628-2817e5058a09.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr>
      <tr>
      <td style="width:220px">
        <div align="left">
          <p>OCR工具箱 2：OCR文字识别 - ocr_sdks/ocr_v3_sdk</p>
            1.  V3 文本检测: <br>
            - 中文文本检测<br>
            - 英文文本检测<br>
            - 多语言文本检测<br> 
            2.  V3 文本识别:<br> 
            - 中文简体<br> 
            - 中文繁体<br> 
            - 英文<br> 
            - 韩语<br> 
            - 日语<br> 
            - 阿拉伯<br> 
            - 梵文<br> 
            - 泰米尔语<br> 
            - 泰卢固语<br> 
            - 卡纳达文<br> 
            - 斯拉夫<br> 
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/1403909c-daf0-42ee-a509-88ea64ba0be8.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <tr>
      <td style="width:220px">
        <div align="left">
          <p>OCR工具箱 3：OCR文字识别 - ocr_sdks/ocr_v4_sdk</p>
          原生支持旋转倾斜文本文字识别。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/1403909c-daf0-42ee-a509-88ea64ba0be8.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr>
      <tr>
      <td style="width:220px">
        <div align="left">
          <p>OCR工具箱 4：版面分析 - ocr_sdks/ocr_layout_sdk</p>
               可以用于配合文字识别，表格识别的流水线处理使用。   <br>
               1.  中文版面分析<br>
               2.  英文版面分析<br>
               3.  中英文文档 - 表格区域检测<br>
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/86c71602-7f21-47cf-8376-f80969cb3b90.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr>    
    <tr>
      <tr>
      <td style="width:220px">
        <div align="left">
          <p>OCR工具箱 5： 表格识别 - ocr_sdks/ocr_table_sdk</p>
               中英文表格识别。  
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/cc8ec510-14b9-485a-981f-def839c6ba99.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr>    
    <tr>
      <tr>
      <td style="width:220px">
        <div align="left">
          <p>OCR工具箱 6： led文字识别 - ocr_sdks/ocr_led_sdk</p>
               led表盘文字识别。
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/f742de41-42b3-4905-8cbf-3037e520ac01.png"  width = "400px"/>
        </div>
      </td>
    </tr>     
    <tr>
      <td>
        <div align="left">
          <p>动物分类识别 - classification/animal_sdk</p>   
           动物识别sdk，支持7978种动物的分类识别。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/9f036d40-65f1-4e2a-9573-3c24862b7fb3.jpeg" width = "400px"/>
        </div>
      </td>
    </tr> 
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>菜品分类识别 - classification/dish_sdk</p> 
          菜品识别sdk，支持8416种菜品的分类识别。   
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/6b1c1eff-c876-47be-9aaf-9c280abb48b4.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr> 
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>单目深度估计 - depth_estimation_sdk</p>
          MiDaS_Small实现单目深度估计，模型可通过输入图像估计其中的深度信息。    
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/b31db0f0-6044-4ee2-8ecd-9e040395b6dd.png"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>动作驱动 - first_order_sdk</p>
          sdk以一段动作视频去驱动一张图片运动。可以驱动任意类型的运动。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/5b3e4327-a6da-4940-b6eb-242f94f53adc.gif"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>实例分割 - instance_segmentation_sdk</p>
          支持对图片中80个分类的目标进行实例分割。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/0ba13bfb-53e8-4f1e-b271-31abdb5c08a8.jpeg"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>人群密度检测 - crowd_sdk</p>
          统计人数，计算密度图。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/7d8944fd-09ba-4596-8aae-0043841a2aeb.png"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>烟火检测 - fire_smoke_sdk</p>
          烟火检测，给出检测框和置信度。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/5e2fd396-5435-4fa3-b1d7-265cd6c4aa27.png"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>口罩检测 - mask_sdk</p>
          口罩检测，给出检测框。     
        </div>
      </td>     
      <td>
        <div align="center">
        <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/fb4bfd81-1b41-4403-920b-6adbe2e884a0.png"  width = "400px"/>
        </div>
      </td>
    </tr>
    <tr>
      <td style="width:220px">
        <div align="left">
          <p>行人检测 - pedestrian_sdk</p>
    </tr>
</table>
</div>
行人检测，给出检测框和置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://yellow-cdn.veclightyear.com/35dd4d3f/ce7c57e0-9289-4a2b-877b-b578ba1fe836.png"  width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>反光衣检测 - reflective_vest_sdk</p>
实现施工区域或者危险区域人员穿戴检测。
</div>
</td>
<td>
<div align="center">
<img src="https://yellow-cdn.veclightyear.com/35dd4d3f/fd3141d4-c9e4-406f-bd98-c43f4ee1abe9.png"  width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>智慧工地检测 - smart_construction_sdk</p>
支持检测的类别：人体，安全帽。
</div>
</td>
<td>
<div align="center">
<img src="https://yellow-cdn.veclightyear.com/35dd4d3f/ec2ce173-cb22-45a5-a740-d71d1b546e9e.jpeg"  width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>车辆检测 - vehicle_sdk</p>
车辆检测，给出检测框和置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://yellow-cdn.veclightyear.com/35dd4d3f/df952d4a-298a-45b9-b59d-51b854f5af6d.png"  width = "400px"/>
</div>
</td>
</tr>
</table>
</div>
- 2. 2_nlp_sdks - [自然语言 SDK]
```text
  1). 工具箱系列：sentencepiece，fastText，npy/npz文件处理等。
  2). 文本生成
  3). 词向量
  4). 机器翻译
  5). 语义模型
  6). 情感分析
  7). 句法分析
  8). 词法分析
  9). 文本审核
      ...

轻量句向量SDK【英文】 - embedding/sentence_encoder_en_sdk 句向量是指将语句映射至固定维度的实数向量。
词向量SDK【英文】- embedding/word_encoder_en_sdk 每个单词或词组被映射为实数域上的向量。
fastText - kits/fasttext_sdk fastText是一个快速文本分类算法。
解析npy/npz文件 - kits/npy_npz_sdk java读取python numpy保存的npz、npy文件。。
Sentencepiece分词 - kits/sentencepiece_sdk Sentencepiece分词的Java实现。
jieba分词 - lexical_analysis/jieba_sdk jieba分词java版本的简化实现。
词法分析SDK [中文] - lexical_analysis/lac_sdk 词法分析模型能整体性地完成中文分词、词性标注、专名识别任务。
短文本相似度SDK [中文] - semantic_simnet_bow_sdk 计算两个句子的cosin相似度。
情感分析SDK [中文]- sentiment_analysis/senta_bilstm_sdk 判断该文本的情感极性类别并给出相应的置信度。
对话情绪识别SDK [中文] - sentiment_analysis/senta_textcnn_sdk 对话情绪识别（Emotion Detection）专注于识别智能对话场景中用户的情绪，针对智能对话场景中的用户文本，自动判断该文本的情绪类别并给出相应的置信度。
情感倾向分析SDK - sentiment_analysis/sentiment_analysis_sdk 情感倾向分析（Sentiment Classification）针对带有主观描述的中文文本，可自动判断该文本的情感极性类别并给出相应的置信度。
文本审核SDK [中文] - porn_detection_sdk 色情检测模型可自动判别文本是否涉黄并给出相应的置信度，对文本中的色情描述、低俗交友、污秽文爱进行识别。
中文翻译为英文 - translation_zh_en_sdk 中文翻译为英文SDK。

1. 3_audio_sdks - [语音处理 SDK]

  1). 工具箱系列：音素工具箱，librosa，java sound，javacv ffmpeg, fft, vad工具箱等。
  2). 声音克隆
  3). 语音合成
  4). 声纹识别
  5). 语音识别
      ...

语音识别（ASR）【短语音】 - asr_sdk 中文语音识别。
语音处理包Librosa- librosa_sdk python语音处理库librosa的java实现。
音素相关的文本处理- ph_sdk 音素相关的文本处理工具箱。适用于中文、英文和中英混合的音素，其中汉字拼音采用清华大学的音素，英文字符分字母和英文。
音特征编码器提取特征向量 - sv2tts_speakencoder_sdk 声音特征编码器。
提取mel(梅尔)频谱 - tacotron_stft_sdk TacotronSTFT 提取mel(梅尔)频谱。
基于目标音色的梅尔频谱图 - tacotron2_sdk 模型生成文本基于目标音色的梅尔频谱图。
TTS 文本转为语音 - tts_sdk TTS 文本转为语音。
声纹识别 - voiceprint_sdk 声纹特征向量提取，声纹相似度计算。

1. 4_video_sdks - [视频解析SDK]

  1). 摄像头口罩检测 - camera_facemask_sdk
  2). MP4检测口罩 - mp4_facemask_sdk
  3). rtsp取流检测口罩 - rtsp_facemask_sdk

摄像头口罩检测 - camera_facemask_sdk 读取本地摄像头，实时（需要有显卡的台式机，否则会比较卡顿）检测口罩。
MP4检测口罩 - mp4_facemask_sdk 读取本地MP4文件，实时（需要有显卡的台式机，否则会比较卡顿）检测口罩。
rtsp取流检测口罩 - rtsp_facemask_sdk 通过rtsp取流，实时（需要有显卡的台式机，否则会比较卡顿）检测口罩。

1. 5_bigdata_sdks - [大数据SDK]

  1). flink-情感倾向分析【英文】- flink_sentence_encoder_sdk
  2). kafka-情感倾向分析【英文】- kafka_sentiment_analysis_sdk
      ...

flink-情感倾向分析【英文】SDK - flink_sentiment_analysis_sdk 情感倾向分析（Sentiment Classification）针对带有主观描述的文本，可自动判断该文本的情感极性类别并给出相应的置信度。
kafka-情感倾向分析【英文】SDK - kafka_sentiment_analysis_sdk 情感倾向分析（Sentiment Classification）针对带有主观描述的文本，可自动判断该文本的情感极性类别并给出相应的置信度。

- 6. 6_metaverse - [2D虚拟人] ```text 1). Live2DDemo ... ```

2D虚拟人APP - Live2DDemo

最近元宇宙的概念越来越火。虚拟人技术是其中重要的组成部分。其原理是通过视频来捕捉人脸，并且将人的面部动作同步到人物身上。人们只需要一个摄像头就可以制造出一个生动活泼的虚拟形象了。

1. 7_engine_hub - [平台引擎]

  1). 训练引擎
      ...

AI 训练平台 - training

AI训练平台提供分类模型训练能力。并以REST API形式为上层应用提供接口。

1. 8_aigc - [图像生成]

  1). 图像生成 stable_diffusion
      ...

java版StableDiffusion - stable_diffusion

文生图：输入提示词（仅支持英文），生成图片（仅支持英文）图生图：根据图片及提示词（仅支持英文）生成图片

人工智能算法：

https://zhuanlan.zhihu.com/p/693738275

帮助文档：

https://aias.top/guides.html
1.性能优化常见问题:
https://aias.top/AIAS/guides/performance.html
2.引擎配置（包括CPU，GPU在线自动加载，及本地配置）:
https://aias.top/AIAS/guides/engine_config.html
3.模型在线/离线加载方式（在线自动加载，及离线加载配置）:
https://aias.top/AIAS/guides/load_model.html
4.Windows环境常见问题:
https://aias.top/AIAS/guides/windows.html

其它研究专题:

1. AI + 量子计算

官网: https://www.qubits.top/
Gitee: https://gitee.com/mymagicpower/qubits
GitHub: https://github.com/mymagicpower/qubits

2. AI + 生物医药

官网: https://www.biocomputing.top/
Gitee: https://gitee.com/mymagicpower/bio-computing
GitHub: https://github.com/mymagicpower/bio-computing