#Attention机制

commented-transformers

详细注释的Transformer实现，涵盖从头创建Transformer系列，包括注意力机制和整体Transformer的实现。提供双向注意力、因果注意力及因果交叉注意力的实现，以及GPT-2和BERT模型的单文件实现，兼容torch.compile(..., fullgraph=True)以提高性能。

Chinese-ChatBot

Chinese-ChatBot是一个开源的中文聊天机器人项目，基于LSTM和Attention机制构建。项目使用Tensorflow和Keras框架，采用seq2seq模型结构，实现了从数据预处理到模型训练和预测的完整流程。虽已停止维护，但其代码和文档仍为自然语言处理初学者提供了宝贵的学习资源。项目还包含简洁的图形界面，方便用户交互测试。