Project Icon

Classical-Modern

文言文与现代汉语的大规模平行语料库

Classical-Modern是一个大规模文言文与现代汉语平行语料库。该项目收录了327本古籍原文和97本双语对照数据,共972467个句对。语料库提供原文、译文和双语三种格式,保留了原文顺序。数据经过句子级对齐处理,为中国古典文学研究和自然语言处理提供了重要资源。

chinese-poetry - 开源中华古典文集数据库 收录海量唐诗宋词
Githubchinese-poetry中国古典诗歌唐诗宋词开源项目数据库
chinese-poetry是一个开源的中华古典文集数据库,收录了5.5万首唐诗、26万首宋诗、2.1万首宋词等作品。数据库涵盖唐宋两朝近1.4万古诗人和1.5千古词人的创作。项目采用JSON格式分发数据,便于开发者构建诗词应用。此外,还提供高频词分析图,展示热门词牌名、高频词和作者作品榜。该项目致力于传承中华文化,使公众更便捷地接触这些珍贵的文学遗产。
bible-corpus - 多语言平行圣经语料库 助力自然语言处理研究
GithubXML文件处理圣经翻译多语言平行语料库开源项目自然语言处理语料库编码标准
bible-corpus是一个多语言平行语料库项目,基于圣经翻译创建。该语料库包含近100种语言的对齐文本,可用于多种自然语言处理任务。通过书卷、章节和经文索引,实现了句子级别的对齐,并采用XML格式编码。项目提供tokenized版本和Python代码片段,方便研究人员和开发者使用这一丰富的语言资源。
Chinese-Tiny-LLM - 中文大语言模型训练流程与高质量语料库开源项目
Chinese-Tiny-LLMGithub中文语料库开源项目自然语言处理语言模型预训练
Chinese-Tiny-LLM项目提供完整的中文网络语料清洗流程和预训练代码,包含MAP-CC(8000亿中文token预训练数据集)、CHC-Bench(中文难例指令理解基准测试)和CT-LLM(2B参数中文中心语言模型)。该项目突破了传统依赖英语语料库的LLM训练方法,为构建更具包容性和适应性的语言模型奠定基础。
nlp_chinese_corpus - 中文自然语言处理高质量多任务语料库
Github中文自然语言处理开源项目数据集词向量语料预训练
该中文自然语言处理项目提供丰富的高质量语料,包括维基百科条目、新闻、百科问答等,目标是解决中文大规模语料匮乏的问题。项目支持10大任务和9个模型的基准测试,并提供一键运行和详细性能比较,旨在提升中文NLP标准。适用于多种实际应用场景,如词向量训练、关键词生成和标题生成,方便研究人员和从业者获取和利用中文语料。
ChineseWebText - 大规模中文网络文本数据集及其评估工具链
ChineseWebTextGithub开源项目数据评估模型网页文本处理自然语言处理高质量中文数据集
ChineseWebText是一个大规模中文网络文本数据集,总容量达1.42TB,每条文本均附带质量评分。该项目还提供了一个600GB的高质量子集,文本质量均超过90%。项目包含EvalWeb工具链,用于从原始网络数据中提取优质中文文本。EvalWeb通过数据准备、预处理和BERT评估模型对文本质量进行筛选和评估。此外,项目还开发了基于FastText的快速分类器,在保持性能的同时提高了处理效率。
stylellm_models - 基于大语言模型的中国四大名著风格文本迁移系统
GithubStyleLLM四大名著开源项目文本风格迁移文风大模型风格化聊天
StyleLLM是一个利用大语言模型进行文本风格迁移的开源项目。该项目专门学习和复现中国四大名著的写作风格,提供基于《三国演义》、《西游记》、《水浒传》和《红楼梦》的四个模型。用户输入普通文本后,模型可输出带有相应古典小说风格特色的改写版本。项目还提供量化版模型,以适应低显存设备的需求。
CMLM-ZhongJing - 中医大语言模型结合古今智慧推动医学创新
CMLM-ZhongJingGithub中医大语言模型开源项目指令数据模型训练
CMLM-ZhongJing是一款专注中医领域的大语言模型,融合古代医学智慧与现代AI技术。该模型采用多任务诊疗行为分解和中医常识指令数据构建策略进行训练,致力于深入阐释中医知识,为医学领域提供智能化工具。在专业中医案例测试中,模型展现出优秀的泛化能力和专业水平。
WanJuan1.0 - 开源多模态语料库推动AI模型性能提升
GithubWanJuan上海人工智能实验室图文数据集多模态语料库开源项目文本数据集
WanJuan1.0是一个开源多模态语料库,包含超过5亿文档、22万图文对的文本、图像和视频数据,总量超2TB。涵盖科技、文学等多领域,经过精细处理和价值观对齐。该语料库已应用于Intern系列大模型训练,显著提升了模型在语义理解、知识问答等任务的表现,可有效增强AI模型的知识内容、逻辑推理和泛化能力。
CBook-150K - 中文图书语料集合 支持PDF EPUB MOBI格式
EPUB解析GithubMD5链接PDF解析中文图书语料开源项目百度云盘
CBook-150K是一个包含约15万本中文图书的语料集合,基于开源MD5图书链接构建。项目支持PDF、EPUB和MOBI格式解析,提供MD5链接目录结构和快速转存方法。介绍了各种电子书格式的解析技术,为自然语言处理研究提供中文文本资源。该语料集合仅供科研用途。
Chinese-Word-Vectors - 多样化中文词向量预训练模型集合
Chinese Word VectorsGithub中文开源项目词向量语义关系语料库
该项目集成了多种中文词向量模型,涵盖稠密和稀疏表示方法,以及词、n-gram、字符等上下文特征。同时提供中文类比推理数据集CA8和评估工具包,便于模型质量评估。这些预训练资源可应用于多种自然语言处理任务,为相关研究和开发工作提供了有力支持。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号