Project Icon

TUMCC

中文暗语识别语料库推动地下市场研究

TUMCC是首个专门用于中文暗语识别的语料库,收集自12个Telegram群组,包含28,749条句子和804,971个字符。经过数据清理后,保留3,863条句子(约10万字符)。该语料库提供cleaned和raw两种格式数据,便于研究人员分析地下市场语言特征和网络犯罪行为。项目附有详细使用说明和引用指南,为相关学术研究提供支持。

Chinese-Tiny-LLM - 中文大语言模型训练流程与高质量语料库开源项目
Chinese-Tiny-LLMGithub中文语料库开源项目自然语言处理语言模型预训练
Chinese-Tiny-LLM项目提供完整的中文网络语料清洗流程和预训练代码,包含MAP-CC(8000亿中文token预训练数据集)、CHC-Bench(中文难例指令理解基准测试)和CT-LLM(2B参数中文中心语言模型)。该项目突破了传统依赖英语语料库的LLM训练方法,为构建更具包容性和适应性的语言模型奠定基础。
MNBVC - MNBVC大规模中文语料集:覆盖多样类型数据支持开源社区
GithubMNBVChuggingface中文语料集开源社区开源项目数据清洗
MNBVC中文语料集由MOP里屋社区发起,目标是创建最大的中文互联网语料集,涵盖新闻、小说、论文等多种类型数据。当前数据量为34582GB,最终目标为40TB。MNBVC提供多种文件格式的数据,包括txt、json、jsonl和parquet,并配备一系列优化工具及爬虫代码协助数据处理。项目欢迎有技术背景的志愿者参与,提升数据清洗效率。访问Wiki了解更多信息。
nlp_chinese_corpus - 中文自然语言处理高质量多任务语料库
Github中文自然语言处理开源项目数据集词向量语料预训练
该中文自然语言处理项目提供丰富的高质量语料,包括维基百科条目、新闻、百科问答等,目标是解决中文大规模语料匮乏的问题。项目支持10大任务和9个模型的基准测试,并提供一键运行和详细性能比较,旨在提升中文NLP标准。适用于多种实际应用场景,如词向量训练、关键词生成和标题生成,方便研究人员和从业者获取和利用中文语料。
Telechat - 开源多语言对话模型,支持长文生成和高效部署
GithubTeleChat中文数据集大语言模型开源模型开源项目模型评测
TeleChat是一系列开源大语言模型,包含1B至12B规模,支持中英双语。采用优化结构和训练方法,在多领域表现优异。项目开源预训练数据集和评测结果,支持模型微调与高效部署。
LLMDataHub - 大语言模型训练数据集合
GithubLLMDataHub大语言模型开源社区开源项目数据集聊天机器人
LLMDataHub汇聚高品质大语言模型训练数据,为研究人员和从业者提供丰富的数据资源。该平台涵盖多种数据集,适合提升聊天机器人对话质量、应答生成及语言理解。同时,平台更新最新数据集,助您获取行业前沿资源。
UltraChat - 大规模、多样化的多轮对话数据和模型
GithubUltraChatUltraFeedbackUltraLM开源项目数据集模型
UltraChat项目专注于构建开源、大规模、多轮对话数据,目标是打造具有广泛会话能力的强大语言模型。最新发布的模型和数据集包括UltraLM-13B-v2.0、UltraRM和UltraCM,在AlpacaEval基准测试上表现优异。UltraChat数据集分为三大部分:世界问题、写作与创作、现有材料辅助,对话涵盖了技术、艺术和创业等领域。项目数据仅供研究和教育用途,基于MIT许可证发布。
jailbreak_llms - 大规模语言模型野生越狱提示的特征与评估研究
ACM CCS 2024GithubJailbreakHub伦理大语言模型开源项目数据集
本项目利用JailbreakHub框架,首次测量和研究野生越狱提示,收集了2022年12月至2023年12月的15,140个提示,其中包括1,405个越狱提示。通过分析Reddit和Discord等平台的数据,本研究旨在提高LLM供应商和研究社区对模型潜在风险的认识,并推动更强大的安全措施。
TACO - 推动算法代码生成模型发展的新基准数据集
GithubTACO代码生成开源项目数据集模型评估算法
TACO是一个大规模算法代码生成数据集,包含25,443个训练问题和1,000个测试问题。它提供具挑战性的编程竞赛题目,旨在提升代码生成模型的实际应用能力。TACO的特点包括规模大、质量高的问题-解答对,以及细粒度的任务主题、算法、技能和难度标签。这些特性为代码生成模型的训练和评估提供了精确参考,有助于推动相关研究和应用的进展。
tessdata - Tesseract OCR多语言数据文件库支持传统和LSTM引擎
GithubLSTM模型OCRTesseracttessdata开源项目语言数据
tessdata是Tesseract 4.0.0及更高版本的语言数据文件库。它包含传统引擎和LSTM神经网络引擎的模型,支持多语言识别。项目提供整数化处理的LSTM模型,平衡了速度和精度。tessdata还有多个版本可选,适应不同性能需求。所有数据采用Apache-2.0许可证,为OCR技术发展贡献资源。
chatgpt-comparison-detection - 双语人类与ChatGPT对比语料集及检测工具
ChatGPTGithubHC3开源开源项目检测器语料集
HC3项目推出了首个Human vs. ChatGPT对比语料集,提供多个版本的ChatGPT检测器。项目通过开源模型工具高效检测ChatGPT生成内容,并收集中英双语问答语料助力学术研究。HC3数据集已在Huggingface和ModelScope发布,检测器包括问答版、独立文本版和语言学版,支持中英文检测。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号