roberta-base-squad2-distilled

蒸馏版RoBERTa模型在SQuAD 2.0达到84% F1分数

roberta-base-squad2-distilled Github 深度学习模型自然语言处理机器学习开源项目 Huggingface 问答系统

基于RoBERTa-base架构开发的问答模型，通过知识蒸馏技术从roberta-large-squad2模型中提取核心能力。经SQuAD 2.0数据集训练后，在验证集上取得84.01 F1分数和80.86精确匹配分数。该模型支持Haystack框架集成，可用于构建实用的问答系统。

autodistill - 使用大型、较慢的基础模型来训练小型、较快的监督模型，通过自动标注实现模型训练全程无需人工干预，支持对象检测和实例分割任务

AutodistillGithubRoboflowinstance segmentationmachine learningobject detection开源项目

Autodistill利用大型基础模型训练小型快速监督模型，通过自动标注实现模型训练全程无需人工干预，支持对象检测和实例分割任务，并计划扩展至语言模型。可在本地硬件或云端运行，通过插件接口连接基础和目标模型插件，减少依赖和许可证冲突，确保高效便捷的模型训练与部署。

large-ocr-model.github.io - OCR 技术提升多模态大模型视觉问答性能研究

GithubOCR多模态大型模型开源项目缩放法则视觉问答

本项目研究 OCR 技术对多模态大模型性能的影响。实验表明，OCR 能显著提高模型在视觉问答任务中的表现。研究者构建了 REBU-Syn 数据集，验证了 OCR 领域的缩放法则，并开发了高精度 OCR 模型。这项工作为多模态大模型的应用开辟了新方向，揭示了 OCR 在增强模型能力方面的重要价值。

Aquila2 - Aquila2开源模型与聊天模型指南

Aquila2AquilaChat2Github开源开源项目模型现在的用户

页面提供详细的Aquila2系列（包括Aquila2-7B、Aquila2-34B和Aquila2-70B-Expr）和AquilaChat2系列（包括AquilaChat2-7B、AquilaChat2-34B和AquilaChat2-70B-Expr）开源模型信息，包含快速入门指南、微调教程、长文本理解与评估方法及模型下载链接。最新新闻和更新展示了这些模型在多个数据集上的性能，及其在长文本理解和推理任务中的表现，帮助用户全面了解与应用。

Retrieval-Augmented-Visual-Question-Answering - 细粒度后期交互多模态检索视觉问答系统

FLMRGithub基准测试多模态检索开源项目视觉问答预训练模型

这个项目开发了一个基于细粒度后期交互多模态检索的视觉问答系统。系统在OK-VQA等多个基准数据集上实现了先进的检索和问答性能。它采用模块化架构,包含预训练映射网络、FLMR检索器和BLIP2读取器等关键组件。项目提供完整的代码库,支持训练和评估,并发布了预训练模型和处理后的数据集,便于研究人员进行后续研究。

drqa - 结合Langchain与大型语言模型实现文档问答

GPT-3GithubLangChainPDF文档Qdrant开源项目问答系统

该项目构建了一个结合Langchain与大型语言模型（如OpenAI的GPT-3）的问答系统，旨在准确回答问题。系统前端采用React/Typescript开发，后端使用FastAPI框架，实现了PDF文档到文本的转换和嵌入处理，同时支持多种文档类型并优化了搜索与检索速度。项目有效减少了API调用成本，并规划了多项未来改进，如流处理、缓存机制、UI优化和长对话的记忆与总结功能。

torchdistill - 模块化深度学习知识蒸馏框架

GithubPyYAMLtorchdistill开源项目模型训练深度学习知识蒸馏

torchdistill是一款模块化的深度学习知识蒸馏框架，通过编辑yaml文件即可设计实验，无需编写Python代码。支持提取模型中间表示，方便进行可重复的深度学习研究。通过ForwardHookManager，无需修改模型接口即可提取数据。支持从PyTorch Hub导入模块，并包含多种范例代码及预训练模型，适用于图像分类、目标检测、语义分割和文本分类等任务。

Awesome-Dataset-Distillation - 数据集蒸馏技术的全面综述与最新进展

Github人工智能开源项目数据集蒸馏机器学习梯度匹配特征匹配

Awesome-Dataset-Distillation项目是数据集蒸馏领域的综合资源库。它收录了从早期工作到最新技术的各类方法,涵盖多个应用领域。项目由专家维护并定期更新,为研究人员提供最新进展和代码实现。

Awesome-Knowledge-Distillation-of-LLMs - 大语言模型知识蒸馏技术综述与研究进展

GithubKD AlgorithmsKnowledge DistillationLarge Language ModelsSkill DistillationVerticalization Distillation开源项目

该综述介绍了大语言模型（LLMs）中的知识蒸馏（KD）技术，探讨如何将GPT-4等LLM的功能转移到LLaMA和Mistral等开源模型中，并深入分析数据增强在其中的作用。此外，文章分类讨论了知识抽取和蒸馏算法的重要性及其在各领域的应用。项目定期更新相关论文和研究进展，可通过关注仓库获取最新信息。

Quest - 长文本LLM推理的查询感知稀疏化框架

GithubKV缓存Quest开源项目注意力机制稀疏性长上下文LLM推理

Quest是一个创新的长文本LLM推理框架，通过在KV缓存中应用查询感知稀疏化技术，显著减少了注意力计算中的内存移动。该框架跟踪缓存页面的Key值范围，并利用Query向量评估页面重要性，仅加载最关键的KV缓存页面。实验表明，Quest可将自注意力计算速度提升至7.03倍，推理延迟降低2.23倍，同时在长依赖任务中保持高精度。

FuseAI - 多模型知识融合提升大语言模型性能

FuseChatFuseLLMGithub大语言模型开源模型开源项目知识融合

FuseAI项目通过知识融合技术整合多个开源大语言模型的优势，开发出高性能新模型。FuseChat-7B-VaRM在MT-Bench评测中得分8.22，超过多个知名对话模型；FuseLLM-7B在多项任务中表现优于Llama-2-7B。该项目为大语言模型研究提供了新的发展方向。

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com