#问答系统
xlnet
XLNet是一种基于广义置换语言建模的新型无监督语言表示学习方法,采用Transformer-XL作为骨干模型,适用于长上下文的语言任务。XLNet在问答、自然语言推理、情感分析和文档排名等多个下游任务中表现优异,超越了BERT,取得了多项任务的最新最佳结果。
WebGLM
WebGLM是一个结合网络搜索与信息检索的高效问答系统,利用10亿参数的GLM生成准确答案。系统提升了性能,通过长上下文处理和人类偏好评分机制优化用户体验,支持多平台部署与扩展,提供流畅、实时的交互。
rust-bert
rust-bert是基于Rust语言开发的高效自然语言处理库,支持问答、命名实体识别、翻译和摘要生成等多种任务。此库支持多线程分词和GPU推断,具备丰富的API,便于开发者和研究人员快速部署使用多种预训练模型。
searchGPT
searchGPT是一款基于大型语言模型(LLM)技术的开源搜索引擎,提供自然语言回答功能。支持实时网络和文件内容搜索,集成OpenAI与GooseAI等LLM技术。简洁直观的界面提升用户体验。了解更多项目架构、未来发展及安装和运行指南,欢迎开发者贡献代码,特别是前端开发者。探索searchGPT的自然语言处理和搜索引擎创新优势。
drqa
该项目构建了一个结合Langchain与大型语言模型(如OpenAI的GPT-3)的问答系统,旨在准确回答问题。系统前端采用React/Typescript开发,后端使用FastAPI框架,实现了PDF文档到文本的转换和嵌入处理,同时支持多种文档类型并优化了搜索与检索速度。项目有效减少了API调用成本,并规划了多项未来改进,如流处理、缓存机制、UI优化和长对话的记忆与总结功能。
n-levels-of-rag
本项目是一个全面的RAG应用开发指南,涵盖基础到高级的多个层次。内容包括核心概念讲解、高级技术介绍、可观察性实践、评估方法和性能优化策略等。适合各层次开发者学习,提供实用知识助力RAG应用开发。
llm-zoomcamp
LLM Zoomcamp是一个十周免费在线课程,聚焦LLM实际应用。课程教授如何构建基于知识库的AI问答系统,内容包括LLM和RAG简介、开源LLM、向量数据库、评估监控、LLM编排等。由业内专家指导,适合具备编程基础的学习者。通过实践项目,学员能掌握构建AI系统的实用技能。
WebCPM
WebCPM项目通过交互式网络搜索技术解决中文长篇问答任务。其开发的搜索界面收集用户行为数据,用于微调大规模预训练语言模型。该模型能够模拟人类搜索过程,生成基于事实的长答案。项目开源了全套资源,包括搜索界面、数据集、代码和模型参数,为自然语言处理领域研究提供支持。
Prompt-Engineering-Guide
本指南详细介绍如何通过提示工程优化和提升大语言模型(LLMs)的应用,包括基础知识和高级技术,涵盖最新的研究论文、学习指南、讲座、参考资料及工具。适合开发者和研究人员理解与应用LLMs,支持13种语言,提供线上课程及多种服务。