h2ogpt - 私密的文件查询与总结工具

h2ogpt项目介绍

h2ogpt是一个开源的人工智能项目,旨在提供一个私有、离线的文档查询和摘要生成系统,以及一个本地私有的GPT大语言模型聊天系统。该项目由H2O.ai公司开发,采用Apache 2.0开源许可证。

主要特点

私有文档数据库

h2ogpt支持建立私有离线的文档数据库,可以处理多种类型的文档,包括PDF、Excel、Word、图片、视频帧、YouTube视频、音频、代码、文本、Markdown等。它使用准确的嵌入模型(如instructor-large、all-MiniLM-L6-v2等)建立持久化的数据库(支持Chroma、Weaviate或内存中的FAISS)。

系统采用指令调优的大语言模型高效利用上下文信息,无需使用LangChain的少样本学习方法。它还支持并行摘要和提取,使用13B LLaMa2模型可达到每秒80个token的输出速度。此外,h2ogpt还采用了HYDE(假设性文档嵌入)技术来增强检索效果,并使用语义分块技术来优化文档拆分(需要GPU支持)。

多样化模型支持

h2ogpt支持多种大语言模型,包括LLaMa2、Mistral、Falcon、Vicuna、WizardLM等。它支持使用AutoGPTQ、4-bit/8-bit量化、LORA等技术。系统可以在GPU上运行Hugging Face和LLaMa.cpp的GGML模型,也可以在CPU上运行Hugging Face、LLaMa.cpp和GPT4ALL模型。

此外,h2ogpt还支持注意力接收器(Attention Sinks)技术,可以实现任意长度的文本生成,适用于LLaMa-2、Mistral、MPT、Pythia、Falcon等模型。

用户界面

h2ogpt提供了Gradio图形用户界面和命令行界面,支持所有模型的流式输出。用户可以通过界面上传和查看文档,控制多个协作或个人文档集合。系统还支持LLaVa、Claude-3、Gemini-Pro-Vision、GPT-4-Vision等视觉模型,以及Stable Diffusion、PlaygroundAI、Flux等图像生成模型。

语音方面,h2ogpt集成了Whisper进行语音识别,支持流式音频转换。它还使用MIT许可的Microsoft Speech T5和MPL2许可的TTS系统进行语音合成,支持多种声音和流式音频转换。系统提供了AI助手语音控制模式,可以实现免手操作控制h2oGPT聊天。

用户界面还支持多模型对比模式,方便下载模型文件,并可以通过UI控制LLaMa.cpp等模型。此外,h2ogpt提供了用户认证功能和状态保存功能。

多平台支持

h2ogpt支持Linux、Docker、macOS和Windows平台。它还支持多种推理服务器,包括oLLaMa、HF TGI server、vLLM、Gradio、ExLLaMa、Replicate、Together.ai、OpenAI、Azure OpenAI、Anthropic、MistralAI、Google和Groq。