项目介绍:Chatd
Chatd 是一款全新的桌面应用程序,让用户可以通过本地人工智能与自己的文档进行互动。它的独特之处在于完全保护用户隐私,所有数据都保存在用户的电脑上,不会被发送到云端。Chatd 为用户提供了一种完全私密和安全的方式来与文档进行交流。
项目背景
Chatd 使用的是名为 Mistral-7B
的本地大型语言模型,它内置了 LLM(大语言模型)运行器,与其他同类应用的最大区别在于,用户无需额外安装其他软件,只需运行可执行文件即可使用。这种设计极大地降低了用户使用的门槛,同时提高了使用体验。
技术实现
Chatd 使用 Ollama 作为其 LLM 运行支持。Ollama 是一种为跨平台提供 LLM 运行支持的服务器,一个突出的特点是,如果用户本地已运行 Ollama 实例,Chatd 将自动识别并使用该实例,否则 Chatd 会自动启动一个 Ollama 服务器,并自行管理其生命周期。
使用指南
快速入门
- 从 chatd.ai 或者 GitHub 发布页面 下载最新版本。
- 解压下载的文件。
- 运行
chatd
可执行文件。
高级设置
开发和分发
Chatd 提供了简单的开发流程,通过以下命令可快速启动:
npm install
npm run start
软件打包及分发
MacOS
- 下载最新的
ollama-darwin
版本。 - 将二进制文件设置为可执行:
chmod +x path/to/ollama-darwin
- 将其复制到
chatd/src/service/ollama/runners
目录。 - 如果需要将应用发布到其他 Mac 系统,需要进行签名,详情请设置相关的环境变量。
npm run package
Windows
- 下载最新的
ollama-windows-amd64.zip
版本。 - 解压后将内容复制到
chatd/src/service/ollama/runners/
。 - 用命令打包应用程序:
npm run package
注意:未签名的 Windows 应用运行时会有警告弹出。
Linux
- 下载最新的
ollama-linux-amd64
版本。 - 将可执行文件复制到
chatd/src/service/ollama/runners/ollama-linux
。 - 打包应用程序:
npm run package
小结
Chatd 提供了一种便捷、私密的方式与文档进行交流,凭借其内置的大型语言模型及简单的使用和开发指南,为用户带来了全新的互动体验。