Heat: 开源LLM桌面和移动客户端

Heat: 开源LLM的多功能客户端

在人工智能和大语言模型(LLM)快速发展的今天,越来越多的人希望能够亲身体验开源LLM的强大功能。Heat应运而生,它是一款开源的原生iOS和macOS客户端,旨在为用户提供与最流行的LLM服务进行交互的便捷方式。作为Swift GenKit项目的姐妹项目,Heat致力于抽象化各种LLM服务之间的差异,包括OpenAI、Mistral、Perplexity、Anthropic以及通过Ollama可在本地运行的所有模型。

Heat桌面截图

主要特性

Heat拥有众多强大的功能,使其成为一款全面而灵活的LLM客户端:

多LLM提供商支持: Heat支持多种流行的LLM提供商,包括OpenAI、Mistral、Anthropic和Gemini。这使用户可以根据自己的需求和偏好选择不同的AI模型。
本地LLM运行: 通过集成Ollama,Heat支持在本地运行开源LLM,为用户提供了更高的隐私性和定制化选项。
图像生成: Heat不仅支持文本交互,还集成了Stable Diffusion和DALL-E等图像生成功能,扩展了AI的创造性应用范围。
便捷启动器: 类似于Spotlight的启动器(快捷键Shift+Control+Space),让用户能够快速访问Heat的功能。
多步工具使用: 根据不同模型的能力,Heat支持多步骤的工具使用,增强了AI助手的问题解决能力。
网络搜索和浏览: 通过集成网络搜索和浏览功能,Heat可以提高AI响应的准确性和实时性。
日历理解: Heat具备读取和理解日历信息的能力,可以协助用户进行日程管理。
文件系统搜索: 在桌面版中,Heat支持文件系统搜索,方便用户快速找到所需文件。
基础记忆持久化: Heat实现了基本的记忆持久化功能,使AI助手能够在多轮对话中保持上下文连贯性。
无服务器依赖: 除了访问所需的AI模型外,Heat不依赖于任何额外的服务器,简化了部署和使用流程。

安装和使用

TestFlight安装

对于iOS用户,可以通过TestFlight来安装Heat的测试版:

https://testflight.apple.com/join/AX9JftGk (2024年3月17日更新)

本地安装

如果你希望从源码编译安装Heat,可以按照以下步骤操作:

在Xcode中构建并运行项目。
导航到"Preferences > Model Services"以提供各服务的API密钥。
选择你想使用的模型(或使用默认设置)。
在"Preferences"中设置你希望应用在各种情况下使用的首选服务。你可以设置多个服务,并根据需要自由组合。

使用Ollama在本地运行

要在本地使用Ollama运行LLM,请按照以下步骤操作:

安装Ollama并拉取一些模型。
运行Ollama服务器: ollama serve
在"Preferences > Model Services"中设置Ollama服务。
在"Preferences"中将首选服务设置为使用Ollama。

对于iOS设备上运行Heat,你需要确定运行Ollama服务器的计算机的本地IP地址(通常类似于10.0.0.XXX)。在"Preferences > Services > Ollama"中,你可以设置IP地址,只要保持在本地网络中即可。如果Ollama的默认端口11434无法工作,你可能需要将其更改为类似8080的端口,并手动运行服务器: OLLAMA_HOST=0.0.0.0:8080 ollama serve

未来展望

Heat项目最初的计划是在设备上直接运行模型 - 这也是为什么取名为"Heat",因为设备会发热!但这个目标实现起来比预想的要困难。随着技术的发展和设备性能的提升,Heat团队计划在未来重新探讨这一可能性。

结语

Heat为用户提供了一个强大而灵活的LLM交互平台,无论是个人用户还是开发者,都能从中受益。通过支持多种LLM服务和本地运行能力,Heat为AI技术的普及和应用做出了重要贡献。随着项目的不断发展和完善,我们可以期待Heat在未来带来更多创新功能和改进。

对于那些对AI和LLM感兴趣的用户来说,Heat无疑是一个值得尝试的工具。它不仅提供了与各种先进AI模型交互的便捷方式,还通过开源的方式鼓励社区参与和贡献。无论你是想要探索AI的潜力,还是寻求提高工作效率的解决方案,Heat都能为你提供一个理想的起点。

随着AI技术的快速发展,像Heat这样的工具将在推动技术普及和创新应用方面发挥越来越重要的作用。我们期待看到Heat在未来的发展中不断突破,为用户带来更多惊喜和价值。

🔗 相关链接:

GitHub仓库: https://github.com/nathanborror/Heat
Swift GenKit项目: https://github.com/nathanborror/swift-gen-kit
Ollama官网: https://ollama.ai

通过探索和使用Heat,让我们一起拥抱AI时代,体验开源LLM的无限可能!