Floneum简介
Floneum是一个用Rust编写的开源AI工作流可视化编辑器,主要用于构建和运行本地的预训练AI模型工作流。它由两个主要项目组成:
- Kalosm: 一个用于预训练模型的简单Rust接口
- Floneum Editor: 用于本地AI工作流的图形化编辑器
Floneum的主要特点包括:
- 支持多种预训练模型,包括语言、音频和图像模型
- 使用图形界面轻松构建AI工作流
- 运行完全本地化,保护数据隐私
- 基于WASI的插件系统,安全且易于扩展
- 高性能,与llama.cpp相当的运行速度
快速入门
要开始使用Floneum,可以按照以下步骤操作:
- 安装Rust开发环境
- 创建新项目:
cargo new kalosm-hello-world cd ./kalosm-hello-world - 添加Kalosm依赖:
cargo add kalosm --features language cargo add tokio --features full - 在
main.rs中添加示例代码 - 运行应用程序
详细的入门指南可以在Kalosm网站查看。
主要功能
模型支持
Floneum支持多种预训练模型,包括:
- Llama: 通用语言模型
- Mistral: 通用语言模型
- Phi: 小型推理focused语言模型
- Whisper: 音频转录模型
- RWuerstchen: 图像生成模型
- TrOcr: 光学字符识别模型
- Segment Anything: 图像分割模型
- Bert: 文本嵌入模型
实用工具
Floneum还提供了多种实用工具:
- 提取、格式化和检索LLM上下文
- 从麦克风或文件转录音频
- 爬取和抓取网页内容
结构化生成
Floneum支持使用自定义解析器进行结构化生成,可以约束模型输出为任意结构,包括JSON、HTML和XML等。
学习资源
社区
Floneum是一个强大而灵活的AI开发工具,适合希望在本地构建和运行AI工作流的开发者。通过其直观的图形界面和丰富的模型支持,Floneum大大简化了AI应用的开发过程。无论你是AI领域的新手还是经验丰富的开发者,Floneum都能为你提供所需的工具和资源。开始使用Floneum,探索AI应用开发的无限可能吧!
