edgen
Edgen是一款本地运行的生成AI API服务器,兼容OpenAI API。支持文本生成、语音转文字等AI功能,可在Windows、Linux和MacOS平台上运行。通过本地推理保障数据隐私,减少对云计算的依赖。其模块化设计便于添加新模型,并能自动选择最佳运行时。Edgen还提供模型缓存功能,减少重复下载,无需Docker,采用Rust编写,为用户提供高效、可靠的AI解决方案。