Jan - 将您的电脑变成AI计算机
入门指南 - 文档 - 更新日志 - 错误报告 - Discord
[!Warning] Jan目前正在开发中:请期待重大变化和bug!
Jan是一种开源的ChatGPT替代品,可在您的计算机上100%离线运行。
Jan可以在任何硬件上运行。 从PC到多GPU集群,Jan支持通用架构:
- NVIDIA GPU(速度快)
- Apple M系列(速度快)
- Apple Intel
- Linux Debian
- Windows x64
下载
版本类型 | Windows | MacOS | Linux | ||
稳定版(推荐) | jan.exe | Intel | M1/M2/M3/M4 | jan.deb | jan.AppImage |
实验版(夜间构建) | jan.exe | Intel | M1/M2/M3/M4 | jan.deb | jan.AppImage |
下载Jan的最新版本请访问https://jan.ai/或访问**[GitHub Releases](https://github.com/janhq/jan/releases)**下载任何先前版本。
演示
实时视频:Jan v0.4.3-nightly在Mac M1,16GB Sonoma 14上运行
快速链接
Jan
Nitro
Nitro是一种高效能C++推理引擎,适用于边缘计算。它轻量且可嵌入,可独立用于您的项目中。
故障排除
由于Jan处于开发模式,您可能会遇到构建失败的情况。
要重置您的安装:
-
使用以下命令删除任何悬空的后台进程:
ps aux | grep nitro
查找类似“nitro”和“nitro_arm_64”的进程,然后使用以下命令逐一终止它们:
kill -9 <PID>
-
从您的应用程序文件夹和缓存文件夹中删除Jan
make clean
这将删除所有构建工件和缓存文件:
- 从
~/jan/extensions
文件夹中删除Jan扩展 - 删除当前文件夹中的所有
node_modules
- 清除
~/Library/Caches/jan
中的应用程序缓存
- 从
运行Jan的要求
- MacOS:13或更高版本
- Windows:
- Windows 10或更高版本
- 启用GPU支持:
- 配备CUDA Toolkit 11.7或更高版本的Nvidia GPU
- Nvidia驱动程序470.63.01或更高版本
- Linux:
- glibc 2.27或更高版本(使用
ldd --version
检查) - gcc 11,g++ 11,cpp 11或更高版本,更多信息请参考此处
- 启用GPU支持:
- 配备CUDA Toolkit 11.7或更高版本的Nvidia GPU
- Nvidia驱动程序470.63.01或更高版本
- glibc 2.27或更高版本(使用
贡献
欢迎贡献!请阅读CONTRIBUTING.md文件
前提条件
- node >= 20.0.0
- yarn >= 1.22.0
- make >= 3.81
指南
-
克隆仓库并准备:
git clone https://github.com/janhq/jan cd jan git checkout -b DESIRED_BRANCH
-
运行开发模式并使用Jan桌面应用
make dev
这将启动开发服务器并打开桌面应用。
用于生产构建
# 在上一节中执行步骤1和2
# 构建应用程序
make build
这将构建适用于生产环境的MacOS M1/M2应用程序(已完成代码签名),并将结果放置在dist
文件夹中。
Docker模式
-
支持的操作系统:Linux, WSL2 Docker
-
先决条件:
-
以Docker模式运行Jan
用户可以选择使用最新预构建的Docker镜像对应的
docker-compose.yml
或使用本地Docker构建对应的docker-compose-dev.yml
Docker compose Profile | 描述 |
---|---|
cpu-fs | 以CPU模式运行Jan,使用默认文件系统 |
cpu-s3fs | 以CPU模式运行Jan,使用S3文件系统 |
gpu-fs | 以GPU模式运行Jan,使用默认文件系统 |
gpu-s3fs | 以GPU模式运行Jan,使用S3文件系统 |
环境变量 | 描述 |
---|---|
S3_BUCKET_NAME | S3存储桶名称 - 留空表示使用默认文件系统 |
AWS_ACCESS_KEY_ID | AWS访问密钥ID - 留空表示使用默认文件系统 |
AWS_SECRET_ACCESS_KEY | AWS秘密访问密钥 - 留空表示使用默认文件系统 |
AWS_ENDPOINT | AWS端点URL - 留空表示使用默认文件系统 |
AWS_REGION | AWS区域 - 留空表示使用默认文件系统 |
API_BASE_URL | Jan服务器URL,请修改为您的公网IP地址或域名,默认为http://localhost:1377 |
-
选项1:以CPU模式运行Jan
# 使用默认文件系统的CPU模式 docker compose --profile cpu-fs up -d # 使用S3文件系统的CPU模式 docker compose --profile cpu-s3fs up -d
-
选项2:以GPU模式运行Jan
-
步骤1:通过运行
nvidia-smi
检查您的NVIDIA驱动程序的CUDA兼容性,并检查输出中的CUDA版本nvidia-smi # 输出 +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 531.18 Driver Version: 531.18 CUDA Version: 12.1 | |-----------------------------------------+----------------------+----------------------+ | GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 4070 Ti WDDM | 00000000:01:00.0 On | N/A | | 0% 44C P8 16W / 285W| 1481MiB / 12282MiB | 2% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ | 1 NVIDIA GeForce GTX 1660 Ti WDDM | 00000000:02:00.0 Off | N/A | | 0% 49C P8 14W / 120W| 0MiB / 6144MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ | 2 NVIDIA GeForce GTX 1660 Ti WDDM | 00000000:05:00.0 Off | N/A | | 29% 38C P8 11W / 120W| 0MiB / 6144MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | 进程: | | GPU GI CI PID 类型 进程名 GPU内存使用情况| | ID ID 使用量 | |=======================================================================================|
-
步骤2:访问NVIDIA NGC Catalog,找到和您的CUDA版本匹配的最小次版本的镜像标签(例如,12.1 -> 12.1.0)
-
步骤3:将
Dockerfile.gpu
的第五行更新为步骤2中最新的镜像标签最小次版本(例如,将FROM nvidia/cuda:12.2.0-runtime-ubuntu22.04 AS base
更改为FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04 AS base
) -
步骤4:运行命令以GPU模式启动Jan
# 使用默认文件系统的GPU模式 docker compose --profile gpu-fs up -d # 使用S3文件系统的GPU模式 docker compose --profile gpu-s3fs up -d
-
这会启动Web服务器,您可以在http://localhost:3000
访问Jan。
注意:RAG功能在s3fs的Docker模式下尚不支持。
鸣谢
Jan基于其他开源项目构建:
联系
- Bug和请求:提交GitHub工单
- 讨论:加入我们的Discord 这里
- 商业咨询:发送邮件至hello@jan.ai
- 招聘:请发送邮件至hr@jan.ai
信任与安全
警惕诈骗。
- 我们不会向您索要个人信息
- 我们是免费产品;没有付费版本
- 我们没有代币或ICO
- 我们目前不主动进行筹款或寻求捐款
许可证
Jan是免费且开源的,遵循AGPLv3许可证。