Owl 项目介绍:随时在线的可穿戴AI
Owl项目探索使用随时在线的可穿戴设备,通过人工智能聆听和观察我们生活中的一切。通过将强大的大语言模型和视觉模型与低功耗的可穿戴设备结合,Owl开辟了人机交互的新领域。这些领域包括记忆增强、主动生活助理以及分布式知识采集等。Owl项目致力于透明和开放地探索这些可能性。
主要功能
-
设备广泛支持:可以使用基于ESP平台、Sony Spresense或Apple Watch等消费级硬件自定义设备捕捉生活。正在不断增加对更多设备的支持。
-
灵活的推理选项:可以完全在本地运行推理,或利用商业模型。可使用Ollama上的任何模型进行推理,或运用商业模型如GPT-4。语音识别方面,可以使用Whisper或Deepgram等商业服务。
-
网页内容捕捉:轻松从桌面或手机上捕捉内容。
-
多模态捕捉:支持位置和音频的持续捕捉,之后计划增加对图像和视频的支持。
-
广泛的连接选项:支持BLE、LTE或WiFi的设备进行捕捉。
-
便携的互动AI:通过iOS和网页界面与AI轻松互动,Android支持即将推出。
-
语音验证:AI可以学习用户声音,以识别用户讲话。
-
流媒体与离线模式:实时向AI传输生活数据提供主动帮助,或在网络受限环境下切换为离线模式。
-
高级对话理解:利用VAD(语音活动检测)进行对话端点处理,以段解析并理解用户互动。
项目目标
Owl项目的目标是通过可穿戴设备提升人机互动体验,分析和提取生活中的信息和见解。当前支持音频和位置的捕捉,未来还将引入视觉及其他模式。项目目标包括:
- 开发一个有用的随时在线AI系统,开辟提高生产力、理解自己和周围世界的新方式,并提升与他人连接的能力。
- 实现随时在线AI的具体用途,例如生产力和记忆增强、知识捕捉与共享、健康等。
- 探索人机交互存在的问题:用户体验、界面设计、隐私和安全性。
硬件设备Bee的介绍
Owl项目发布了 "Bee",一款专为AI可穿戴开发者和爱好者设计的参考硬件设备。Bee具备长达50小时的电池寿命和仅为1.2英寸的紧凑尺寸。
Bee的主要特点:
- 50小时电池寿命:设计持久,Bee为个人AI提供上下文信息,随时准备提供帮助。
- 紧凑尺寸:直径仅1.2英寸,设计能完美融入多种可穿戴环境。
- 社区测试计划:Bee将在限量内向对其潜力感兴趣的一些贡献者开放,探索其在生产力、记忆及智能代理领域的新用例。
隐私和安全
对本地隐私和录音法律的尊重至关重要。项目要求用户在录制对话时通知其他参与方并尊重其意愿。建议用户以尊重和完全透明的方式探索技术使用案例。关于隐私安全的反馈与贡献是受欢迎的。
- 在服务器托管上,敏感数据可能未加密被传输和存储,建议在HTTPS上托管服务器,用SSL证书保护域名。
- 使用反向代理(例如ngrok)以加密交通。
参与及贡献
本项目欢迎讨论与贡献。建议通过GitHub提出问题,描述所进行的工作,以便交流和讨论,最终通过拉取请求贡献代码。
Owl项目在探索可穿戴AI的无限可能性,其创新的设计和强大的技术功能为未来人机交互提供了广阔的前景。