访问官网
Github
Huggingface
文档
论文项目介绍
项目概览 😄📜
Interactive LLM Powered NPCs 是一个开源项目，旨在通过使用大型语言模型（LLM）技术全面革新游戏中非玩家角色（NPC）的互动体验。玩家可以通过麦克风与任何游戏中的 NPC 进行对话，使虚拟世界更加生动。
该项目使用 sadtalker 来同步角色的嘴部动作，采用面部识别技术来辨别不同的角色，并通过向量存储提供 NPC 无限的记忆容量。通过分析与特定 NPC 的互动，系统会根据他们的个性、知识和交流风格进行对话调整。此外，NPC 还能够通过玩家的网络摄像头读取玩家的面部表情，进一步增强互动深度。
这个项目特别适用于《赛博朋克 2077》、《刺客信条》、《GTA 5》等已经发布的游戏。这些拥有丰富 NPC 和美丽环境的开放世界游戏长期以来缺乏的就是让玩家与任何 NPC 对话的能力。这个项目填补了这一空白，为玩家提供了一个更具沉浸感的对话冒险体验，发掘这些虚拟世界中未曾开发的潜力。
值得一提的是，该项目的应用非常灵活。玩家无需修改游戏的源代码或进行复杂的 modding 程序，只需通过替换游戏生成的面部像素，就能将面部动画无缝集成到游戏环境中。
无论是在《刺客信条：英灵殿》中探索古代地牢，还是在《赛博朋克 2077》的霓虹灯街道上漫步，Interactive LLM Powered NPCs 都能将你的游戏体验提升到一个新的高度。准备好享受与 NPC 的真实、有意义的对话吧，让你的虚拟世界焕发活力。
工作原理 🤔💭
Interactive LLM Powered NPCs 的功能犹如魔法般令人惊叹。以下是其工作的基本步骤：
- 🎙️ 麦克风输入：通过麦克风说话，系统会将声音转换为文本。
- 👥 面部识别：系统采用面部识别技术来辨别玩家正在与哪个 NPC 进行互动。
- 🔍 角色识别：根据对话和角色识别结果，系统生成独特的性格和名称。
- 🧠 LLM 集成：将转换后的文本和角色信息传递给大型语言模型，从而生成响应。
- 📁 预对话文件：项目使用预对话文件确保 NPC 的对话风格贴合角色特点。
- 🗣️ 面部动画与语音合成：LLM 的响应被转换为语音，并生成面部动画。
- 🕹️ 与游戏集成：将面部动画视频和音频无缝集成到游戏中，使 NPC 的表现看起来更自然。
- 😃 情感识别：通过摄像头捕捉玩家情感，使 NPC 能根据玩家情感调整反应。
- 🐎 非视觉互动：即使在 NPC 面部不可见的情况下，也可通过说出角色名称与 NPC 进行互动。
工具和安装 🚀🔧
安装和使用此项目需要以下工具：Python 3.10.6、GIT、wget、Microsoft Build Tools 和 Visual Studio 以及 FFmpeg。完整的安装步骤已在项目文档中详细列出。
游戏兼容性和结论 🎮🚀
Interactive LLM Powered NPCs 不需要对游戏进行任何修改，支持与任何游戏兼容的无缝集成。项目不断开拓新的游戏兼容性，玩家和开发者可以通过添加游戏到“Games”文件夹来参与贡献。此外，开发者们也可以贡献改善现有功能、修复错误或提出新想法。
Interactive LLM Powered NPCs 为 NPC 互动开辟了新的可能性，提升了玩家与游戏世界之间的互动，带来了更高水平的真实性和沉浸感。希望通过共同努力，为全世界玩家创造难忘的游戏体验。
