AkshitIreddy/Interactive-LLM-Powered-NPCs

概览 😄📜

Interactive LLM Powered NPCs 是一个开源项目，旨在彻底改变你与任何游戏中非玩家角色（NPC）的互动方式！通过本项目，你可以直接通过麦克风与游戏中的任何 NPC 进行语音对话。

该项目利用 SadTalker 同步角色的唇形动作，通过人脸识别来区分不同的角色，利用向量数据库（Vector Stores）为 NPC 提供无限的记忆容量，并使用预设对话文件来塑造每个角色的对话风格。系统会根据你正在互动的特定 NPC 的性格、知识背景和沟通风格进行实时适配。此外，NPC 甚至能通过你的网络摄像头感知你的面部表情，为互动增添了更深层次的沉浸感。

本项目面向《赛博朋克 2077》、《刺客信条》、《GTA 5》及其他热门开放世界游戏。这些游戏拥有丰富的 NPC 和精美的环境，但长期以来一直缺少一项功能：玩家无法与游戏中的任何 NPC 进行自由对话。我们旨在填补这一空白，为这些游戏带来沉浸式的对话冒险，让玩家能够挖掘虚拟世界中尚未开发的潜力。我们的目标是提升那些已发布游戏的游戏体验，因为这些游戏原本不太可能获得开发商官方提供的此类功能。

该项目的一个显著特点是其强大的通用性。你无需修改游戏的源代码，也不需要进行复杂的 Mod 安装流程。它通过替换游戏中生成的面部像素，将面部动画无缝集成到你的游戏环境中。

无论你是在《刺客信条：英灵殿》中探索古老的地下城，还是在《赛博朋克 2077》的霓虹街道上漫步，Interactive LLM Powered NPCs 都能将你的游戏体验提升到新的高度。准备好与 NPC 进行引人入胜、逼真且充满意义的互动，让你的虚拟世界焕发生机吧。

演示 🚀✨

演示链接：https://twitter.com/Akshit2089/status/1673687342438051847

原理解释视频： https://twitter.com/cohere/status/1687131527174672384

教程视频：https://youtu.be/6SHTlKYKCbs

Discord 服务器：https://discord.gg/CfK7DCWKwy

工作原理 🤔💭

该项目的功能正如其所促成的对话一样令人着迷。以下是 Interactive LLM Powered NPCs 实现魔法的过程拆解：

🎙️ 麦克风输入：通过麦克风说话，你的语音会被转换成文字。

👥 人脸识别：系统采用人脸识别技术来识别你正在与之互动的 NPC，无论是背景角色还是支线角色。

🔍 角色身份识别：根据对话和角色识别结果，系统为背景 NPC 生成独特的个性和姓名。对于支线角色，系统会调用其特定的性格特征和知识库。

🧠 LLM 集成：转录后的文本和角色信息会被发送给大语言模型（LLM），由其根据给定语境生成回复。LLM 还会调用包含特定角色和世界观信息的向量数据库。

📁 预设对话文件：为了确保 NPC 对话的真实性，项目使用了一个 pre-conversation.json 文件，其中包含了角色的经典台词以及反映其说话风格的台词。在生成回复时，系统会从该文件中随机抽取台词并传给 LLM，从而丰富对话内容。

🗣️ 面部动画与语音生成：使用 TTS (Text-to-Speech) 将 LLM 的回复转换为语音。随后，利用提取的 NPC 面部图像与音频合成面部动画视频。

🕹️ 游戏集成：通过将屏幕上显示的 NPC 面部像素替换为生成的面部动画，使动画和音频与游戏无缝融合，看起来就像 NPC 在自然地说话一样。

😃 情感识别：系统通过网络摄像头捕捉你的面部表情，使 NPC 能够相应地调整回复内容，从而创造更个性化、更具沉浸感的体验。

🐎 非视觉互动：该项目不仅限于面对面交流，即使在无法看到 NPC 面部的情况下（例如骑马或激烈的战斗场景中），互动依然有效。要与 NPC 进行交流，只需先说出他们的名字，然后接着说出你的对话内容。系统会按照相同的流程进行转录、生成回复并转换为语音，从而在紧张刺激的时刻也能提供流畅且不间断的对话体验。因此，无论你是正在乡村奔驰还是在与强敌战斗，你依然可以与 NPC 交流并享受互动乐趣。