DiffMem: 基于 Git 的 AI Agent 差分记忆存储

DiffMem 是一个轻量级、基于 Git 的记忆后端，专为 AI Agent 和对话系统设计。它使用 Markdown 文件进行人类可读的存储，通过 Git 的差分（differentials）功能追踪时间演变，并内置了一个 Git 原生检索 Agent，通过 Shell 命令（grep、git log、git diff、git blame）探索仓库以构建目标上下文。无需向量数据库，无需 Embedding，无需 BM25——只需 Git 和 LLM。

其核心逻辑是将记忆视为一个带版本控制的仓库：知识的“当前状态”存储在可编辑的文件中，而历史变更则保存在 Git 的提交图（commit graph）中。这种分离使得 Agent 能够在不处理历史数据开销的情况下，对紧凑且最新的表面知识进行查询和搜索，同时在需要时能够深入挖掘演变过程。

生产环境应用

DiffMem 为 Annabelle 提供支持，这是一个在 WhatsApp 和 Messenger 上跨越数千次对话保持持久记忆的模拟智能体。

在生产环境中，DiffMem 使 Annabelle 能够：

• 引用数周前对话中的细节
• 追踪人际关系随时间的演变
• 为她交谈的每个人建立结构化的理解
• 随着对话增长自动整合记忆

→ 与 Annabelle 对话 → 查看 DiffMem 如何逐章处理小说内容

开发路线图

• 优化原型（PoC）阶段的索引策略，当前策略占用内存过多且不必要。
• 为检索过程实现上下文限制的参数化方法。
• 解决特定实体演变为“万能容器”导致过载的问题。
• 完善检索历史记录，以便能够启动一个支持“维基化（wikification）”的关联实体模型。
• 实现 PDF 导出功能。
• 研究 PoC：用于上下文压缩的视觉检索。

为什么选择 Git 作为 AI 记忆？

传统的 AI Agent 记忆系统通常依赖于数据库、向量存储或图结构。这些系统在特定规模下表现良好，但在处理长期、演进式的个人知识时可能会变得臃肿或低效。DiffMem 通过利用 Git 的优势走了一条不同的道路：

• 聚焦当前状态：记忆文件仅存储信息的“当前”视图（例如当前的关系、事实或时间线）。这减少了查询和搜索的范围，使操作更快，并在 LLM 上下文中更具 Token 效率。历史状态默认不会被加载——它们存在于 Git 的历史记录中，可按需访问。

• 差分智能：Git 的 diff 和 log 提供了追踪记忆如何演变的天然方式。Agent 可以询问“这个事实随时间发生了什么变化？”，而无需扫描整个历史，只需提取相关的提交记录。这模拟了人类记忆如何从线索而非完整回放中重构事件的过程。

• 持久性与可移植性：纯文本 Markdown 确保了记忆是人类可读且与工具无关的。Git 的分布式特性意味着你的数据易于备份，且不会被锁定在专有格式中。

• Agent 的高效性：通过分离“表面”（当前文件）和“深度”（git 历史），Agent 可以进行选择性操作——加载当前状态以进行快速响应，深入分析 diff 以处理分析任务。这既保持了上下文窗口的精简，又实现了丰富的时序推理。

这种方法对于记忆积累长达数年的长期 AI 系统非常有效：它在不增加负担的情况下实现扩展，保持可审计性，并允许通过修剪（pruning）实现“智能遗忘”，同时保留重构能力。

工作原理

DiffMem 被结构化为可导入的模块，无需服务器。主要组件包括：

• 写入 Agent (writer_agent)：分析对话记录，识别/创建实体，并在 Git 工作区中暂存更新。提交操作是显式的，确保了原子性变更。

• 检索 Agent (retrieval_agent)：一个具有多轮对话能力的 LLM Agent，拥有一个 run(command="...") 工具，可通过沙盒 Shell 命令探索记忆仓库。它读取 index.md，探测 Git 历史中的时间模式，并输出一个结构化的检索计划（文件部分、git diff、commit log），最终解析为上下文。

• API 层 (api.py)：用于读写操作的简洁接口。例如：

  from diffmem import DiffMemory
  
  memory = DiffMemory("/path/to/repo", "alex", "your_api_key")