GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

📄 Paper · 🌐 Project Page · 💻 Code · 🤗 Dataset · 🏆 Leaderboard

---

一句话概括：
GateMem 不是只问 AI Agent “能不能记住”，而是评测它在多用户共享记忆场景中，能否同时做到 有用、守边界、会遗忘。

---

目录

---

🌟 为什么这件事重要？

现在越来越多的 LLM Agent 开始拥有长期记忆。

它们可以记住用户偏好、历史任务、长期上下文，甚至把过去的交互沉淀成一个持续更新的 memory bank。

但当 Agent 从“单用户私人助手”走向“多人共享助手”时，一个更关键的问题出现了：

当 AI Agent 同时服务多个用户时，它还能正确管理自己的记忆吗？

在医院、办公室、学校、家庭等场景中，Agent 的记忆不再只是一个人的私人缓存，而是一个由多个主体共同写入、共同查询、但权限并不相同的共享记忆池。

---

🧩 从“记忆能力”到“记忆治理”

很多 memory-agent benchmark 主要关注：

🧠 Agent 能不能记住有用信息？

GateMem 进一步追问：

🛡️ Agent 能不能正确治理共享记忆？

也就是说，一个可靠的共享记忆 Agent 不仅要“记得住”，还要知道：

✅ Utility

该回答时能回答

合法授权请求下，Agent 能否正确使用记忆并给出有用答案。

🔒 Access Control

不该说时不能说

当请求者没有权限时，Agent 能否避免泄露受保护信息。

🗑️ Active Forgetting

该忘时要会忘

用户明确删除的信息，Agent 后续是否还会恢复、确认或重构。

---

🖼️ Figure 1：GateMem 总览图

_{GateMem evaluates memory governance in multi-principal shared-memory agents across utility, access control, and active forgetting.}

---

GateMem 关注哪些真实场景？

GateMem 覆盖四类典型共享记忆环境：

🏥 Medical

患者、医生、家属、护理人员等

🏢 Office

员工、经理、HR、外包人员等

🎓 Education

学生、老师、辅导员、行政人员等

🏠 Household

家人、访客、照护者、住户等

这些场景有一个共同点：

不同主体共享同一个 memory pool，但他们拥有不同的角色、权限、范围和关系。

这正是共享记忆系统最困难、也最接近真实部署的问题。

---

📊 GateMem 数据规模

项目	数量
Long-form multi-party episodes	91
Hidden evaluation checkpoints	2,218
Shared-memory domains	4
Evaluation dimensions	3
Memory-agent baselines	7
Backbone LLMs	6

这些设计使 GateMem 不只是简单的事实回忆测试，而是面向真实共享记忆系统的综合治理评测。

---

🎯 评价指标：Memory Governance Score

GateMem 使用三个核心量：

• U：Utility，越高越好
• A：Access-Control Violation Rate，越低越好
• F：Active-Forgetting Failure Rate，越低越好

综合指标为：

MGS = U × (1 - A) × (1 - F)

这个公式表达了一个很直接的思想：

一个共享记忆 Agent 不能只在某一项上表现好。
它必须同时有用、少泄露、能遗忘。

如果一个 Agent 很会回答问题，但经常泄露隐私，它不可靠。
如果一个 Agent 能控制访问，但删除后的信息仍然会被恢复，也不可靠。
如果一个 Agent 为了安全什么都不答，它同样没有实用价值。

---

🖼️ Figure 2：Benchmark 构建流程

_{GateMem is built from domain-specific scenario specifications, long-form multi-party episodes, and hidden checkpoints.}

---

🧪 我们评测了哪些方法？

GateMem 中包含多类 memory-agent baseline：

• Long-Context
• RAG-Naive
• RAG-Policy
• A-MEM
• Mem0
• ReMeM-I
• ReMeM-S

• 多个 backbone LLM

我们关心的不是某个方法能否在单一指标上拿到最高分，而是它能否同时做到：

• 📈 高 Utility
• 🔐 低 Access-Control Violation
• 🧹 低 Active-Forgetting Failure

---

🔍 主要发现

当前 memory-agent 方法仍然很难同时实现强 utility、稳健 access control 和可靠 active forgetting。

具体来说：

1. Long-context prompting 效果较强，但成本高

Long-context 方法往往能取得较好的综合表现，因为它保留了更多上下文信息。
但代价是 token 成本较高，难以在长程、高频、多用户环境中无限扩展。

2. Retrieval-based 方法降低成本，但仍会泄露

RAG-Naive、RAG-Policy 等检索式方法可以减少上下文开销。
但在访问控制和删除后的行为约束上，仍然可能出现泄露或恢复问题。

3. External-memory 方法仍需更强治理机制

外部记忆系统可以帮助 Agent 组织长期信息。
但如果缺少明确的权限、作用域、删除状态和上下文治理机制，仍然难以可靠部署在共享环境中。

---

🖼️ Figure 3：主实验结果 / Leaderboard

_{Current memory-agent methods struggle to optimize utility, access control, and active forgetting simultaneously.}

---

🚀 如何使用 GateMem？

1. 加载 Hugging Face 数据集

from datasets import load_dataset

episodes = load_dataset("Ray368/GateMem", "medical_episodes", split="train")
checkpoints = load_dataset("Ray368/GateMem", "medical_checkpoints", split="train")

print(episodes[0])
print(checkpoints[0])

2. 安装依赖

pip install -r requirements.txt

3. 运行一个简单 baseline

python bench/scripts/run_eval.py \
  --data_dir bench/data/medical \
  --agent long_context

---

🏆 Leaderboard 与在线提交

我们提供了 public leaderboard 和 online submission interface：

🏆 Leaderboard

https://rzhub.github.io/GateMem/

🚀 Submit Results

https://huggingface.co/spaces/Ray368/GateMem-Submit

欢迎大家使用 GateMem 评测自己的方法，也欢迎提交结果到 leaderboard。

---

🔗 项目资源

资源	链接
📄 Paper	https://arxiv.org/abs/2606.18829
🌐 Project Page	https://rzhub.github.io/GateMem/project.html
💻 Code	https://github.com/rzhub/GateMem
🤗 Dataset	https://huggingface.co/datasets/Ray368/GateMem
🏆 Leaderboard	https://rzhub.github.io/GateMem/
🚀 Submit Results	https://huggingface.co/spaces/Ray368/GateMem-Submit

如果你觉得 GateMem 有用，也欢迎 star GitHub 仓库，帮助更多研究者发现和复现这个项目：

⭐ https://github.com/rzhub/GateMem

---

📚 Citation

@misc{ren2026gatemembenchmarkingmemorygovernance,
      title={GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents}, 
      author={Zhe Ren and Yibo Yang and Yimeng Chen and Zijun Zhao and Benshuo Fu and Zhihao Shu and Bingjie Zhang and Yangyang Xu and Dandan Guo and Shuicheng Yan},
      year={2026},
      eprint={2606.18829},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2606.18829}, 
}

---