Memory 系统企业级实战:先划清边界,再搭建可靠记忆
从企业级 AI 的真实需求出发,拆解 Memory 系统从 0 到 1 的能力边界、记忆对象、写入与检索闭环,并结合 Runtime、评测与 vLLM 的衔接,给出可落地的设计清单、可运行代码与排错思路。
文章目录
Memory 系统看起来像“给 AI 加一份长期记忆”,真正难的却是让模型在正确时机拿到可信、可治理的信息。企业级 AI 开发里,Runtime、评测和 vLLM 通常会共同影响交互能否稳定落地。原文作者从前端、后端走到 AI Infra,并准备继续分享这些真实经验,Memory 正好是观察系统如何从 Demo 走向工程化的切口。
这篇把 Memory 拆成能力边界、记忆对象、写入与召回、评测和最小实现。可拿走的是一张组件对照表、一条闭环流程、一个可运行的 SQLite 原型,以及排错时依次检查的问题;涉及具体接口、指标与实现取舍时,以原文为准。先做小闭环,再扩展成企业系统,通常比先争论存储更稳妥。
1、先划清 Memory 的能力边界
1、先划清 Memory 的能力边界 · AI 生成示意图
先别把所有历史都塞进上下文。企业设计通常会先区分下面几类能力,分类细节以原文为准。
| 组件 | 主要回答的问题 | 常见变化范围 | 容易混淆的点 |
|---|---|---|---|
| 上下文窗口 | 当前请求需要哪些信息 | 当前交互 | 不等于跨请求经验 |
| RAG / 知识检索 | 外部知识在哪里 | 随知识更新 | 不等于用户或系统状态 |
| 缓存 | 相同计算如何复用 | 随缓存策略 | 不等于持久事实 |
| Memory | 跨请求保留什么经验与状态 | 随写入和清理变化 | 不等于无限聊天记录 |
一般可以把 Memory 理解为跨请求保留下来的经验与状态,例如用户偏好、任务进展或事件摘要;具体类型仍以原文为准。检索负责找候选,Memory 负责定义哪些信息具备被记住的资格,模型只消费经过筛选的上下文。Memory 不是向量库,也不是无限聊天记录。
2、先定义能治理的记忆对象
2、先定义能治理的记忆对象 · AI 生成示意图
一个可治理的记忆项,一般要能回答:是什么、属于谁、从哪来、何时产生。字段可先从 id、content、kind、scope、source、created_at 和 metadata 开始,再按业务扩展。
写入端先筛选候选,而不是把每句话都存下来。来源、作用域和写入理由要可追踪,敏感信息能否进入记忆通常需要单独规则,不能靠调用方临时决定。
读取端先按作用域过滤,再做相关性排序。召回结果还要检查时效、冲突与版本;同一条信息被新事实覆盖时,是更新、并存还是废弃,必须有明确语义。
3、串起写入、召回与反馈闭环
闭环可以压缩为:候选生成 → 策略校验 → 写入 → 召回 → 组装上下文 → 结果反馈。每一段都应留下可观察的结果,否则后面无法判断问题出在记忆本身,还是模型使用记忆的方式。
写入端关注“凭什么存”;召回端关注“为什么这条被选中”;组装端关注“最终给模型看了什么”。召回不等于注入,检索到的内容还要经过筛选与裁剪,避免过期或冲突信息一起进入提示词。
反馈端负责处理用户纠正、重复事实和相互矛盾的记忆。企业系统通常还需要删除、过期与审计能力,Memory 的长期价值来自持续修正,而不是只增不减。
4、让评测进入真实 Runtime
评测不要只靠“回答看起来更聪明”。通常可以拆成几层:
- 写入:候选是否被正确接纳或拒绝。
- 召回:相关记忆是否出现,噪声是否过多。
- 任务:加入记忆后是否真的改善结果。
- 治理:过期、冲突、删除与权限是否可控。
原文把 Runtime、评测、vLLM 列为后续企业实践主题。Runtime 通常承载请求编排、工具调用和上下文装配;vLLM 通常处在推理服务一侧。Memory 则提供跨请求经验,三者之间需要清晰接口,而不是互相侵入。
具体职责和部署方式以原文为准。一个实用原则是:先固定输入、输出与失败类型,再比较有无 Memory 的差异,这样评测结论才不会混在模型波动里。
5、用 SQLite 跑通最小实现
下面的代码只演示一个可运行基线:SQLite 持久化、按作用域过滤、关键词检索。它没有依赖外部服务,保存为 memory.py 后可直接运行。
import sqlite3
class MemoryStore:
def __init__(self, path='memory.db'):
self.conn = sqlite3.connect(path)
self.conn.execute(
'''
CREATE TABLE IF NOT EXISTS memories (
id INTEGER PRIMARY KEY AUTOINCREMENT,
content TEXT NOT NULL,
kind TEXT NOT NULL,
scope TEXT NOT NULL,
source TEXT NOT NULL,
created_at TEXT NOT NULL DEFAULT CURRENT_TIMESTAMP
)
'''
)
self.conn.commit()
def add(self, content, kind, scope, source):
cursor = self.conn.execute(
'INSERT INTO memories (content, kind, scope, source) VALUES (?, ?, ?, ?)',
(content, kind, scope, source),
)
self.conn.commit()
return cursor.lastrowid
def search(self, query, scope):
pattern = f'%{query}%'
rows = self.conn.execute(
'''
SELECT id, content, kind, scope, source, created_at
FROM memories
WHERE scope = ? AND (content LIKE ? OR source LIKE ?)
ORDER BY id DESC
''',
(scope, pattern, pattern),
).fetchall()
columns = ('id', 'content', 'kind', 'scope', 'source', 'created_at')
return [dict(zip(columns, row)) for row in rows]
if __name__ == '__main__':
store = MemoryStore()
store.add(
'用户偏好中文技术文章',
'preference',
'demo-user',
'conversation',
)
print(store.search('中文', 'demo-user'))
运行后会创建 memory.db,写入一条偏好并按用户作用域检索。企业环境通常还要加入语义召回、版本冲突、更新与删除、访问控制、审计和评测接口;具体方案以原文为准。先证明最小闭环能跑通,再逐项补齐生产能力。
写在最后
- Memory 的起点不是选择存储,而是划清能力边界。
- 最小闭环必须覆盖写入、召回、组装与反馈。
- 评测要与 Runtime、vLLM 的职责和接口对齐。
- 企业化最终落在持续治理,而不是无限积累历史。
**我的判断:**先做可评测的小闭环,比一开始搭建“大而全”的记忆平台更接近企业级。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。