Memory 系统企业级实战:先划清边界,再搭建可靠记忆

从企业级 AI 的真实需求出发,拆解 Memory 系统从 0 到 1 的能力边界、记忆对象、写入与检索闭环,并结合 Runtime、评测与 vLLM 的衔接,给出可落地的设计清单、可运行代码与排错思路。

文章目录

原文:Memory 系统如何从 0 到 1 构建:企业级入门版

Memory 系统看起来像“给 AI 加一份长期记忆”,真正难的却是让模型在正确时机拿到可信、可治理的信息。企业级 AI 开发里,Runtime、评测和 vLLM 通常会共同影响交互能否稳定落地。原文作者从前端、后端走到 AI Infra,并准备继续分享这些真实经验,Memory 正好是观察系统如何从 Demo 走向工程化的切口。

这篇把 Memory 拆成能力边界、记忆对象、写入与召回、评测和最小实现。可拿走的是一张组件对照表、一条闭环流程、一个可运行的 SQLite 原型,以及排错时依次检查的问题;涉及具体接口、指标与实现取舍时,以原文为准。先做小闭环,再扩展成企业系统,通常比先争论存储更稳妥。

1、先划清 Memory 的能力边界

1、先划清 Memory 的能力边界(AI 生成示意图)

1、先划清 Memory 的能力边界 · AI 生成示意图

先别把所有历史都塞进上下文。企业设计通常会先区分下面几类能力,分类细节以原文为准。

组件 主要回答的问题 常见变化范围 容易混淆的点
上下文窗口 当前请求需要哪些信息 当前交互 不等于跨请求经验
RAG / 知识检索 外部知识在哪里 随知识更新 不等于用户或系统状态
缓存 相同计算如何复用 随缓存策略 不等于持久事实
Memory 跨请求保留什么经验与状态 随写入和清理变化 不等于无限聊天记录

一般可以把 Memory 理解为跨请求保留下来的经验与状态,例如用户偏好、任务进展或事件摘要;具体类型仍以原文为准。检索负责找候选,Memory 负责定义哪些信息具备被记住的资格,模型只消费经过筛选的上下文。Memory 不是向量库,也不是无限聊天记录。

2、先定义能治理的记忆对象

2、先定义能治理的记忆对象(AI 生成示意图)

2、先定义能治理的记忆对象 · AI 生成示意图

一个可治理的记忆项,一般要能回答:是什么、属于谁、从哪来、何时产生。字段可先从 id、content、kind、scope、source、created_at 和 metadata 开始,再按业务扩展。

写入端先筛选候选,而不是把每句话都存下来。来源、作用域和写入理由要可追踪,敏感信息能否进入记忆通常需要单独规则,不能靠调用方临时决定。

读取端先按作用域过滤,再做相关性排序。召回结果还要检查时效、冲突与版本;同一条信息被新事实覆盖时,是更新、并存还是废弃,必须有明确语义。

3、串起写入、召回与反馈闭环

闭环可以压缩为:候选生成 → 策略校验 → 写入 → 召回 → 组装上下文 → 结果反馈。每一段都应留下可观察的结果,否则后面无法判断问题出在记忆本身,还是模型使用记忆的方式。

写入端关注“凭什么存”;召回端关注“为什么这条被选中”;组装端关注“最终给模型看了什么”。召回不等于注入,检索到的内容还要经过筛选与裁剪,避免过期或冲突信息一起进入提示词。

反馈端负责处理用户纠正、重复事实和相互矛盾的记忆。企业系统通常还需要删除、过期与审计能力,Memory 的长期价值来自持续修正,而不是只增不减。

4、让评测进入真实 Runtime

评测不要只靠“回答看起来更聪明”。通常可以拆成几层:

  • 写入:候选是否被正确接纳或拒绝。
  • 召回:相关记忆是否出现,噪声是否过多。
  • 任务:加入记忆后是否真的改善结果。
  • 治理:过期、冲突、删除与权限是否可控。

原文把 Runtime、评测、vLLM 列为后续企业实践主题。Runtime 通常承载请求编排、工具调用和上下文装配;vLLM 通常处在推理服务一侧。Memory 则提供跨请求经验,三者之间需要清晰接口,而不是互相侵入。

具体职责和部署方式以原文为准。一个实用原则是:先固定输入、输出与失败类型,再比较有无 Memory 的差异,这样评测结论才不会混在模型波动里。

5、用 SQLite 跑通最小实现

下面的代码只演示一个可运行基线:SQLite 持久化、按作用域过滤、关键词检索。它没有依赖外部服务,保存为 memory.py 后可直接运行。

import sqlite3


class MemoryStore:
    def __init__(self, path='memory.db'):
        self.conn = sqlite3.connect(path)
        self.conn.execute(
            '''
            CREATE TABLE IF NOT EXISTS memories (
                id INTEGER PRIMARY KEY AUTOINCREMENT,
                content TEXT NOT NULL,
                kind TEXT NOT NULL,
                scope TEXT NOT NULL,
                source TEXT NOT NULL,
                created_at TEXT NOT NULL DEFAULT CURRENT_TIMESTAMP
            )
            '''
        )
        self.conn.commit()

    def add(self, content, kind, scope, source):
        cursor = self.conn.execute(
            'INSERT INTO memories (content, kind, scope, source) VALUES (?, ?, ?, ?)',
            (content, kind, scope, source),
        )
        self.conn.commit()
        return cursor.lastrowid

    def search(self, query, scope):
        pattern = f'%{query}%'
        rows = self.conn.execute(
            '''
            SELECT id, content, kind, scope, source, created_at
            FROM memories
            WHERE scope = ? AND (content LIKE ? OR source LIKE ?)
            ORDER BY id DESC
            ''',
            (scope, pattern, pattern),
        ).fetchall()
        columns = ('id', 'content', 'kind', 'scope', 'source', 'created_at')
        return [dict(zip(columns, row)) for row in rows]


if __name__ == '__main__':
    store = MemoryStore()
    store.add(
        '用户偏好中文技术文章',
        'preference',
        'demo-user',
        'conversation',
    )
    print(store.search('中文', 'demo-user'))

运行后会创建 memory.db,写入一条偏好并按用户作用域检索。企业环境通常还要加入语义召回、版本冲突、更新与删除、访问控制、审计和评测接口;具体方案以原文为准。先证明最小闭环能跑通,再逐项补齐生产能力。

写在最后

  • Memory 的起点不是选择存储,而是划清能力边界。
  • 最小闭环必须覆盖写入、召回、组装与反馈。
  • 评测要与 Runtime、vLLM 的职责和接口对齐。
  • 企业化最终落在持续治理,而不是无限积累历史。

**我的判断:**先做可评测的小闭环,比一开始搭建“大而全”的记忆平台更接近企业级。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

Memory 系统企业级实战:先划清边界,再搭建可靠记忆 · 阿凡达博客