RAG 检索别搜原话:HyDE 与多 Query 改写这样选
围绕「设备老是卡住」与「设备响应超时」这类措辞错位,对照 HyDE 和多 query 改写在 RAG 检索中的不同作用。读完可拿到选择原则、组合顺序、评测方法,以及一段可直接接入兼容接口的 Python 实现。
文章目录
RAG 的检索质量,常常不是模型不会答,而是用户说法和文档词面没对上。一个典型例子是:「设备老是卡住」与「设备响应超时」语义接近,字面却不同;「打印有黑道」这类口语描述也可能与故障文档存在表达鸿沟。原 query 直接向量化很省事,却不等于最容易召回。
查询扩展解决的是检索入口问题。HyDE 先造一段假设答案,用答案形态靠近文档;多 query 改写从不同角度重述问题,扩大表达覆盖。两者既能分工,也能串联。拿走的不是万能提示词,而是一套能对照、能评测的选择与组合方法。
1、先把“能问”到“能搜”分开
1、先把“能问”到“能搜”分开 · AI 生成示意图
上一阶段处理了多轮对话中的指代和省略,例如把「它多少钱」还原成独立 query。但还原后还有第二关:独立 query 仍可能不像知识库文档。
问题通常有两类:一类是词面错位,用户说「老是卡住」,文档写「响应超时」;另一类是意图分散,同一句抱怨可能对应故障、配置或操作说明。扩展要补足表达差异,而不是替用户增加需求。
原 query 应始终保留。 它是语义基准,扩展只是补充候选。否则改写一旦跑偏,检索连回退位置都没有。
| 方案 | 核心动作 | 擅长补什么 | 常见风险 | 建议 |
|---|---|---|---|---|
| 原 query | 直接检索用户表达 | 作为语义基准 | 词面错位时漏召回 | 始终保留 |
| HyDE | 生成假设答案,再用答案文本检索 | 用户说法与文档措辞错位 | 假设内容可能偏离事实 | 作为额外候选 |
| 多 query | 把问题改写成多个表达,分别检索 | 多种说法或意图入口分散 | 重复、改写噪声 | 去重后逐条召回 |
| 组合 | 原 query、多个改写、HyDE 并行召回 | 两种错位同时出现 | 候选增多、去重更复杂 | 统一去重合并后再回答 |
2、HyDE:把问题换成“答案语言”
2、HyDE:把问题换成“答案语言” · AI 生成示意图
HyDE 不是让模型猜中答案,而是先写一段像知识库答案的文本,再拿它做相似度检索。这样,查询向量更接近文档的叙述方式,而不只是用户原句。
以「设备老是卡住」为例,假设文本可围绕设备响应超时、反复无响应这类文档表达展开。它不用真的解决故障,只要把检索入口拉近文档语义。HyDE 更像一次“检索语言转换”。
下面这段 Python 可直接连接兼容 Chat Completions 形态的接口。LLM_BASE_URL 指向完整请求地址,LLM_MODEL 和 LLM_API_KEY 按实际环境配置;无鉴权的本地服务可省略 key。
import json
import os
from urllib.request import Request, urlopen
def llm(prompt: str) -> str:
body = json.dumps({
"model": os.environ["LLM_MODEL"],
"messages": [{"role": "user", "content": prompt}],
"stream": False
}).encode("utf-8")
headers = {"Content-Type": "application/json"}
api_key = os.environ.get("LLM_API_KEY")
if api_key:
headers["Authorization"] = f"Bearer {api_key}"
request = Request(
os.environ["LLM_BASE_URL"],
data=body,
headers=headers
)
with urlopen(request) as response:
data = json.load(response)
return data["choices"][0]["message"]["content"]
def parse_json_array(text: str) -> list[str]:
cleaned = text.strip()
if cleaned.startswith("```"):
cleaned = cleaned.split("\n", 1)[1].rsplit("```", 1)[0].strip()
items = json.loads(cleaned)
if not isinstance(items, list):
raise ValueError("模型应返回 JSON 数组")
return [str(item).strip() for item in items if str(item).strip()]
def multi_query(query: str) -> list[str]:
prompt = (
"把下面的问题改写成多个用于知识库检索的表达。"
"保持原意和约束,不回答问题,只返回 JSON 字符串数组。\n"
f"问题:{query}"
)
return parse_json_array(llm(prompt))
def hyde(query: str) -> str:
prompt = (
"根据下面的问题写一段简短、具体的假设性答案,"
"用于语义检索;不要声称已经验证事实。\n"
f"问题:{query}"
)
return llm(prompt).strip()
def expand(query: str) -> list[str]:
candidates = [query, *multi_query(query), hyde(query)]
return list(dict.fromkeys(candidates))
返回的候选文本应分别送入检索器,再按文档标识去重合并,而不是直接拼进回答上下文。
3、多 query 改写:扩入口,不扩噪声
多 query 不增加事实,而是改变问题的表达表面。「设备老是卡住」可保留口语版,也可改成「设备频繁无响应」「设备响应超时」;「打印有黑道」则可换成「打印出现黑色条纹」。改写能覆盖不同词面,但必须守住原意。
改写要拉开差异:一版保留用户说法,一版靠近文档术语,一版补齐动作对象。生成后先去重,再分别检索,最后按文档标识合并。不要把所有 query 拼成一段,否则多个意图会被平均成模糊向量。
也要检查改写有没有改变条件。偶发还是持续、哪台设备、什么操作,都不应在扩展时丢失。多 query 扩的是召回入口,不是问题范围。
4、怎么组合:先分流,再并行召回
通常可以按症状选:文档与用户措辞错位明显,优先试 HyDE;同一问题可能落在多种说法上,优先试多 query;两种问题同时出现,再把原 query、多 query 和 HyDE 文本作为不同候选并行检索。
组合时不要把所有文本拼成长 query。更稳妥的顺序是分别召回,再按文档去重合并,最后只依据证据作答。原 query 负责兜底,多 query 覆盖表达,HyDE 靠近文档结构;谁真正贡献相关文档,要看检索结果,而不是凭提示词想象。
评估别只看最终回答。建立真实问题集,分别跑原 query、HyDE、多 query 和组合方案,比较相关文档能否召回、噪声是否变多、答案是否仍有证据。不同模型、向量表示和文档切分下,结果通常会变化,具体效果以原文和实测为准。
写在最后
先把多轮对话还原成独立 query,只是第一步。
HyDE 用答案形态靠近文档,多 query 用多种说法扩大召回。
两者不是只能二选一:语义错位用 HyDE,表达分散用多 query;都出现时组合,并保留原 query 兜底。
查询扩展应成为可评测的检索管线,而不是固定提示词。
我的判断:RAG 的下一轮优化,未必是继续堆提示词,而是先把查询入口拆开、测清,再决定融合方式。
相关阅读
想把这套流程装到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见站内服务页:查看技术服务。
文中链接
整理自本文的外部链接,请以来源页面说明为准。