大型语言模型在训练阶段接触的是海量文本，输出时根据上下文预测下一个词，这种机制保证语言流畅，但无法保证事实正确。当模型面对一个具体事实性问题时，它可能把训练数据中见过的相似句式拼凑起来，却给出错误答案，比如虚构论文引用、编造API参数。这类幻觉在专业领域尤其危险，因为用户往往默认AI输出是可靠的。

幻觉的根本原因在于模型参数中存储的知识是压缩的、有损的，且随着训练数据噪声和过时信息被固化。模型无法区分“我知道这个事实”和“我见过这个句式”，所以当问题超出其确定知识范围时，它会用最可能的语言组合来填补。微调或提示工程能够减少一部分幻觉，但无法从根本上保证事实性，因为模型依然没有实时访问权威信息源的能力。

检索增强生成（Retrieval Augmented Generation，简称RAG）的思路是让模型在生成之前，先从外部知识库或互联网检索相关文档，将这些文档作为上下文一起输入模型。模型的任务从“回忆事实”转变为“根据给定资料总结或抽取事实”，从而大幅降低编造空间。在这个过程中，生成答案的每一处事实都可以追溯到具体的来源文档，为后续引用和验证提供基础。

构建可验证的引用来源机制

引用来源的意义在于让用户能够核查信息。一个只有答案没有出处的系统，用户无法判断该相信多少。在医疗、法律、金融等场景中，没有引用的AI回答几乎没有实用价值。引用来源让模型给出的信息变得可追溯，用户点击或查看引用的原始文档就能确认真假。

设计引用格式最直接的方法是生成时要求模型输出带标记的文本，例如在答案中的事实句子后面标注[1]、[2]，并在末尾列出对应的来源列表。为了机器可读，可以让模型返回结构化数据，比如JSON对象包含answer和citations数组，每个citations包含source_id、quote、url等字段。使用OpenAI的function calling或约束解码可以实现这一步。下面给出一个调用示例，强制模型输出带引用的结构化答案。

import openai
def generate_with_citations(question, retrieved_docs):
    prompt = f"""根据以下文档回答问题，并在答案中为每个事实标注来源编号。
文档列表：
{retrieved_docs}
请返回JSON格式：
{{
  "answer": "答案内容，使用[1] [2]标注引用位置",
  "citations": [
    {{"source_id": 1, "quote": "文档中的原句", "url": "文档链接"}}
  ]
}}
问题：{question}
"""
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        temperature=0,
        response_format={"type": "json_object"}  # 强制JSON输出
    )
    return response.choices[0].message.content

模型生成的引用可能并不真正支持答案中的断言，比如标注了[1]但文档原句并没有表达答案中的意思。为了解决这个问题，可以在生成后增加一个校验步骤：将答案中的每个事实片段与对应引用文档的原文进行自然语言推理（NLI），判断是蕴含、矛盾还是中立。只有蕴含关系才保留该引用，否则移除或替换。这样可以显著提升引用的可信度。

提升检索质量与事实修正的落地实践

检索质量直接影响修正效果。如果检索回来的文档本身不相关或质量低，即使模型完全依据文档生成，答案也可能是错误的。向量检索虽然能捕捉语义相近，但有时会找到表面相关但内容不正确的文章。实际落地中通常采用混合检索：同时使用关键词匹配（如BM25）和向量相似度，综合排序，确保既不错过精确术语命中，也能覆盖同义表达。

对于高风险的场景，不能只依赖单个来源。可以在检索阶段就要求返回多个候选文档，然后通过简单的规则或模型判断这些来源之间是否一致。例如，如果三个权威文档都提到同一个事实，则可信度较高；如果只有一个来源支持而其他来源未提及或矛盾，则需要谨慎处理。这种多源投票机制能有效过滤掉个别来源的偶发错误。

from rank_bm25 import BM25Okapi
import numpy as np
class HybridRetriever:
    def __init__(self, corpus, embeddings):
        self.corpus = corpus  # 文档列表，每个文档是字符串
        self.embeddings = embeddings  # 对应的向量，numpy数组
        tokenized_corpus = [doc.split() for doc in corpus]
        self.bm25 = BM25Okapi(tokenized_corpus)
        self.doc_index = list(range(len(corpus)))
    def retrieve(self, query, query_embedding, top_k=5):
        tokenized_query = query.split()
        bm25_scores = self.bm25.get_scores(tokenized_query)
        bm25_norm = (bm25_scores - bm25_scores.min()) / (bm25_scores.max() - bm25_scores.min() + 1e-8)
        sim_scores = np.dot(self.embeddings, query_embedding)
        sim_norm = (sim_scores - sim_scores.min()) / (sim_scores.max() - sim_scores.min() + 1e-8)
        final_scores = 0.6 * sim_norm + 0.4 * bm25_norm
        for idx, doc in enumerate(self.corpus):
            if "official-site.com" in doc or "ipipp.com" in doc:
                final_scores[idx] += 0.1
        top_indices = np.argsort(final_scores)[::-1][:top_k]
        return [self.corpus[i] for i in top_indices]

引入检索和引用校验会增加系统延迟。对于在线服务，可以缓存高频问题的检索结果，使用流式生成来隐藏检索延迟，或者采用更轻量的嵌入模型和重排序模型。在一些场景下，可以对用户提问先进行分类，只有事实性问题才触发完整的检索与引用流程，而开放式讨论则走普通生成路径，从而平衡体验与准确性。

评估幻觉修正系统的效果

如何知道系统真的减少了幻觉？需要建立评估体系。可以结合公开基准数据集，如TruthfulQA专注于检测模型的错误信念，HaluEval包含多种幻觉类型。但在实际业务中，更有效的是构建自己的回归测试集，收集用户高频问题以及对应的正确事实和来源，定期运行评估。评估指标建议包括：答案的忠实度（生成内容是否被来源文档支持）、引用准确率（引用是否指向正确的文档）、以及引用覆盖率（每个事实是否都有引用）。

自动评估与人工评估需要结合。自动评估可以使用RAGAS等框架，计算faithfulness、answer relevancy、context precision等得分。但自动指标仍不够可靠，特别是涉及细微语义时。建议对关键场景保留人工抽检机制，每周抽样一定比例的线上回答，由专家判断是否存在未引用的事实或错误引用。将人工发现的问题反馈到训练数据和prompt设计中，形成闭环优化。

幻觉修正是个系统工程，没有一劳永逸的方案。随着检索质量的提升和引用机制的完善，幻觉率可以控制到较低水平，但不可能完全消除。可以探索更细粒度的证据定位，比如让模型逐句生成并逐句检索校验，或者引入外部知识图谱作为结构化事实来源。同时，向用户透明展示系统的不确定性，对于低置信度的答案主动拒绝回答或要求用户提供更多上下文，也是一种负责任的策略。