发布时间：2025-08-20 23:57:20   来源：老牌国际利来

  这项由麻省理工学院的庄永松（Yung-Sung Chuang）和Meta AI实验室的研究团队联合开展的研究发表于2025年6月的第42届国际机器学习会议（ICML），有兴趣进一步探索的读者能够最终靠码库访问完整研究资料。

  当我们向ChatGPT或其他AI助手询问复杂问题时，它们往往能给出看似专业的回答，但有一个致命问题：你无法确定这一些信息是真的还是AI胡编乱造的。就像一个健谈的朋友能滔滔不绝地讲述各种故事，但你不知道哪些是真实经历，哪些是道听途说甚至完全虚构的内容。

  为了解决这一个困扰，研究人员一直在努力让AI学会引用——也就是在回答问题时告诉你信息源自于哪里，就像写学术论文时需要标注参考文献一样。然而，训练AI学会精准引用是一项极其困难的任务。传统方法需要大量人工标注的数据，就像雇佣成千上万的编辑来为每个句子标注信息来源，成本高昂且效率低下。

  面对这个挑战，研究团队开发出了一种名为SelfCite的全新方法。这种方法最巧妙的地方在于，它让AI自己学会判断引用的好坏，无需人工干预。这就像教会一个学生自己检查作业的正确性，而不是总需要老师来批改。

  SelfCite的核心思路基于一个简单而聪明的观察：如果一个引用是必要的，那么当你把被引用的内容从原文中删除后，AI就无法生成同样的回答；如果一个引用是充分的，那么即使只保留被引用的内容，删除其他所有信息，AI依然能生成同样的回答。这就像烹饪时检验某个调料是否重要——如果去掉这个调料后菜品味道大变，说明这个调料是必需的；如果仅用几种关键调料就能做出同样美味的菜，说明这几种调料就足够了。

  SelfCite方法的核心是让AI通过上下文消融来自我评估引用质量。这样的一个过程就像一场精心设计的思维实验。

  当AI生成一个带有引用的回答后，系统会进行两个关键测试。第一个测试叫做必要性检验，系统会将AI引用的内容从原始资料中完全移除，然后观察AI是否还能生成相同的回答。如果移除引用内容后，AI生成同一回答的概率一下子就下降，这就证明这个引用确实是必要的，就像移除房屋的承重梁会让整个结构变得不稳定一样。

  第二个测试是充分性检验，系统只保留AI引用的内容，删除所有别的信息，然后看AI是否依然能够生成相同的回答。如果仅凭引用的内容就能让AI保持高概率生成同样的回答，这说明引用是充分的，就像一个好的食谱摘要，仅凭关键步骤就能做出美味的菜肴。

  这种双重验证机制确保了引用既不遗漏关键信息，也不包含无关内容。研究团队将这两个分数相加，得到一个综合的引用质量评分。有趣的是，在数学上，这个组合评分实际上衡量的是仅使用引用内容时AI生成回答的概率与移除引用内容后AI生成回答的概率之间的差值，这个差值越大，说明引用质量越高。

  基于这个自我评估机制，研究团队开发了两种实用的策略来提升AI的引用能力。

  第一种策略叫做最优N选一采样，这就像一个挑剔的美食家在餐厅点菜。当AI需要为某个回答提供引用时，系统会让它生成10个不同的引用选项，然后使用自我评估机制为每个选项打分，最终选择得分最高的那个。这种方法的优势是能马上应用到现有的AI模型上，无需额外训练，就像给现有的汽车安装一个更好的导航系统，立即就能改善驾驶体验。

  第二种策略是偏好优化训练，这是一个更深层次的改进方法。系统首先使用第一种策略生成大量的引用对比示例——每个示例都包含同一个问题的两个回答，一个引用质量较高，一个质量较低。然后使用这一些对比数据来训练AI模型，让它学会直接生成高质量的引用，而不需要生成多个选项再筛选。这就像通过大量练习让一个新手厨师逐渐掌握调味的精髓，最终能够一次性做出美味的菜肴。

  研究团队采用了SimPO（Simple Preference Optimization）这种先进的训练方法，它的优势是不需要参考模型，这在某种程度上预示着能节约一半的内存使用量，这对处理长文档的训练很重要。通过这种训练，AI模型不仅保持了性能提升，还摆脱了需要多次采样的计算负担。

  为了验证SelfCite方法的效果，研究团队在LongBench-Cite这个专门的评测基准上进行了全面测试。这个基准包含了五个不一样的长文档问答任务，涵盖了多领域问答、多文档问答、政府报告总结以及各种真实世界的查询场景，就像一个综合性的考试，测试AI在不一样的情况下的引用能力。

  评测结果令人振奋。使用最优N选一采样策略后，AI的引用质量得分（F1分数）从73.8提升到77.5，提升了3.7个百分点。而通过偏好优化训练的模型达到了77.9的高分。更令人惊讶的是，当研究团队将两种策略结合使用——先用偏好优化训练模型，再应用最优采样——最终获得了79.1的优异成绩，比基准模型提升了5.3个百分点。

  这个提升幅度在AI研究中是相当显著的。要知道，引用质量的评估是一项极其严格的任务，需要每个句子的引用都精准无误。能在如此严格的标准下获得5.3个百分点的提升，相当于从一个普通学生跃升为优秀学生的巨大进步。

  更重要的是，SelfCite方法在各种不一样的任务上都表现出色。无论是处理单一文档的问答，还是需要整合多个文档信息的复杂查询，又或是对长篇政府报告的总结，SelfCite都能明显提升引用的精准度。这种一致性表明该方法有着非常强的通用性，就像一个多功能工具，在各种场景下都能发挥作用。

  SelfCite方法的技术实现体现了研究团队的巧思。在传统的AI训练中，每个陈述句后面会跟随一个引用序列，标明支持这个陈述的原文句子编号。SelfCite的评估过程会精确定位这些引用位置，然后执行上下文操作实验。

  在必要性测试中，系统会创建一个删除版本的原文，移除所有被引用的句子，然后计算AI在这种情况下生成原始回答的概率。概率下降幅度的对数值就是必要性分数。在充分性测试中，系统创建一个只包含被引用句子的精简版本，计算AI基于这个精简版本生成原始回答的概率，这个概率与基于完整原文生成回答概率的对数差值就是充分性分数。

  为了防止AI学会通过简单增加引用长度来作弊，研究团队设计了巧妙的长度平衡机制。在训练数据中，如果原始回答的引用较短，系统会在拒绝样本中随机添加附近句子的引用，使两个样本的引用长度相近。这样，AI就必须要学会关注引用的准确性而不是长度，就像教育学生要看作业的质量而不是篇幅。

  研究还发现了一个有趣的现象：仅用1000个训练样本就能带来适度改善，2000个样本能实现明显提升，但当样本数量增加到8000个时，性能反而开始下降。这说明过多的训练数据可能会引起模型偏离原始数据分布，这是一个值得深入研究的现象。

  与现有的引用生成方法相比，SelfCite展现出明显的优势。传统的提示词方法需要依赖昂贵的商业API，比如GPT-4或Claude-3，成本高昂且效果有限。而基于自然语言推理（NLI）模型的奖励机制虽然有所改善，但仍然依赖外部监督信号。

  在与ContextCite方法的对比中，SelfCite的优势越来越明显。ContextCite有必要进行至少32次随机上下文消融实验来估算每个句子的重要性，计算成本极高。相比之下，SelfCite直接在AI生成的引用候选中进行筛选，效率更加高且效果更好。实验结果为，SelfCite的F1分数比ContextCite高出10多个百分点。

  值得注意的是，研究团队还与最新发布的Claude Citations API进行了对比。这个商业API基于参数规模可能超过千亿的大型模型，代表了当前工业界的顶配水平。令人惊讶的是，基于80亿参数的SelfCite模型竟然能够在多个任务上与这个大型商业系统相媲美，甚至在某些任务上表现更佳。这充分证明了SelfCite方法的有效性与实用价值。

  SelfCite技术的应用前景十分广阔。在新闻报道领域，AI可以自动生成带有精确引用的新闻摘要，读者能快速验证每个关键信息的来源。在学术研究中，研究人能使用AI来处理大量文献，获得带有准确引用的综述报告，大幅度的提升研究效率。

  在法律服务领域，律师可通过这项技术快速分析案例文档，AI不仅能提供法律意见，还能精确标注每个论点的法条依据。在医疗咨询方面，AI可以基于医学文献提供健康建议，同时标明每个建议的科学依据，增强医患之间的信任。

  对于普通用户而言，这项技术意味着能轻松的获得更可信的AI服务。当你询问复杂的历史事件、科学原理或生活常识时，AI不仅会给出答案，还会告诉你这一些信息来自什么地方，你能更加进一步查阅原始资料做验证。

  尽管SelfCite取得了显著成果，但研究团队也坦诚地指出了当前方法的局限性。首先，该方法需要访问AI模型的输出概率，这在某种程度上预示着无法直接应用于封闭的商业模型如GPT-4。其次，虽然SelfCite能够改善已具备引用能力的AI模型，但如何让完全不会引用的模型从零开始学会这项技能仍然是个挑战。

  研究团队也探索了一些有趣的扩展方向。他们尝试了迭代式偏好优化，通过三轮训练持续改进模型性能。根据结果得出，虽然第一轮改进最显著，但后续轮次仍能带来渐进式提升。这为未来开发更先进的训练策略提供了思路。

  在计算效率方面，最优N选一采样策略虽然效果非常明显，但会增加推理时间。以10个候选选项为例，总体延迟从24.3秒增加到149秒。不过，经过偏好优化训练的模型可以在单次推理中达到相同效果，延迟仅为26.2秒，基本与原始模型相当。

  在训练配置上，研究团队使用了8张A100 GPU，每GPU批处理大小为1，最大上下文长度设置为25600个token。对于超过这个长度的文档，系统采用智能截断策略，优先保留与金标准引用相关的句子，最小化截断对性能的影响。

  为了处理长上下文训练的内存挑战，研究团队采用了Liger-Kernel优化库，实现了无需张量并行化的高效训练。这些技术细节的精心设计确保了方法的实用性和可重现性。

  LongBench-Cite基准测试采用了严格的评估标准。引用质量通过GPT-4o进行自动评估，分别计算引用召回率（引用是否完整覆盖了支持陈述所需的信息）和引用精确率（每个被引用的句子是否真正支持陈述）。这两个指标的调和平均数构成F1分数，作为综合性能指标。

  除了引用质量，系统还评估回答的正确性。通过对比带引用和不带引用的回答准确度，研究之后发现SelfCite方法不会损害AI的回答质量，这是一个重要发现。这在某种程度上预示着用户既能获得准确的信息，又能得到可靠的引用，实现了两全其美的效果。

  引用长度也是一个重要指标。过长的引用虽然可能提高召回率，但会降低精确性并增加用户验证成本。SelfCite在保持较短引用长度的同时明显提升了引用质量，平均每个引用包含93.4个token，相比baseline的83.5个token仅略有增加。

  研究团队提供了详细的案例分析，展示SelfCite的实际改进效果。在一个关于全球隐私政策平衡的问题中，基准模型的回答引用了句子303、305和306，但遗漏了关键的句子302。SelfCite方法通过上下文消除实验发现，移除句子302会明显降低回答的生成概率（0.578 vs 0.547），因此将其包含在最优引用中，同时排除了不太相关的句子305。

  另一个例子涉及核糖体结构的描述。虽然基准模型和SelfCite都引用了一些不相关的句子（391-393），但SelfCite的引用更加精简，避免了句子299这样的无关内容，整体质量有所提升。

  这些具体案例生动地展示了SelfCite如何通过精确的概率计算来优化引用选择，既避免了信息遗漏，又减少了无关内容的干扰。

  虽然SelfCite主要是针对句子级引用进行训练，但研究团队也测试了其在段落级引用任务上的表现。在ALCE基准测试中，SelfCite展现出良好的跨领域适应性，尽管训练数据与测试格式存在一定的差异，但仍能取得不错的效果。

  这种适应性证明了SelfCite学到的引用原理具有一定的通用性。无论是细粒度的句子引用还是粗粒度的段落引用，其核心思想——通过上下文操作来验证引用必要性和充分性——都是适用的。

  说到底，SelfCite代表了AI引用技术的一个重要突破。它不仅解决了传统方法依赖昂贵人工标注的问题，更重要的是为AI系统的可信度建设提供了一个切实可行的解决方案。当AI能够准确地告诉我们信息源自时，我们就能更放心地依赖这些智能助手来获取知识和做出决策。

  这项研究的意义远超技术本身。在信息泛滥的时代，能快速识别可信信息源慢慢的变重要。SelfCite让AI从一个健谈但不可靠的朋友转变为知识渊博且能提供相关依据的顾问，这种转变将深刻影响我们和AI的交互方式。

  随着这项技术的逐渐完备和应用，我们有理由期待一个更加透明、可信的AI时代的到来。在这个时代里，获取信息不再是盲目的信任，而是基于明确证据的理性判断。这不仅会改变个人会使用AI的方式，更会重新定义人机协作的模式，让人工智能真正成为增强人类认知能力的可靠伙伴。

  A：SelfCite是由MIT和Meta AI联合开发的一种让AI自主学习引用能力的方法。它通过上下文消融技术让AI自己判断引用好坏：如果移除被引用内容后AI无法生成相同回答，说明引用是必要的；如果仅凭引用内容AI就能生成相同回答，说明引用是充分的。通过这一种自我评估机制，AI无需人工标注数据就能学会精准引用。

  A：在LongBench-Cite基准测试中，SelfCite将AI的引用质量F1分数从73.8提升到79.1，提升了5.3个百分点。这项技术在新闻报道、学术研究、法律服务、医疗咨询等需要准确信息源标注的场景都有广泛应用价值，能让用户快速验证AI提供信息的可靠性。

  A：SelfCite的代码已经开源（），研究机构和开发的人能立即使用。不过该技术需要访问AI模型的输出概率，暂时无法直接应用于封闭的商业模型如GPT-4。随技术发展，未来有望在更多AI产品中看到类似的精准引用功能。