论文arxiv cs.AI · 2w ago重要
Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution
分类释义：学术论文 / 技术报告
TL;DR
提出介入式 grounding 审计方法，通过谓词替换测试 LLM CoT 推理是否真正依赖前提，GPT-4o 达 F1=0.806，显著优于自洽性基线（F1=0.343），并发现 66% 正确解决的实体引入问题存在隐藏推理缺陷。
关键要点
- 01提出介入式 grounding 审计方法。
- 02通过谓词替换测试 LLM CoT 推理是否真正依赖前提。
- 03GPT-4o 达 F1=0.806。
- 04显著优于自洽性基线（F1=0.343）。
为什么值得关注
对 Agent 开发有直接意义——这套方法可作为 LLM reasoning 输出的自动化验证工具，工程师可将其集成到推理引擎的质量检查流程中；创意点：在生产环境中对关键推理步骤实施 premise dependency 审计，提前发现"答案正确但推理过程有缺陷"的隐蔽错误。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 评估现有 Agent 系统中 CoT 推理的 premise dependency 覆盖情况，制定将 predicate substitution 审计集成到 CI 的计划 |
| 应用工程师 | 在关键推理节点加入 premise dependency 检查，识别"答案正确但推理过程有缺陷"的隐蔽错误 |
| 运维 / 平台 | 在推理引擎的质量检查流程中部署自动化 premise dependency 审计模块，监控生产环境的推理可靠性 |
| 产品 / 业务 | 暂无直接影响，了解即可 |
同类资讯
本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5