研究表明主流LLM与人类对新闻情感判断整体相关性高(GPT-5.2达0.789),但在性别、年龄、教育等亚组间仍存在统计显著差异,aggregate性能好不等于universal alignment。 创意点:工程师做AI评估时容易只看总体准确率而忽视subgroup差异;可借鉴此demographic-stratified评估方法,对敏感场景(新闻摘要、政治内容生成)增加分群体测试,避免模型系统性偏好特定群体视角。 原文:https://arxiv.org/abs/2607.27232
这篇候选手册来自公开业界分享的摘要提炼,不转载原文。后续我会补充自己的验证、代码和可复用配置,再升级为正式 playbook。
加入每周 AI 工程师 Brief
新 playbook 上线第一时间通知,附作者每周观察。永久免费。