← 返回YIOYIOMMXXVI中 / EN

II2 分钟

魔鬼代言人

对智能体来说,同意几乎没有成本。所以研究流程里需要一个专门反对的角色:它不参与写作,只负责审稿,而且必须对照原文。

过去天主教的封圣程序里有一个职位,拉丁文叫 Advocatus Diaboli,“魔鬼代言人”。他只有一项职责:反对。找候选人的瑕疵,追问证据的漏洞。一个结论要成立,先得经得起一个专职的反对者。

用智能体做研究,遇到的第一个问题不是它不够聪明,而是它太好说话。问它一个题目值不值得做,它多半说值得;请它检查一个证明,它多半能找到理由说没有问题。说“是”,几乎没有代价。

所以在我的研究流程里,“做”和“审”是分开的,交给不同的智能体。流程分三步:选题、研究、成文。每一步做完,交给一个没参与这一步的智能体,让它以审稿人的身份挑毛病。审不过,就退回这一步重做,或者整个题目作废。

第一个变化,是题目变少了。在 topic-gate 里,选题智能体找到的题先过 Codex,再过 Claude,两边都给 PASS 才进题池,最后还要我亲自勾选。不少题停在半路,进了“墓地”,各自带着被否决的理由。一开始我觉得可惜,后来发现这些理由比通过的题目更有用:哪个方向已经有人做过,哪里的条件太强,哪里只是旧问题换了个说法,都写在里面。

第二个变化,是稿子也会被驳回。这套流程驳回过它自己写的两篇稿子。一篇的审稿意见是:论证没有错,但结果不够重要;另一篇在审稿那一步就没有通过。读到“正确但不重要”时,我一度不服气;过了几天再读,承认它说得对。正确只是门槛。

有几条规则,是在实践里试出来的。

审稿人必须对照原文。线索库最上面有一组“固定要求”,审稿人一条条对照原文核对;这些要求只能让结论更严,不能更松。没有这一条,审稿人很容易被作者自己写的摘要牵着走。

自检要先于工作。每晚从 arXiv 取线索的采集器,每一批都先做一次阳性自检:给它一个本该被找到的对象,看它找不找得到。找不到就停用,修好之前不再采集。不然,一个悄悄失效的采集器,会让整条流水线安静地一无所获,而我还以为只是最近没有好题。

裁决交给一个什么都不知道的角色。在 Danus 的设计里,验证者是唯一能决定结论是否成立的角色,而且它冷启动,对之前发生的一切毫不知情。把 Danus 移植到 Windows 时,我最小心的一件事,就是不去动这个角色。

全部文章