刚刚，AI科学家Zochi在ACL「博士毕业」，Beta测试今日上线
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
机器之心报道
编辑：+0
又有一个AIScientist的论文通过了顶会同行评审。
今天，Intology宣布他们的AI科学家Zochi的论文被顶会ACL主会录用，成为首个独立通过A*级别科学会议同行评审的人工智能系统，同时开放了Zochi的Beta测试。
近几个月来，多个团队已证明了人工智能在研讨会级别的会议上能做出贡献，此前Sakana的AIScientist-v2就以均分6. 25通过了ICLR会议一个研讨会的同行评审，详见机器之心报道《AI写的论文能过审？双盲评审6. 25分，达到ICLR研讨会水平》。
但论文被顶级科学会议的主会议录用，则意味着跨越了一个高得多的门槛。
提交给ICLR2025的研讨会论文录用率约为60-70%，而像ACL（以及NeurIPS、ICML、ICLR、CVPR等）这样的顶级会议的主会议录用率仅为20%左右。ACL是全球自然语言处理(NLP)领域排名第一的科学会议，在全球所有科学会议中排名前40。
此类顶级会议主会议的同行评审过程旨在进行高度筛选，对新颖性、技术深度和实验严谨性都有着极为严格的标准。大多数计算机科学领域的博士生需要花费数年时间才能在同等声望的会议上发表论文。
这使得Zochi成为首个达到博士级别的智能体：人工智能系统首次独立完成了科学发现，并将其发表在与该领域顶尖研究人员相当的水平上。
Tempest：基于树搜索的大型语言模型自主多轮「越狱」
话不多说，我们先来看看这篇论文吧。
论文标题：Tempest:AutomaticMulti-TurnJailbreakingofLargeLanguageModelswithTreeSearch
论文地址：https ://arxiv. org/pdf/2503. 10619
该研究的前期版本（名称为Siege）曾被ICLR研讨会接收。后续，Zochi对其设计进行了修改，并为提交ACL进行了更广泛的实验。
这项研究的一个特点是其自主性程度：人类研究者仅设定了「开发新型『越狱』方法」的初始目标。Zochi随后独立确定了多轮攻击这一具体研究方向，设计了Tempest方法，编写代码并进行了测试，执行了所有实验，并撰写了论文草稿。人类的参与主要限于图表创建和格式修订。
该研究从分析「越狱」相关文献开始，设计了一种基于树搜索的方法。该方法利用并行探索同时扩展多个对抗性提示分支，并集成了跨分支学习和部分合规跟踪功能。系统自主实现了Tempest，并在多个大型语言模型上进行了评估。
评估结果显示，Tempest在GPT-3. 5-turbo上的成功率为100%，在GPT-4上的成功率为97%。与所比较的单轮和多轮基线方法相比，Tempest在使用较少查询次数的情况下达到了更高的成功率。
这项工作的结果提示，语言模型的安全措施可能通过多轮对话被系统性地绕过，其中逐步的策略性互动可能导致模型产生原本被限制的输出。这些发现反映了当前安全机制中可能存在的某些不足，并为研究更有效的多轮对抗攻击防御策略提供了数据和视角。
批评风波
2025年3月18日，Intology宣布推出了Zochi，并称其为世界上第一位「做出最先进贡献」的AIScientist，它的研究成果已被ICLR2025研讨会接收。
Intology官网：https ://www. intology.ai/
通过标准化的自动审稿人评估，Zochi的论文平均得分为7. 67分，而其他由人工智能系统生成的公开论文得分在3到4分之间。
但Intology很快就陷入了批评风波。Sakana、Intology和Autoscience都声称其使用AI生成的研究被ICLR接受，但只有Sakana在提交其AI生成的论文之前向ICLR领导通报了此事，并获得了同行评审者的同意。
几位AI学术界人士在社交媒体上批评了Intology和Autoscience的行为，认为这是对科学同行评审过程的滥用。
关于Zochi
Zochi是一个AIresearchagent，能够自主完成从文献分析到同行评审出版的整个科学研究过程。该系统通过一个旨在模拟科学方法的多阶段流水线进行运作。
技术报告：https ://github. com/IntologyAI/Zochi/blob/main/Zochi_Technical_Report. pdf
代码：https ://github. com/IntologyAI/Zochi
Zochi的工作成果
通过正交知识空间实现高效模型自适应
为解决模型微调（PEFT）中的「跨技能干扰」问题，Zochi提出了CS-ReFT。该方法创新地通过学习「正交子空间表征」来编辑模型行为，而非修改权重。这使得Llama-2-7B仅用0. 0098%的参数就实现了93. 94%的AlpacaEval胜率，超越了GPT-3. 5-Turbo，并获得了同行的高度评价。
通过自主多轮红队测试发现AI漏洞
在AI安全方面，Zochi开发了Siege框架，利用树搜索算法进行高效的「多轮越狱」攻击。通过识别并利用LLM的「部分遵从」漏洞，Siege对GPT-3. 5和GPT-4实现了极高的攻击成功率（100%/97%），提示需要重新评估现有防御策略。其扩展工作已被ACL2025接收。
计算生物学进展（EGNN-Fusion）
Zochi将AI技术应用于计算生物学，推出了EGNN-Fusion，用于预测蛋白质-核酸结合位点。该方法在保持顶尖性能的同时，将参数数量锐减了95%，证明了Zochi在解决复杂跨学科科学问题方面的强大实力和多功能性。
评估结果
与所有基线系统相比，Zochi持续产出更高质量的研究论文。在使用基于NeurIPS会议指南的自动审稿人进行评估时，Zochi的论文获得了8、8和7的高分，均远高于顶级机器学习会议平均录用论文6分的接收门槛。
相比之下，其他AI系统的论文得分要低得多，平均约为4分。考虑到每个系统处理的问题复杂性存在巨大差异，这种评估差距尤其显著。基线系统专注于相对受限的问题——例如二维扩散模型、玩具规模的语言模型或特定的认知偏差——而Zochi则致力于解决开放式挑战，提出新颖且可验证的最先进方法。
作为一项探索性练习，Zochi在MLE-Bench的部分基于Kaggle的挑战上进行了评估，以考察其在传统机器学习工程任务上的表现。在没有任何任务特定优化的情况下，Zochi达到了最先进水平，在80%的任务上超过了人类表现中位数，并在50%的任务中获得奖牌。这些成果超过了之前的基准测试，如AgentLaboratory、AIDE和OpenHands，进一步突显了Zochi核心能力的稳健性和适应性。
©THEEND
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin. com
