评估AlphaFold3的综合基准？澳门理工姚小军、浙大侯廷军团队开发PepPCBench
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
将ScienceAI设为星标
第一时间掌握
新鲜的AIforScience资讯
编辑|菠菜
还记得预测所有生物大分子的AlphaFold3（AF3）吗？距离它的发布已经过去了接近一年的时间。
在这一年里，有百余篇研究论文提及或引用了AF3。它切切实实促进了生物大分子研究、药物发现、疾病研究等多个领域的发展。
最近，澳门理工大学姚小军、浙江大学侯廷军团队推出了PepPCBench，这是一个专门为评估AF3预测蛋白质-肽复合物能力而开发的综合基准框架。
该团队使用精心挑选的数据集PepPCSet，该数据集包含261个蛋白质-肽复合物，肽长度从5到30个残基不等（不包含AF3的训练集或验证集中的数据）。
基准测试结果表明，AF3在预测准确度和结构验证方面优于其他PFNN。然而，其性能对于实际的肽类药物研发而言仍然不足，仍有改进空间。
研究人员表示，PepPCBench有望为增强蛋白质-肽复合物结构预测和肽类药物研发提供重要见解。
肽介导高达40%的蛋白质-蛋白质相互作用（PPI），具有高特异性，能够靶向小分子无法接近的结合位点，使其成为药物开发中的候选药物。
精确建模蛋白质-肽复合物对于理解基本生物学过程和推进基于肽的药物设计至关重要。然而，由于肽的构象灵活性高，预测其与蛋白质的相互作用仍然是一项重大挑战。
AlphaFold3(AF3)等全原子蛋白质折叠神经网络（PFNN）为例，已将预测能力从蛋白质扩展到蛋白质-肽复合物。然而，现有的评估方法往往范围有限，缺乏对PFNN在蛋白质-肽复合物预测中性能的系统、多维度和公平的比较。
澳门理工大学、浙江大学的研究团队提出了PepPCBench，这是一个专门用于评估PFNN（尤其关注AF3）预测蛋白质-肽复合物结构性能的综合基准测试。
图示：使用PFNN进行蛋白质-肽复合物结构预测的PepPCBench概述。（来源：论文）
图示：PepPCSet的(A)肽链长度、(B)Rosetta结合能和(C)%ASA_i分布。（来源：论文）
研究人员利用一个精心挑选的数据集(PepPCSet)，旨在提供一个标准化且强大的平台，从而评估当前PFNN在处理蛋白质-肽相互作用所固有的结构复杂性和灵活性方面的能力和局限性。
评估结果表明，AF3在对接精度和结构效度方面优于同类算法（AFM、RFAA、Chai-1和HF3）。它在模型排序和置信度评估方面也表现出色，尤其是在使用actifpTM等更精细的置信度指标时，这些指标能够更好地解释柔性和无序区域。
图示：AF3与其他PFNN对接精度比较。（来源：论文）
虽然AF3总体上表现出色，其性能也暴露出一些问题。
研究人员分析证实，AF3存在结构记忆问题，其在肽复合物上的表现与训练期间观察到的类似。在将训练集与测试集和核心集进行比较时，DockQ得分的显著下降凸显了在结构新颖的复合物上评估模型的重要性。
此外，中等长度（10-20个残基）且构象偏移适中的肽段仍然尤其具有挑战性，这表明AF3的训练和当前数据覆盖范围都存在盲点。虽然增强采样提高了理论上的成功率，但当前评分函数的有效性有限，阻碍了实际预测性能的提升。
除了对接指标外，研究人员还使用MolProbity和ClashScore验证了结构质量，发现AF3生成的模型不仅几何结构合理，而且与原始PDB结构非常接近。这种结构保真度为下游功能预测（例如虚拟筛选）奠定了坚实的基础。
图示：AF3在筛选MHC-II系统高亲和力肽结合剂方面的案例研究。（来源：论文）
研究人员在论文里表示：「事实上，我们针对MHC-II系统的案例研究证明了AF3在实际应用中的广阔潜力。通过实验测量结合亲和力，我们观察到AF3的结构预测——结合actifpTM和Rosetta结合能等强大的评分函数——能够可靠地对肽结合物进行排序并恢复高亲和力配体。然而，排序性能因所使用的评分函数而异，这再次强调了将结构预测与可靠的事后评估相结合的重要性。」
总而言之，PepPCBench提供了一个严格、多样且可重复的基准，用于评估基于PFNN的蛋白质-肽复合物预测，从而满足了该领域的一项关键需求。
通过对五种最新模型（AF3、AFM、RFAA、Chai-1和HF3）的评估，他们发现了这些模型的主要优势和局限性，尤其是AF3模型，凸显了其在基于结构的肽设计方面的潜力，同时也揭示了有待改进的领域。
这些评估结果说明了方法透明性、数据集独立性以及整合互补验证策略在未来模型开发中的重要性。
PepPCBench在奠定坚实基础的同时，也指明了清晰的改进方向——例如整合更多样化的蛋白质家族、翻译后修饰和环肽，以提高基准的通用性。
「我们相信，PepPCBench将成为方法开发者和实验生物学家的宝贵资源，通过更可靠的结构预测加速下一代肽疗法的进展。」研究人员在论文的讨论部分表示。
论文链接：https ://www.biorxiv.org/content/10.1101/2025.04.08.647699v1
人工智能×[生物神经科学数学物理化学材料]
「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。
欢迎关注标星，并点击右下角点赞和在看。
点击阅读原文，加入专业从业者社区，以获得更多交流合作机会及服务。
