90%导航成功率+泛化率，ETH的新强化学习方法使微型机器人在血管里不再迷路
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
将ScienceAI设为星标
第一时间掌握
新鲜的AIforScience资讯
编辑丨%
在直径仅0. 1毫米的血管里操控微型机器人，如同用筷子夹起细菌——传统强化学习需要2500万次物理实验才能学会导航，而生物医学场景根本等不起。
对于瑞士苏黎世联邦理工学院（ETHZurich）的研究员们来说，与其挑战亲手操纵，不如将其交给AI。他们所研究的非侵入式AI控制的微型机器人能够提供精确的推进，并在数据稀缺的环境中高效地从图像中学习。
该模型在样本实验内，导航成功率甚至来到了90%；在新环境中最初在50%的任务上成功泛化，经过30分钟的进一步训练后，这一比例提高到超过90%。
论文链接：https ://www. nature.com/articles/s42256-025-01054-2
超声微型机器人的强化学习
对于AI，微型机器人是一个绝佳的载体，虽然这个组合仍面临着过拟合与场景适应等磨合期的阵痛。强化学习（RL）对于这个组合来说是一种强化训练方式，但以其实验条件不可控而拔高了使用水准。
在人体结构这种复杂精密且狭窄的作业空间里，如何为微型机器人提供方向指引仍未出现决定性的答案。在这些回应中，超声驱动无疑是一支潜力股。
图1：自主超声驱动微机器人。
在本实验中，研究团队使用的是基于模型的强化学习（MBRL）策略，先用Dreamerv. 3算法搭建超声物理模拟器，让微泡机器人在Pygame虚拟环境中试错。
在2小时的学习时间后，系统完成了适应，在处理无模型RL力有不逮的复杂通道导航任务中表现优异。
针对前文中所叙述的过拟合问题，团队附带开发了一个通用模型，适用于血管环境、赛道与迷宫的仿真，所有模拟下均达到了90%的准确率。
实验：血管环境
这是一个包含了由八个PZT按八边形布局排列的环形人工血管通道的实验装置，集成了毫秒级切换的电子电路。微型机器人通过商用生物相容性微泡在超声场中的自我组织产生，在微泡散射声波作用下开始自我组装。
实验过程中，首先是压电（PZT）激活后向MBRL模型输入血管通道的图像，该图像作为反馈，使MBRL模型能够评估实验中微机器人当前的状态。
图2：使用RL算法在不同环境中的微机器人导航性能分析。
实验模拟环境基于Pygame开发，主要关注局部路径规划和障碍物避免，有意忽略了微机器人的复杂动力学，这些动力学在未来实验设置中将进行探索。
与最先进的无模型强化学习算法PPO相比，基于模型的强化学习方案在特定环境中有着更加出色的表现与更高的效率。
在曲折赛道中，PPO需要大约2500万步才能收敛，而MBRL仅需60万步即可收敛；血管通道里，MBRL的步数也只是来到了百万步。MBRL方法在所有测试环境中均表现出更快的收敛速度。
动作环境升级
为了提高模型效率，团队实现了帧跳过技术，在不牺牲性能的情况下，减少计算负担并提高了运算速率。这种操作使得模型能够专注于显著变化，从而降低过拟合的风险。
在测试了不同的帧跳过率后，团队选择跳过四帧以实现更快的收敛。虽然更高的帧跳过率会导致更快的收敛，但也会导致过拟合，并选取了更高的训练比例（1000:1）减少了实验交互的需求。
图3：自主微机器人从仿真环境过渡到物理环境的过程。
团队已经证明，MBRL模型在特定环境中经过训练后，可以通过微调将其泛化到多种环境中。从分支通道配置过渡到一个未见过的血管环境后，需要约40万次训练才能提高到90%的成功率。
倘若升级到更加复杂的环境，模型能在在310万到400万步之间维持超过90%的成功率，这证明了模型准确捕捉到了各类通道动态，并展示了其稳健可靠的性能。
最值得一提的是，该模型完成了在动态流动环境中的逆流自主导航，通过采用增加逆流功率或者顺流减少功率这种差异化措施，证实了这类微型机器人的可靠性。
该举措主要是利用靠近壁面的低阻力区域以及微机器人与壁面之间的吸引力，这使得微机器人能够实时逆流和顺流导航。
小结
这项研究首次实现了AI强化学习与超声驱动技术的深度融合。通过MBRL策略，团队仅使用超声波就可以实时自主引导微型机器人逆流而行。
在各类模拟环境中，目标导航可在一小时的微调后就达到90%的精确度，面对陌生环境也只需要半小时就能达到90%的初始泛化成功率。
研究者设想，这些成果可以在单细胞研究与微小型动物模型的研究中发光发热，还以大幅推动生物技术与医疗领域的精密研究。
未来的探索将会集中在开发完全自动化的三维控制系统，并推进由人工智能驱动的可动态适应环境刺激的变形能力。
人工智能×[生物神经科学数学物理化学材料]
「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。
欢迎关注标星，并点击右下角点赞和在看。
点击阅读原文，加入专业从业者社区，以获得更多交流合作机会及服务。
