近年来，深度强化学习技术迎来了现象级的爆发式增长，它在算力、数据和算法的协同进步下，展现出解决复杂决策问题的强大能力，尤其在AlphaGo的成功后，深度强化学习已成为人工智能领域最前沿(各类大语言模型)和最受关注的研究方向之一。也是当前火热的具身智能研究的核心基座技术，该技术通过真实世界的交互来感知、学习、理解并行动，促进人工智能以更接近人类的学习方式，实现从虚拟世界到现实世界的智能跨越，为服务机器人、工业自动化、探索救援等多个领域带来颠覆性变革，并被视为未来通用人工智能实现的关键路径。
近日，兰州大学信息科学与工程学院周庆国教授研究团队在深度强化学习和机器人研究中取得新进展。相关成果以题为“Physics-Informed Continuous-Time Reinforcement Learning with Data-Driven Approach for Robotic Arm Manipulation”被工业领域的国际期刊Journal of Industrial Information Integration接收发表，兰州大学作为第一单位在该期刊发表。
具身智能示意图
传统依赖于数据驱动的深度强化学习方法主要依赖经验风险最小化策略来拟合最优值函数，往往忽略了环境的动态系统特性。研究团队针对现有数据驱动型深度强化学习方法在学习动态系统时的局限性，创新地提出了一种基于物理信息的连续时间强化学习方法。该方法从理论层面深入分析了强化学习模型中的结构风险最小化机制，并创新性地将物理信息融入离散和连续强化学习算法框架中，全面总结了不同物理信息约束和边界约束对学习框架的影响。
融合物理信息的连续时间深度强化学习示意图
实验结果从经验风险最小化和结构风险最小化两个维度验证了模型的有效性，为深度强化学习方法在复杂动态系统控制策略优化方面提供了有力的理论依据和实践证据，也为解决实际动态系统控制问题提供了新的技术路径。
在PandaGym模拟环境中的实验结果图
论文通讯作者为团队雍宾宾副教授、周庆国教授，第一作者为在读博士生王金强。论文合作者包括澳大利亚University of Wollongong沈俊教授等。该研究同时得到了国家自然科学基金(U22A20261)、兰州大学中央高校基本科研业务费专项资金(lzujbky-2024-eyt01)等基金的资助以及兰州大学超算中心的支持。
