本项目基于深度学习进行路径规划，以达到精确地围捕和避障的目的，具体研究目标分为：（1）提升围捕AUV和目标AUV的定位精度，确保能及时反馈信息，从而增强队伍之间的协调性和围捕效率；（2）基于Actor—Critic算法来降低水声通信延迟，优化AUV动作决策反应；（3）结合深度学习技术，增强AUV在不确定环境下的适应性，实现动态避障，并规划出最短最优的协同围捕路径。

本项目针对海战中水下反侦察场景，专注于研究我方装备在巡逻过程中如何对敌方来袭的侦察设备进行有效的反侦察和协同围捕，展开AUV相关路径规划系统的研究。

1、通信保障方案

为保障多AUV协同围捕及避障路径规划，项目研究多AUV通信方案，重点关注通信方案与多AUV协同围捕的适配性。构建面向多AUV的协同围捕的因子图协同导航(FG)通信方案，建立“AUV-AUV”间移动通信网络与“AUV-水面支持船”中继站共享交换信息，以此弥补通信时间差，提高定位精度，保障围捕及避障路径规划。

2、安全的多AUV协同避障路径规划方案

为多AUV协同围捕提供安全的避障路径规划方案。首先在复杂的水下环境中，根据已知静态障碍信息为单个AUV规划避障路径，其次，针对水下漂浮物及鱼群等动态障碍物，研究基于动态障碍物移动态势的AUV路径优化，最后，基于多AUV分布式优势及局部信息交换共享协同避障方法，以此保障多AUV在复杂多变的水下环境中的航行，为安全、快速围捕任务奠定基础。

3、多AUV协同围捕路径规划方案

为多AUV协同围捕提供自主规划围捕路径方案。首先在探索阶段，各AUV在各自区域内收集并共享目标信息，直至取得目标位置。其次在跟踪阶段，AUV若探测到敌方设备则对敌方信息进行共享。同时，我方AUV基于深度学习预测目标AUV的移动轨迹，优化各个AUV的目标速度及角度，并向单个目标位置集合。最后在围捕阶段，根据双方速度差异开展围捕路径规划研究，实现多AUV协同围捕。

近年来，国内在多AUV围捕技术方面取得了一些进展。即一些研究机构和公司已经成功开发出具有围捕功能的多AUV系统，并进行了实际应用测试。这些系统通常采用先进的控制管法和传感器技术，能实现多个AUV之间的协助作业，完成对水下目标的搜索、跟踪和围捕等任务。此外，国内研究团队还在多AUV协同控制、目标跟踪，路径规划等方面开展了一系列研究工作，取得了一些创新成果。

在国外，多AUV围捕技术也得到了广泛关注和研究。美国、欧洲等国家和地区的企业在AUV领域占据主导地位。例如，美国的Bluefin Robotics、Boeing Insitu和加拿大的JASCO Applied Sciences等公司都在AUV技术研发和应用方面取得了重要进展。这些公司在多AUV协作控制、路径规划、目标识别与跟踪等方面都有深入的研究，这些机构和公司通常注重多AUV系统的整体性能和稳定性，研究内容主要集中在以下两个方面：

（1）控制算法和传感器技术：早期多机器人系统任务分配大多采用基于行为任务分配策略，前者主要模仿动物行为进行任务分配。例如Mataric^[5]提出了一种基于动物行为模型的算法，用于控制动物的各种不同的行为，包括分散、聚集等；Parkers^[6]提出了一种分布式的，基于行为的软件控制系统；Miyata等^[7]提出了一种控制机器人组按时间的先后顺序，彼此独立执行不同任务的行为算法。以上方法均是通过模仿动物（包括人类）的行为方式，来分配不同的任务。而任务分配的另一个常见方法是市场机制算法。在以市场机制为基础的系统中，多机器人系统视为一个经济体，每个机器人视为一个代理商。例如，Wahl^[8]提出的多任务分配的拍卖算法。这种算法使每个机器人不断计算和比较访问指定目标点的消耗，以此来平衡交易。

（2）新型多AUV路径规划：随着现代人工智能技术的快速发展与突破，路径规划研究也在不断发展，一些新型AUV路径规划方法得到深入研究，典型的方法有智能优化路径规划方法、神经网络路径规划方法、启发式搜索路径规划方法等。例如模板匹配方法是将机器人当前所处的状态与过去经历的状态相比较，找到最接近的状态，修改这一状态下的路径，就可以得到一条新的路径。模板匹配技术在环境确定情况下，有较好的应用效果；如Milmaz等^[26]提出的基于案例的自治水下机器人AUV路径规划方法；Liu等^[27]和Carvalho等^[28]提出的清洁机器人模板匹配路径规划方法等，都是环境确定已知状况下的路径规划。为了提高模板匹配路径规划技术对环境变化的适应性，部分学者提出将模板匹配与神经网络学习相结合的方法，如：Ram等^[29]将基于事例的在线匹配和增强式学习相结合的路径规划方法；Arleo等^[30]将环境模板与神经网络学习结合的路径规划方法；Yu等^[31]将三维环境匹配与小波分析结合的路径规划方法等。

随着水下机器人技术的不断发展和应用需求的不断增加，多AUV围捕技术将面临更多的挑战和机遇。具体体现如下：

（1）多AUV系统不够智能化。需要进一步提高多AUV系统的智能化水平和自主作业能力，以适应更复杂、更恶劣的水下环境

（2）多AUV之间信息交流和协作不够灵活。需要加强多AUV系统与其他水下设备的协同作业能力，以实现更广泛的水下作业任务。

（3）多AUV系统的前景需开发。需要关注多AUV技术有海洋贫源开发、水下考古、海底电缆和管道检测等领域的应用前景，并积极推动相关产业的发展。

总之，水下多AUV围捕技术是当前水下机器人领域的研究热点之一，国内外都在积极开展相关研究和应用。未来，随着技术的不断发展和应用需求的不断增加，多AUV围捕技术将发挥更大的作用，为水下作业和海洋产业的发展做出更大的贡献。

参考文献：

[1]  谭民，王硕，曹志强，多机器人系统[M].北京：清华大学出版社

[2]  朱大奇, 庞文, 任科蒙. 多AUV水下协作搜索研究现状与展望[J]. 上海理工大学学报, 2022, 44(5): 417-428.

[3]  PAULL L, SAEEDI S, SETO M, et al. AUV navigation and localization: a review[J]. IEEE Journal of Oceanic Engineering, 2014, 39(1): 131-149.

[4]  STANWAY M J, KINSEY J C. Rotation identification in geometric algebra: theory and application to the navigation of underwater robots in the field[J]. Journal of Field Robotics, 2015, 32(5): 632-654.

[5]  MATARIC M J. Minimizing complexity in controlling a mobile robot population[C]//Proceedings of 1992 IEEE International Conference on Robotics and Automation. Nice: IEEE, 1992: 830–835.

[6]  PARKER L E. Heterogeneous multi-robot cooperation[D]. Cambridge: Massachusetts Institute of Technology, 1994.

[7]  MIYATA N, OTA J, ARAI T, et al. Cooperative transport by multiple mobile robots in unknown static environments associated with real-time task assignment[J]. IEEE Transactions on Robotics and Automation, 2002, 18(5): 769-780.

[8]  WAHL T P. Autonomous guidance strategy for spacecraft formations and reconfiguration maneuvers[D]. West Lafayette: Purdue University, 2017.

[9]  王宏健, 伍祥红, 施小成. 基于蚁群算法的AUV全局路径规划方法[J]. 中国造船, 2008, 49(2): 88-93. 

[10]  MIYATA N, OTA J, ARAI T, et al. Cooperative transport by multiple mobile robots in unknown static environments associated with real-time task assignment[J]. IEEE Transactions on Robotics and Automation, 2002, 18(5): 769-780.

[11]  WAHL T P. Autonomous guidance strategy for spacecraft formations and reconfiguration maneuvers[D]. West Lafayette: Purdue University, 2017.

[12]  AKKIRAJU R, KESKINOCAK P, MURTHY S, et al. An agent-based approach for scheduling multiple machines[J]. Applied Intelligence, 2001, 14(2): 135-144.

[13]  TURNER R M. Context-mediated behavior for intelligent agents[J]. International Journal of Human-Computer Studies, 1998, 48(3): 307-330.

[14]  BOVEIRI H R. An incremental ant colony optimization based approach to task assignment to processors for multiprocessor scheduling[J]. Frontiers of Information Technology & Electronic Engineering, 2017, 18(4): 498-510.

[15]  LIU C, KROLL A. Memetic algorithms for optimal task allocation in multi-robot systems for inspection problems with cooperative tasks[J]. Soft Computing, 2015, 19(3): 567-584.

[16]  TOLMIDIS A T, PETROU L. Multi-objective optimization for dynamic task allocation in a multi-robot system[J]. Engineering Applications of Artificial Intelligence, 2013, 26(5/6): 1458-1468.

[17]  HOU G J, LUAN X, SONG D L, et al. Underwater man-made object recognition on the basis of color and shape features[J]. Journal of Coastal Research, 2016, 32(5): 1135-1141

[18]张强,刘晓宇,张南庆,何鸣.基于改进人工势场算法的AUV路径规划[J].中国航海,2021,44(2):134-141.

[19]曾文静,张铁栋,徐玉如,姜大鹏.一种基于蚁群算法的SLAM数据关联方法[J].计算机应用,2009,29(1):136-138. 

[20]曾文静,张铁栋,姜大鹏.SLAM数据关联方法的比较分析[J].系统工程与电子技术,2010,32(4):860-864.

[21]王宏健,熊伟,陈子印,王晶.多自主水下航行器区域搜索与协同围捕方法研究[J].中国造船,2010,51(2):117-125.

[22]朱大奇,颜明重.移动机器人路径规划技术综述[J].控制与决策,2010,25(7):961-967. 

[23]胡军国,祁亨年,董峰,汪杭军.一种改进蚁群算法研究和旅游景区路径规划问题求解[J].计算机应用研究,2011,28(5):1647-1650.

[24]刘训星,胡敏,黎颖.基于蚁群算法的旅游线路优化[J].重庆理工大学学报（自然科学）,2017,31(10):158-164.

[25]杨泽文,贾鹤鸣,宋文龙,朱传旭,周佳加,何东旭.欠驱动AUV水平面轨迹跟踪的反步控制研究[J].机电工程,2017,34(11):1338-1342.

[26]YILMAZ N K, EVANGELINOS C, LERMUSIAUX P F J, et al. Path planning of autonomous underwater vehicles for adaptive sampling using mixed integer linear programming[J]. IEEE Journal of Oceanic Engineering, 2008, 33(4): 522-537. 

[27]LIU Y, ZHU S Q, JIN B, et al. Sensory navigation of autonomous cleaning robots[C]//Proceedings of the 5th World Congress on Intelligent Control and Automation. Hangzhou: IEEE, 2004: 4793–4796

[28]DE CARVALHO R N, VIDAL H A, VIEIRA P, et al. Complete coverage path planning and guidance for cleaning robots[C]//Proceedings of the ISIE '97 Proceeding of the IEEE International Symposium on Industrial Electronics. Guimaraes: IEEE, 1997: 677–682.

[29]RAM A, SANTAMARÍA J C. Continuous case-based reasoning[J]. Artificial Intelligence, 1997, 90(1/2): 25-77.

[30]ARLEO A, SMERALDI F, GERSTNER W. Cognitive navigation based on nonuniform Gabor space sampling, unsupervised growing networks, and reinforcement learning[J]. IEEE Transactions on Neural Networks, 2004, 15(3): 639-652.

[31]YU Q Z, TIAN J W, LIU J. A NOVEL contour-based 3D terrain matching algorithm using wavelet transform[J]. Pattern Recognition Letters, 2004, 25(1): 87-99.

本项目拟开展如图1所示的研究方案技术路线图，其中研究内容1对应技术路线1.1和1.2；研究内容2对应技术路线2.1、2.2；研究内容3对应技术路线3.1、3.2。

图1 研究方案技术路线图

1基于因子图协同导航算法的多AUV协同围捕路径规划通信研究

1.1面向已知场景的多AUV间通讯建模研究

多AUV系统广泛应用于大规模、高精度水下任务。然而，受限于水声通信的距离限制，AUV之间的状态获取和命令传递存在困难，导致定位误差增大。为此，本项目提出了一种优化水声通信的路径规划方法。首先，考虑到作业区域距离水面母舰较远，我们构建了基于AUV间协作的因子图协同导航算法。在此算法中，每个AUV作为一个移动节点，通过相互交流信息以提高定位精度。其次，我们在已知环境中部署水下声学灯塔，这些灯塔能够预先探测目标AUV的位置，有效辅助AUV进行定位和任务执行，从而构建起“母舰-AUV-水下灯塔”的三维物联网通信系统。最后，针对已知场景建立数学模型，并让围捕AUV进行预学习。在此过程中，实时更新目标AUV的位置信息至模型中，确保围捕AUV能够及时调整围捕方向，提高任务效率和成功率。

图2面向已知场景的多AUV间通讯建模研究流程图

1.2面向未知场景的多AUV通讯预测研究

在水下未知场景作业中，AUV能够实时探测周围环境，并拟合相似模型来采取可行方案。为了应对多AUV间因距离过长导致的通信延迟和汇报延时，本项目计划建立一个水声传感器网络。此外，整体路径规划将基于深度学习技术，而局部路径规划则采用因子图协同导航算法（FG）进行信息预测。在移动过程中，通过节点抛洒实现水下物联网的布置，以优化信息传输。AUV将利用物理和数学模型来拟合敌方AUV的航线，并基于Actor-Critic方法预测自身航向角，从而自主优化延迟的信息并通过位移弥补通信误差，实现避障和快速拦截的目的。

图3面向未知场景的多AUV通讯预测研究流程图

2基于通讯建模的多AUV协同避障路径规划

2.1基于位置分配的围捕路径规划算法

在海战场景中，针对来袭的敌方AUV，我方AUV将执行协同围捕任务。本项目提出了一种基于深度学习的路径规划算法，首先将水下环境进行栅格化处理，以便围捕AUV能精确到达逃逸AUV周围的指定围捕点。考虑到逃逸AUV位置的动态变化，围捕AUV需执行确定的联系动作，以确保迅速而准确地到达围捕点。利用深度学习的能力，围捕AUV作为自主智能体与环境互动，通过不断调整行动策略以快速适应环境变化，并有效完成围捕任务。此外，该路径规划算法结合深度学习进行位置分配和行动调整，不仅能实时监测逃逸AUV的位置变化并进行奖励学习，还可以提高对未来状态和奖励的估计准确性，从而节约能源并提升任务成功率。算法的流程图详见图4。通过迭代学习，此算法能有效避免路径冲突并减少任务失败，显著提升围捕效率。

图4 基于位置分配的围捕路径规划算法流程图

2.2基于混沌映射虎鲸捕食算法的精准避障研究

考虑到水下环境的复杂性及存在的动态障碍物风险，本项目采用自适应多分支混沌映射虎鲸捕食算法（AMCOPA），以优化AUV的路径规划，减少移动距离并降低碰撞风险。首先，根据AUV作业中可能遇到的障碍物类型、海流速度及生物群落特性，建立详尽的障碍物数学模型。此模型包括目标函数和威胁函数，用于评估和管理AUV的巡逻及防护行动。其次，由于路径规划问题的求解复杂性，本项目设计了分段适应度函数策略。在模型优化的迭代过程中，分段提高适应度函数的复杂度，从而简化计算过程并提高计算效率。此外，深度学习算法被用于模拟过程中的数据收集和障碍物建模。最后，通过实施AMCOPA算法，进行了深入的避障路径规划研究，旨在实现AUV的高效安全导航。

图5基于混沌映射虎鲸捕食算法的精准避障研究流程图

3基于MADDPG的围捕算法研究

3.1多AUV协同围捕算法研究

本项目提出了一种基于Actor-Critic算法的多智能体强化学习方法，采用集中训练与分散执行的策略，专为多AUV围捕任务设计。每个围捕AUV均装备有一个评价网络和一个策略网络。首先，设计敌方AUV的行为模型，并预测其可能的轨迹。接着，利用经验回放技术，辅助多AUV协同进行围捕。策略网络的核心功能是根据评价网络对环境及目标AUV的轨迹进行评分，并据此调整自己的行动策略。通过不断更新策略网络中的参数，围捕AUV能够根据得到的评分选择最合适的围捕路径。

图6多AUV协同围捕算法研究流程图

3.2基于速度优先自主改进围捕角度研究

在多AUV系统中，根据通信模型和路径规划，优先考虑速度以快速完成任务。首先，通过智能识别技术，多AUV可实时识别目标AUV的逃逸速度和角度。利用速度差和角度匹配，指定最合适的单个AUV执行围捕任务。其次，通过发送指令和目标AUV的物理状态信息，围捕AUV能够自主控制速度并通过小角度的调整来提高通信的精度，同时捕捉速度差异，以达到节能增速的目的。如若任务初次未能成功，系统会将整个过程的数据反馈至路径规划系统，根据实时变化的物理状态输出新的路径，以实现多AUV系统的协同追捕目标AUV的能力。

图7基于速度优先自主改进围捕角度研究流程图

拟解决的关键科学问题：

1.基于自适应多分支混沌映射虎鲸捕食算法的多AUV动态避障路径规划

鉴于水下作业环境的极端复杂性及多变因素，制定一条合适的避障路径对于减少设备损耗和降低成本至关重要。因此，本项目研究基于自适应多分支混沌映射虎鲸捕食算法（AMCOPA）的多AUV动态避障路径规划。通过引入混沌理论增强路径搜索的随机性和覆盖广度，同时利用虎鲸捕食策略的高效搜索能力，有效提升动态避障路径的优化速度和质量，是本项目拟解决的一个关键问题。

2.基于因子图协同导航(FG)算法补偿水声通信延迟

由于水下环境复杂，无线电信号、卫星信号等无法使用，水声通信延迟会导致定位误差增大，多AUV的工作效率也会大大降低。因此，探索应用因子图协同导航（FG）算法，以应对水声通信中的延迟问题，并通过补偿通信时间差来提升多AUV系统的定位精度，是本项目拟解决的另一个关键问题。

预期成果：

1.结题报告

2.一项发明专利

2024年4月-2024年5月 确定选题，查阅文献并分析相关案例

2024年5月-2024年7月 研究关键问题的解决方案

2024年7月-2025年2月 开展实验，分析数据，建立相关模型

2025年2月-2025年4月 进行结论分析，总结经验教训

2025年5月-2025年6月 将相关成果进行展示，撰写结题报告和一项发明专利