项目简介

2.1前沿行业

智能导盲系统已逐渐成为全球范围内提升视力障碍者独立出行能力的重要技术之一。在我国，随着人口老龄化和视力障碍人群的增加，智能导盲系统的需求日益增大。许多城市和社区的公共空间、交通设施以及住宅区等地，都需要为盲人群体提供更加安全和便捷的出行方案。智能导盲系统的应用不仅为视力障碍者提供了更高效、安全的出行方式，也大大改善了他们的生活质量。

传统的导盲方法如手杖或导盲犬虽然能够为盲人提供一定的帮助，但在复杂的城市环境中仍存在很多局限。随着技术的进步，智能导盲系统应运而生，涵盖了传感器、定位、语音导航等多种先进技术，能够实时感知周围环境，自动规划最佳行走路线，避开障碍物，甚至在突发情况下提供紧急反应。这些系统通常包括可穿戴设备、智能手杖、智能手机应用等形式，能为视力障碍者提供更加灵活和多样的选择。

智能导盲系统的关键优势在于其能够通过语音或触觉反馈向使用者提供实时导航和环境信息，从而帮助盲人更有效地避开障碍物、找到目的地或应对复杂的交通情况。此外，智能导盲系统还能通过与公共交通、城市基础设施的互联互通，提供更加精准和个性化的服务。比如，在公共交通系统中，智能导盲系统能够帮助用户获取列车、公交车的实时信息、站点信息，甚至在交通高峰时段提供路径优化建议。

尽管智能导盲系统已经取得了一定的技术进展，但在实际应用中仍然面临许多挑战。例如，系统需要应对复杂多变的环境条件，如对于夜晚与室内环境的适应问题；同时，如何进一步提高系统的稳定性、准确性和用户的使用体验，例如语音人机交互等，也是技术发展中的重要课题。当前，许多研究致力于通过机器学习、深度学习等先进技术优化系统的智能化水平，使其更好地适应个性化需求和复杂环境。

2.2技术背景

2.2.1 基于YOLO的机器视觉

YOLO（You Only Look Once）是一种高效的目标检测算法，其核心思想是将目标检测问题转化为回归问题，直接从图像中预测目标的位置和类别。与传统方法不同，YOLO通过一个神经网络同时完成目标的分类、定位和边界框回归，从而显著提高了检测速度。它将图像划分为网格，每个网格负责预测该区域内是否存在目标及其类别信息。

YOLO的优点包括：实时性高、速度快、准确度好，适用于实时视频流和大规模图像数据处理。随着版本的更新，YOLO不断改进检测精度和处理速度，例如YOLOv4采用了更多的优化策略，YOLOv5则进一步提高了部署的简便性。

YOLO广泛应用于自动驾驶、安防监控、工业检测等领域，尤其在对实时性要求较高的场景中表现优异。

2.2.2 基于北斗卫星定位系统的室外导航

北斗卫星导航系统是中国自主研发的全球定位系统，提供高精度的定位、导航和授时服务。自2000年启动建设以来，北斗系统经过多年的发展，已实现全球覆盖，具备厘米级到米级的定位精度。除了基本的定位服务外，北斗还具有短消息通信功能，能够在没有地面通信网络的地方进行信息传递。北斗系统的建设增强了中国在全球导航技术领域的自主能力，并广泛应用于交通、农业、应急救援等多个领域，推动了全球卫星导航产业的进步。

2.2.3 基于视觉SLAM生成室内地图，动态规划路线

SLAM（Simultaneous Localization and Mapping，实时定位与建图）是一种使机器人或自动驾驶系统在未知环境中能够同时进行自我定位和构建环境地图的技术。通过SLAM，机器人可以在没有外部定位信号的情况下，通过传感器（如激光雷达、摄像头、IMU等）实时获取周围环境的信息，进行自我定位并逐步构建精确的环境地图。SLAM技术广泛应用于自动驾驶、无人机、机器人导航等领域，是智能机器人和自动化系统实现自主决策和环境感知的核心技术之一。

2.2.4 基于ai实现语音操控，人机对话交互

基于AI实现机器操控和人机交互是现代智能系统的重要发展方向。AI技术通过深度学习、计算机视觉、自然语言处理等手段，使机器能够自主感知环境、理解人的需求并做出智能反应。在机器操控方面，AI能够使机器人在复杂环境中进行精准操作，如自动驾驶、工业自动化等；在人机交互方面，AI技术提升了交互的自然性和智能化，用户可以通过语音、手势甚至情感表达与机器进行直观、高效的沟通。随着AI的不断进步，机器与人类的协作将变得更加智能、流畅和自然。

2.3研究的范围和方向

2.3.1研究内容

针对导盲犬培训难度大难以普及以及目前服务盲人基础设施不足的现状，本团队设计了一款以机器视觉以及导航定位技术为核心的智能导盲系统。通过利用机器学习，北斗，视觉SLAM，AI，实现在多复杂环境下的智能导盲过程，从而使得导盲过程更加精准化，人性化。通过视觉增强技术，弥补卫星信号在遮挡区域（如隧道或者高楼之间）较弱的不足。同时生成立体声以及产生振动，增强导航体验，提高用户对于环境的感知能力。此外，基于AI的人机交互使得产品使用更加方便灵活。最后，利用低光摄像头，超声波传感器，以及动态曝光控制等算法，提高了机器在夜间，雨天，雪天的识别能力，增加了产品的使用场景。

2.3.2研究方向

（1）使用YOLO识别路标，障碍物，运动物体，结合SLAM实现地图生成。为了使得导盲更加精准以及实现室内导盲，我们利用视觉结合SLAM的方式，实现了室内外导盲一体化。通过生成室内的网格地图，实现精准的具有通用性的室内动态实时导航。

（2）基于AI的人机交互模型。为了提高产品的使用便捷性，我们使用和AI语音对话的方式实现导盲的系统设置，使得产品更加人性化，解决了盲人难以使用实体操控方法的问题。

（3）使用APP检测盲人产品使用者的状态。通过APP，我们可以监测盲人的位置，通过视频图传的方式展示盲人所处环境。此外，盲人摔倒后系统自动报警，保障了产品使用者的安全。

2.4实验条件

项目所需的音频模块已设计完成，如图所示。

对该模块进行了开发测试，可用于语音交互、方向性音效的输出等，目前已经可以实现语音识别以及音频输出功能。

已有行人检测数据集和模型，基于 PP-HGNet 、 PP-LCNet 模型实现了??属性识别，并以部署到平台进行了一定规模的测试。

已有车辆检测数据集和模型

招募学生要求

3.1 基本要求

（1）具备优秀的学习能力；

（2）对电路设计有浓厚兴趣；有较强的创新思维和动手能力；

（3）有良好的英文基础，有良好的写作能力；

（4）对代码编写有浓厚兴趣；有足够耐心进行程序修改和调试。

3.2 知识背景

（1）要求学生具备基本的电路知识；

（2）了解论文，专利的基本结构和撰写；

（3）具备一定AI和机器学习算法基础。

3.3 技术能力

（1）能够进行电路仿真图、实物图的设计和制作；能够对基本电路进行集成化；

（2）能够进行论文的阅读和检索；能够撰写论文、专利；

（3）能够基于AI和机器学习算法和实验目的设计程序；能够基于实际实验情况对从程序进行调整。