天眼机器人设计文档

宋长骏 魏宇恒 朱旭东 

 

 

设计概述 /Design Introduction

 

1.1 设计目的

  新的无人机应用模式,现场自动化、巡飞智能化、视频 AI 处理、边缘计算等技术将在警用安防领 域发挥重要作用,推动无人机在警用安防领域的落地应用。 面向安防的无人机巡飞系统,要求无人机自动作业,实现无人化、智能化巡逻监控,贴近公安系统 实际需求,在提升警务工作实效性同时保障警务人员人身安全。无人机的智能识别模块,需要自主识别 巡检目标、调整飞行姿态、调节云台进行抓拍。

1.2 应用范围

  以安防监控场景为例,可将本系统部署于室内或室外,无人机可对区域内的行人进行身份识别,可 巡检目标区域,完成二维码提取,车辆牌号抓取识别等任务。

 

系统组成及功能说明 /System Construction & Function Description

 

2.1 系统介绍

  本系统由飞行控制子系统、图像处理子系统、图像传输子系统、室内定位子系统、云台控制子系统 和地面站共同组成。

  图像处理,图像传输,室内定位,云台控制子系统是基于 pynq-z2 开发板。

  飞行控制子系统是基于 TI C2000 DSP 芯片。

  地面站部署在 Linux 和 Windows 平台,基于 Qt 框架编写。

2.2 各模块介绍

   1. 飞行控制系统

  在 TI 公司生产的 TMS320F28379D 高性能双核架构 DSP 芯片上部署飞控算法,实现姿态解算、自稳 控制、光流悬停、自主定高,同时接受 PYNQ 视觉系统的识别数据,根据不同的识别结果做出相应的动 作和光警报。

  2. 图像处理系统

  图像处理通路包括 USB 摄像头,arm 核的 Opencv 图像处理,PL 端的 BNN 加速,NCS 端的 face-net 网络。

  参考 Xilinx 的 FINN,在 pynq 的 pl 端部署二值卷积神经网络(BNN),以此实现了车牌识别功能,和 交通标志识别功能

  使用 ncs 加速器,基于 face-net 网络,实现人脸识别功能

  纯 arm 运行 pyzbar 包,以此实现二维码扫描功能

  3. 图像传输系统

  在 pynq 上,连接 rt5572 无线网卡,配置开机自启动,可连接局域网。将采集的图像与识别结果, 进行 jepg 编码,使用 udp 协议,pynq 作为客户端,地面站作为服务器,udp 多线程通信,完成图像传 输。支持视频流的路由,可同时将视频流传送到多个地面站。

  4. 室内定位系统

  (1)基于 uwb 的无人机室内定位

  室外定位通常使用 GPS,而室内定位 GPS 信号收不到,于是使用 uwb(超宽带)定位作为替代方案。 部署基站后,标签连接无人机,通过串行口,输出当前坐标。定位误差 20cm,范围 50 平方米。

  (2)基于激光雷达的区域行人定位

  尽管可用摄像头进行行人的识别,但为了能在大区域内定位行人的位置,需要辅助定位手段,这里 使用杉川激光雷达。pynq 的 ps 端串口接收雷达数据,进行点云处理分析,分割出行人位置。

  5. 云台控制系统

  自制的 overlay,除了基于 BNN 的视频处理通路外,添加了 PWM 的 ip,从而可以输出 pwm 波控制云 台。可以控制摄像机进行转向抓拍。

  6. 地面站

  部署在 linux 或 windows 平台,udp 协议作为服务器与 pynq 通信,显示识别结果和飞控信息。

完成情况及性能参数 /Final Design & Performance Parameters

  本设计共实现功能:

  (1)四旋翼飞行器完成室内的定高定点;

  (2)图像识别子系统可进行人脸检测识别,车牌检测识别,二维码检测识别,交通标识检测识 别,手势识别,帧数稳定于 15 帧

  (3)图像传输子系统可进行实时图传,支持多终端

  (4)云台子系统可控制摄像头旋转角度

  (5)定位系统可提供自身位置,和检测行人位置,并提供避障功能。 各模块运作稳定,模块间依功能连接。

 

总结 /Conclusions

 

4.1 主要创新点

  本套基于 pynq 的警用安防无人机系统_天眼机器人,无需现场操控无人机作业,实现无人化、智 能化巡逻监控,贴近公安系统实际需求,在提升警务工作实效性同时保障警务人员人身安全。 基于 pynq 的核心算法,能自主识别巡检目标、调整飞行姿态、相机拍摄。 系统创新了无人机应用模式,现场自动化、巡飞智能化、视频 AI 处理,边缘计算等技术将在警用安防领域发挥重要作用,推动无人机 在警用安防领域的落地应用。

4.2 可扩展之处

(1)安装机载激光雷达,提高环境辨识能力

(2)研究自动降落充电系统,增加续航能力。

 

2019年12月30日 14:09
浏览量:0
点赞
首页    Catalog    2019 FPGA 竞赛    天眼机器人设计文档