基于PYNQ的双目机器视觉系统

 

郭超,牛艺锋,孙正源,曹运合(导师)

西安电子科技大学

概述

 

本文设计了一个低成本、高可靠性、便于移植的双目视觉货物分拣系统。以异构芯片Zynq7020作为核心处理器,使用双目摄像头采集图像信息,传输到PYNQ上,在PYNQ的PS端部署图像处理算法,提取物体种类和景深等信息,上位机通过UDP协议向PS端发送指令,PS端根据指令和提取的图像信息向PL端发送控制信号,PL端根据控制信号生成PWM波,控制机械臂到达指定位置,然后抓取相应的货物放到目标区域。

 

该作品的创新点是:

1.通过双目摄像头来实现目标识别和提取物体特征,相对于其它的目标识别方案,本方案可适用面广,针对不同的物体的识别不需要更改硬件结构,只需训练相应物体的特征样本即可实现高效、准确的物体识别。

2.识别到物体之后,能通过视差提取到三维的距离信息,相对于其它传感器的方案,能获取更加丰富的位置信息。

3.将算法部署到PYNQ上,大大增强了系统的可扩展性,使用FPGA进行识别算法的硬件加速也将大大优于其它平台。具有低功耗、低成本、高可扩展性。

 

系统架构

 

C:\Users\Administrator\Desktop\图片2.wmf

 

C:\Users\Administrator\Desktop\图片7.wmf

 

 

C:\Users\Administrator\Desktop\图片5.wmf

       

        

img4

C:\Users\Administrator\Desktop\图片9.wmf

设计演示

 

C:\Users\Administrator\Desktop\QQ图片20181201172135.jpg

img7

 

Source Code Github Link

Description: After continuing to improve, the project plans to participate in the next year's graduate electronic design competition, temporarily unable to open source.

2019年3月12日 12:53
浏览量:0
点赞
首页    项目    计算机视觉    基于PYNQ的双目机器视觉系统