基于EtherCAT的六自由度机器人视觉伺服控制设计

贺顺,张盟,朱川

指导老师:温秀兰,刘汉忠

南京工程学院

 

概述

       

中国制造 2025 是中国政府实施制造强国战略的第一个十年行动纲领,是全面提升中国制造业发展质量和水平的重大战略部署,其中明确指出了围绕工业机器人创新技术的重要地位。目前工业机器人技术已经广泛应用在汽车加工、食物分拣、自动化生产装配等领域。工业现场通信技术是智能制造业的核心技术之一, 随着智能制造业的快速发展,对节点间通信的实时性、可靠性以及通信带宽提出了更高的要求。工业以太网主站可以在多种平台上运行,只需硬件提供一个标准的网口。因此,成本低廉、简单灵活、高速实时的嵌入式平台在硬件上可以作为工业以太网主站使用,从而提供一种新的网络化、信息化、智能化的解决方案。

传统的硬件平台采用 DSP 对图像进行处理,其处理速度较慢,无法满足图像处理实时性要求,限制了机器视觉的应用。FPGA 作为一种硬件平台,用于数字图像处理,具有速度快、集成度高、可靠性强等优点。为了提高图像的质量和增强系统处理图像的实时性,本文提出了一种 EtherCAT 的六自由度机器人视觉伺服控制系统,将摄像头集成到基于 ZYNQ EtherCAT 主站上,提高了视觉伺服的实时性。经测试,该平台能够对视觉检测目标的变化做出及时的反应,为工业自动化提供了一套切实可行的方案。

本文针对基于机器视觉的工业机器人进行研究,主要工作包括以下几点:

1)设计了基于 EtherCAT 的六自由度机器人视觉伺服控制系统总体方案。以 ESR6B 机器人、ZYNQ 和摄像头为硬件基础,搭建了六自由度机器人视觉平台。

2)设计了基于 FPGA 的视觉检测方案。利用 Xilinx 提供的 HLS CV 对从摄像头采集到的像素流进行实时处理,并设计了一套识别物块坐标位置的程序流程,便于 EtherCAT 主站实时地读取物块坐标值,处理后的图像通过 HDMI 接口输出到显示屏。

3完成了 EtherCAT 对伺服的位置控制。利用 ZYNQ PL 层进行了EtherCAT 以太网帧的收发和主站时钟的校准,在 PS 层运行 SOEM 的裸机程序, 并将六自由度串联机器人逆解算法移植到主站代码里,进行机器人末端位置对于视觉反馈的实时跟随控制。

4)通过实验验证了本设计的对物块识别的准确性和实时性,并使用自主研发的六自由度串联机器人进行实际的运动控制实验。实验证明,机器人可以实时地跟随屏幕上显示的物块运动。

 

主要创新点

 

本设计难点在于如何提高视觉检测的实时性和机器人运动控制的实时性,创新地采用了 Xilinx 公司的 ZYNQ 异构处理器,将 FPGA 作为视觉处理的主要单元,并将 EtherCAT 主站移植到 ZYNQ 平台,这样,在一块芯片里就完成了实时的视觉检测和运动控制。本设计采用 HLS 进行视觉处理,对代码进行了优化, 使得整个视觉处理模块的延时仅为 18.6ms。同时,在通信方面,本设计使用 FPGA 进行 EtherCAT 帧的收发和校验,使得 DC 同步周期抖动稳定在小于 1us 时间。实时的视觉检测和运动控制在工业机器人视觉伺服中有着广阔的应用,本实验将集成摄像头的 EtherCAT 主站应用在自主研发的六自由度串联机器人上,将机器人运动学算法编写入 EtherCAT 主站,使得机器人可以随着摄像头检测到的物体做实时的运动。实验结果表明,本设计的实时性远大于 PC 平台的视觉处理,并完成了沿机器人 X 轴方向的实时视觉跟随运动。

 

系统架构

 

1. ESR6B 机器人硬件系统设计

 

        ESR6B 机器人是自主研发的机器人,是典型的多自由度串联机器人,机器人本体如图 2-1 所示。

图 2-1 ESR6B 机器人本体


   基于视觉引导的机器人硬件系统主要由机器人本体、控制台、ZYNQ 和视觉硬件等组成,如图 2-2 所示。

2-2  系统总体方案

2. ESR6B 机器人基本设计参数

机器人有 6 个自由度,其主要技术参数包括自由度、负载能力、重复定位精度、定位精度以及工作空间等,这些参数是反映机器人性能优劣的主要指 标。ESR6B 机器人的基本技术参数如表 2-1 所示。

 2-1 ESR6B 人基本技参数

 

​​​​​​​3. 机器人视觉系统硬件平台搭建

机器人视觉系统的硬件选择直接影响图像采集,图像的质量和后期的处 理,并影响整个控制系统的实时性,所以应根据要求和这些硬件性能,严格选

择硬件。基于 EtherCAT 的六自由度机器人视觉伺服控制系统主要包括摄像头、

ZYNQ、存储、显示、通信等模块。

ZYNQ Xilinx 公司设计的一种包含 FPGA+ARM 的异构芯片,在 ZYNQ 系统芯片中,包含了基于 ARM  的处理系统PS和可编程逻辑单元PL)。 EtherCAT 主站和 Linux 操作系统运行在 PS 端,图像算法在 FPGA 进行硬件加速,放在 PL 端。通过 AXI 总线互联技术将 FPGA ARM 整合在一起,从而充分发挥出两种器件结构的优势。

摄像头的主要特性参数有:分辨率、帧率和色彩空间等。根据这些特性参数, 选择满足实验需求的摄像头。本系统设计中,选取型号为 OV5640 CMOS 型数字图像传感器,该传感器支持输出最大为 500 万像素的图像 (2592x1944 辨率) ,支持使用 VGA  时序输出图像数据,输出图像的数据格式支持

YUV(422/420)YCbCr422RGB565 以及 JPEG 格式,本次设计采用 RGB565 式数据读取。

2-3 OV5640 摄像头

本设计中,图像数据由 OV5640 摄像头采集,然后由 FPGA 对其进行图像预处理和坐标检测,数据流经 VDMA 通过 HP0 口进入 DDR3 内存,然后再通过

HP0 返回,经过 VDMA,最后通过 HDMI 接口输出视频。

光源的主要参数有:对比度、亮度、表面纹理和光源均匀性。根据上述光源的特性,选择上海东冠科技的环形光源,型号为 RIN-90-6R-10W,光源为白色的发光二极管。实物图如图 2-4 所示。

2-4 环形光源实物图

基于 EtherCAT 的六自由度机器人视觉伺服控制系统如图 2-5 所示。

 

 

 

 

设计演示

 

  • 视觉伺服性能分析
  •  

视觉伺服要求从对目标的识别到控制之间的延时要很短,才能体现控制的实时性。本文设计了一组对照实验,方案一为采用在 ZYNQ  板上集成摄像头的

EtherCAT 主站,方案二为 PC 机连接 USB 摄像头,并采用 ADS 将坐标数据传输TwinCAT 主站的方案。两种方案使用相同的图像处理算法,主站都处于 CSP 模式下。

4-5  性能测试平台

延时计算平台为STM32+TFT 彩屏和基于XMC4300 EtherCAT 步进从站, 当屏幕开始刷新红色时,定时器开始计时,当接收到步进从站的脉冲时停止计时, 对比方案一和方案二的延时(单位 us),如图 4-6 所示。

4-6  方案对照

可以看出本设计的检测延时平均仅为 58ms,而方案二却长达 2.48s,在运行相同图像检测算法情况下,FPGA 的延时更低,同时由于本设计将摄像头直接集成到主站板上,图像传输延时更低,成本更低。

​​​​​​​

发布时间:2019-10-09 22:26
浏览量:0
点赞
收藏
Home    Catalog    2019 研电赛    基于EtherCAT的六自由度机器人视觉伺服控制设计