基于 PYNQ 的智能多媒体播放器

    作者:李鹤,解康辉,王成诚;东南大学

 

    概述:

本作品着眼于表情识别技术,语音识别技术,手势识别技术的综合应用,以 PYNQ 作为控制核心,通过手势进行功能选择,而后通过对人脸表情的判断或通过对语音控制命令的判断获取执行命令,从而实现播放相对应曲库歌曲的功能。

(1)对于用户表情的自主甄别与概率判断;

(2)对于用户语音的识别与检测,并转化为文字借助屏幕输出;

(3)基于用户表情识别的音乐播放,识别用户表情并根据表情输出相关音乐播放;

(4)基于用户语音识别的音乐播放,识别用户语音点歌信息并根据语音输出相关音乐播放;

(5)基于手势识别的用户交互,识别用户手势变化并根据手势编码进行界面的交互操控。

 

 

    主要创新点:

(1)使用 PYNQ-Z2 板进行图像处理与语音识别功能,充分利用了 PYNQ-Z2 的集成开发优势,实现了对于人脸表情与语音的精准识别;

(2)使用 BASYS3 进行从机手势控制模块的设计,系统采用 PL 设计,借助逻辑设计实现了基于 Verilog 的 UART 与 I2C 总线协议编写、手势数据高速处理,高度利用了 FPGA在时序设计方面的灵活性与高自由度特性。

(3)设计实现了全脱机运行,可作为独立产品存在,具有较大的实用性与展示性。

 

系统架构:

1)overview flow chart

img1

 

2)gesture contral module

img2

 

 

3)speech recognition module

img3

 

 

4)facial expression recognition module

img4


    设计演示:

img5


    系统界面图:

 

 

C:\Users\hui\Desktop\PLD图片\5.jpg

 

C:\Users\hui\Desktop\PLD图片\2.jpg

 

C:\Users\hui\Desktop\PLD图片\21.jpg

 

 

发布时间:2019-07-27 20:13
浏览量:0
点赞
收藏
首页    Catalog    Featured    基于 PYNQ 的智能多媒体播放器