3月31日电巢大咖王伟直播《从硬件走向人工智能-机器视觉基础》

直播时间：

 2022年03月31日 19:45

直播主题：

 【大咖直播】《从硬件走向人工智能-机器视觉基础》

直播平台：电巢视频号

直播简介：

1、直播内容

    机器视觉是AI技术的主要研究和应用领域，不仅广泛应用于自动驾驶、智能制造和航空航天等高大尚领域，同样应用于你身边的身份确认、安全监控和物品识别，其影响已经渗透到我们生活的各个角落。如果您是一位传统的硬件工程师，又觉得AI技术离你太远，不知如何入手，似乎遥不可及，这门课就是为您准备的。我本人也是硬件工程师出身，以我的亲身经历，从零基础开始学起，第一步先学习FPGA机器视觉所需要的图像入门知识和工具。我们这里学习的目的不是为了在图像领域内进行理论创新，只是为了应用技术，所以我尽量讲求实用，不追求理论深度。如果我讲的一遍听不懂，可以多听几遍，或者用的时候知道在哪里找就行了，也欢迎入群交流（QQ群号：435717099），力求给大家一个全面的视频图像背景知识，为机器视觉的学习和应用打下基础。

    所有例程除开头一段引用的视频外，其余全部为本人在PC和赛灵思开发板上亲手所做，直播内容涉及环境搭建、理论介绍和实操讲解。

2、讲师介绍

王伟博士

华为光通信资深研发工程师、中兴光通信SDH大项目研发经理

国家深圳轨道交通实验室技术总监、美资Oplink通讯公司研发总监、特发信息公司研发总工、美资Lumentum公司（原JDSU）高级研发经理、

中国高科技产业化研究会智能信息处理产业化分会理事

二十余年一流大企业一线研发和管理经验

近三年所带学生竞赛队伍均晋级国家级决赛

3、直播要点

   1、 机器视觉的广泛应用

    农作物成熟度检测

    行为异常检测

2、我们在FPGA上实现的类似项目

    竞赛项目车辆人物语义分割

    左下角为FPGA Ultra96开发板，开发板直连显示器，不需要连PC机，此系统为独立系统，使用的是enet模型。

    竞赛项目车辆识别与跟踪

    同样在Ultra96上实现的车辆跟踪，使用的是yolov2模型。

    FPGA用硬件实现AI算法，处理速度更快，在战场上更容易实现快人一步，在自动驾驶和飞行上反应更为及时，实现农业的科学化种植和人们的行为合规检测等等。

    3、多种FPGA VITIS和AI软件安装方式，包括最新的Window子系统Ubuntu安装方式

两种方式：传统虚拟机和新式Window子系统Ubuntu方式安装FPGA软件VITIS、Vivado、Petalinux、        Docker、VITIS AI

格式转换和播放工具ffmpeg、ffplay安装

虚拟机Ubuntu和GStreamer安装

Ultra96和KV260开发板环境安装

    4、图像基础知识入门

什么是原始图像的RGB、YUV编码？

图像是如何组成的？什么是MB、SLICE和NAL？

什么是V4l2摄像头视频采集框架？有什么用？

视频为什么要编码？图像是怎么压缩的？

什么是帧内预测和帧间预测？

常用的IDR、I、P、B帧是什么？

主流H264、H265视频压缩技术是如何实现的？

视频是怎么传输的？怎么实现超低延迟传输？

    视频播放选nv12参数时  

 视频播放选nv21参数时

5、媒体框架GStreamer管道介绍与演示

GStreamer管道与插件介绍

PC上的GStreamer应用与演示，如格式转换、屏幕录制、文件存贮

FPGA GStreamer参数与作用

FPGA GStreamer管道实现的多种功能，如AI识别、码流和识别区控制。

视频编码的重要概念和PC、FPGA管道的区别。

    蓝框ROI识别区QP值高  

    蓝框ROI识别区QP值低

4、适合对象

电子专业、信息专业、自动化专业、计算机专业大学生和研究生

电子类工程师、嵌入式软硬件工程师与FPGA从业者