海思hi3516dv300芯片AI图像模块学习(九)海思SDK学习—IVE部分源码
IVE(Intelligent Video Engine)是上海海思媒体处理芯片智能分析系统中的硬件加速 模块。用户基于 IVE 开发智能分析方案可以加速智能分析,降低 CPU 占用。当前 IVE 提供的算子可以支撑开发视频诊断、周界防范等智能分析方案。IVE相当于协处理器。


海思IVE模块将图像处理中常见的算子硬件化,形成一个图像协处理器。CPU和IVE之间是不断调用的关系。

案例:SAMPLE_IVE_Kcf ,调用ive实现:
KCF目标跟踪算法:
总体流程:vi采集,vpss预处理,送到NNIE和IVE算法计算,再到vo输出显示
1.配参数

2.配置vio,但是最后不将vo与vpss绑定






3.初始化kcf,调用NNIE标注初始图片

加载RCFN模型

加载模型参数

1.从vpss模块取帧,vi采集在vpss缩放等前处理后再下一步算法网络
2.调用NNIE的rcfn模型,forward拿到了一个初始的目标检测框
3.拿到初始化带框的第一帧后开始KCF流程

1.从vpss模块取帧,vi采集在vpss缩放等前处理后再下一步算法网络



2.调用NNIE的rcfn模型,forward拿到了一个初始的目标检测框


3.拿到初始化带框的第一帧后开始KCF流程



ive的比较复杂,讲得很简单