欢迎光临散文网 会员登陆 & 注册

Intel Developer Cloud 之 Telemetry 数据分析 (二) | 开发者实战

2023-07-14 16:08 作者:oneAPI技术汇  | 我要投稿

01

Telemetry 介绍

在上一篇文章中介绍了 Intel® Developer Cloud Telemetry 的概念和功能,通过该功能的数据分析,可以更好地优化产品方案。有关 Telemetry 的工作原理和集成方法,我将在这篇文章里细细解释。耐心看下去,相信您肯定可以在自己应用中开启这个功能。

 

 

02

Telemetry 收集流程

 

图 1-2 Telemetry收集数据流程

 

 

概括来说,对自定义 AI 模型上运行模型优化,由 OpenVINO™ 工具套件进行推理,完成对 AI 模型的推理后,您就可以获得计算节点上可用的遥测指标。具体步骤如下:

 

1、导入所有自定义模型文件(tensorflow、kaldi、onnx 等)

 

2、使用模型优化器以必要的精度创建模型中间表示(IR)文件

 

3、创建用于在计算节点上提交运行推理的作业文件(.sh)

 

4、使用 Application Metrics Writer 启用遥测

 

5、为不同的计算节点提交作业并监控作业状态直到完成(提交作业会调用 bash 和自定义 python 文件)
 

6、在遥测仪表板上显示模型指标

 

注意:流程里不止包含 Telemetry 。而是 AI 应用在 DevCloud 上运行的流程,以便您可以了解 Telemetry 功能在应用里的位置。

 

参考:

https://www.embedded.com/enabling-telemetry-for-custom-models-in-intel-devcloud-for-the-edge/ 

 

03

Telemetry 集成

 

这次依然选择 object-detection-python 实例来介绍集成方法,应用程序的 python 代码中调用了 applicationMetricWriter 模块向 Telemetry 传递数据指标如,帧率、推理时间、模型名称、推理硬件信息,下面通过具体代码来展示详细信息。

 

Step.1

登录 Jupyter Lab

登录 Intel® Developer Cloud 主页后,点击“Bare Metal Deployment” 的 “Get Started” 按钮,进入 Jupyter Lab 开发环境。在左侧目录导航栏选择这个路径:

Reference-samples/iot-devcloud/openvino-dev-latest/developer-samples/python/

然后找到 object-detection-python 应用。

 

Step.2

程序源码分析

直接打开 object_detection.py ,可以看到在文件开头部分导入了 applicationMetricWriter 模块。我们可以在 Jupyter notebook 里直接查看它的函数。方法如下:

 

 

可以看到它只有两个函数,使用起来非常的简单,我们来逐一介绍一下这两个函数。send_inference_time() 用来向 Telemetry  数据发送每一帧推送所消耗的时间,唯一要注意的是每一帧哦。这就要求你能区分每一帧推理的时间。如果你选择 async 模式,就需要考虑是不是适用了。  send_application_metrics 主要传递的是模型的名字和推理设备的名字,以便于你能更好地标记这个任务。

 

看到这里,估计你的想法与我刚开始的一样,怎么没有看到上传 CPU, GPU, Thermal 等数据上传呢?其实是因为这些数据都是通用的,这块就没有必要放在用户侧来每次都重复写一遍,在后端直接默认做了。从这里我们可以看到,最重要的数据还是推理时间的上传。

 

现在这两个函数在程序里的调用时机,这里我注释了没有必要的代码,以方便观察。

 

 

step.3

Telemetry 数据访问

等应用程序在边缘节点运行结束,我们就可以去查看 Telemetry 的数据了。数据的连接您可以参考这个object-detection-python 里的方法,直接点击下图中框① Telemetry 按键获取连接方式。

 

 

当然您也可以自己手动生成这样一个连接,注意上图中框②处的 ID 号。使用 Telemetry 服务器地址拼接该 ID 号,即可访问该数据。

https://devcloud.intel.com/edge/metrics/d/ + ID

比如:https://devcloud.intel.com/edge/metrics/d/573403

 

访问该路径即可获取 Telemetry 的数据了。

 

 

04

总结

看到这相信您一定理解了 Intel® Developer Cloud Telemetry 的集成方法了,它并没有我们想象的那么复杂。我这里总结出来,只是为了方便刚开始接触这块的您更快上手,不用花费太多精力就可以更快的把事情搞定。如果您在使用过程中有碰到问题,期待一起交流。

 

 

互动有礼

 

Hi 各位英特尔物联网的新老粉丝

感谢关注与支持!

我们准备了互动活动 + 丰厚礼品

速速扫描下方二维码来参加吧!

 

如欲了解更多OpenVINO™ 开发资料,

请扫描下方二维码,

我们会把最新资料及时推送给您。

 


Intel Developer Cloud 之 Telemetry 数据分析 (二) | 开发者实战的评论 (共 条)

分享到微博请遵守国家法律