直播视频回放:
直播文字整理稿:
为什么OpenCV会加上Tengine,以及加上Tengine之后会带来什么样的效果,先告诉大家结论,结论就是 : 加上Tengine之后带来超过50%的性能提升。
我们测试了EAIDK610(2*A72+4*A53)平台上OpenCV的性能对比(加上Tengine和没有加上Tengine), 单核A72上性能的提升平均值为:75%;单核A53上面性能提升的平均值为74.25%; 同时在多核上面提升的平均值为:25% ,以上测试的硬件均是EAIDK610平台,测试的网络是mobilenet1.0,queezenet1.1,resnet18,vgg16四个网络。
带来这么大性能提升的原因是因为Tengine,但是Tengine是什么?
先针对对Tengine不了解的同学简单介绍下Tengine是什么。Tengine是自主知识产权的商用级AIoT智能开发平台,而且Tengine开源和商业并行,以自主产权的Tengine为核心,构建跨硬件平台,开放兼容的AI应用开发平台,旨为加速人工智能技术在细分行业领域的高效应用落地,为产业伙伴和行业用户提供智能解决方案和技术服务赋能。
其实简述来说就是端侧推理框架。当前做AI落地的碎片化太严重了,算法的训练框架选择性太多了,TensorFlow,pytorch,mxnet,caffe等好多选择,不同的算法工程师选择还不一样,多个项目可能是多个不同格式的模型,那这个模型怎么在端侧运行推理呢? 这时候就需要用到Tengine,同时针对底层硬件的碎片问题,Tengine也能很好的处理,Tengine支持各种各样的端侧硬件,所有的arm核的CPU都支持,包括 mali系列的GPU也支持,全志,瑞芯微,高通,海思,mtk等等公司的芯片都支持,还有当前层出不穷的NPU也支持好多种,海思的NNIE,arm中国的AIPU等。
同时Tengine还有几个重要的特性,Tengine开源,在github上面可