UL Procyon AI 推断基准测试

使用 NNAPI 对 AI 性能和质量进行基准测试

机器学习正在推动移动应用程序中令人兴奋的新功能。目前许多设备都具有专用硬件,以加速设备上推理所需的计算量大的操作。Android 神经网络 API(NNAPI)为机器学习框架提供了基础层,以访问设备中的专用 AI 处理硬件。

UL Procyon AI 推理基准测试使用 NNAPI 测量 Android 设备的 AI 性能。基准分数反映了设备上推理操作的速度和准确性。借助 Procyon AI 推理基准,您不仅可以衡量 Android 设备中专用 AI 处理硬件的性能,还可以验证 NNAPI 的实施质量。

该基准测试使用一系列在设备上运行的流行的最新神经网络来执行常见的机器视觉任务。该基准通过 NNAPI 在设备的专用 AI 处理硬件上运行。基准测试还直接在 GPU 和/或 CPU 上运行每个测试以进行比较。

立即购买

特点

  • 测试并比较 Android 设备的推理性能
  • 基于常见的机器视觉任务,使用最先进的神经网络进行测试
  • 测量推理性能和输出质量
  • 对比 NNAPI, CPU 和 GPU 性能
  • 验证 NNAPI 的实施和兼容性
  • 优化硬件加速器的驱动程序
  • 比较浮点数优化和整数优化的模型性能
  • 易于在设备上或通过ADB设置和使用

NNAPI 性能和质量

借助 UL Procyon AI 推理基准,您可以测量专用 AI 处理硬件的性能,并通过基于常见机器视觉任务的测试来验证 NNAPI 实施质量。

为专业人士所打造

我们为那些需要独立,标准化工具来评估 NNAPI 实施和专用移动硬件的一般 AI 性能的工程团队创建了 UL Procyon AI 推理基准。

快速并且容易使用

该基准易于安装和运行,无需复杂的配置。在设备上或通过 ADB 运行基准测试。在应用程序中查看基准分数,图表和排名,或导出详细的结果文件以进行进一步分析。

具有行业专业知识


UL Procyon 基准测试针对行业,企业和媒体使用而设计,具有专为专业用户所创建的测试和功能。AI 推理基准是通过 UL 基准测试开发计划(BDP)与行业合作伙伴设计和开发的。BDP 是一项 由 UL 倡导,旨在通过与计划成员紧密合作来创建相关且公正的基准测试的开发计划。

神经网络模型


MobileNet V3

MobileNet V3 是专门为移动设备所创建的紧凑型视觉识别模型。基准测试使用 MobileNet V3 识别图像的主题,将图像作为输入并输出图像内容的概率列表。该基准测试使用 MobileNet V3 的大型简约版本。

Inception V4

Inception V4 是用于图像分类任务的最新模型。专为准确性而设计,它是比 MobileNet 更广泛,更深入的模型。基准测试使用 Inception V4 来识别图像的主题,将图像作为输入并输出图像中所识别内容的概率列表。

SSDLite MobileNet V3

SSDLite 是一种对象检测模型,旨在在图像中的对象周围生成边界框。SSDLite 使用 MobileNet 进行特征提取以在移动设备上启用实时对象检测。在基准测试中,SSDLite 的浮点数版本使用了小巧简约的 MobileNet V3 变体。整数版本使用 MobileNet V3 的 EdgeTPU 变体。

DeepLab V3

DeepLab 是一种图像分割模型,旨在对属于同一对象类的图像像素进行聚类。语义图像分割用一类对象标记图像的每个区域。该基准测试使用 MobileNet V2 进行特征提取,与大型模型相比,可在质量上几乎没有差异的情况下进行快速推断。

自定义 CNN

该基准测试包括一个基于 AlexNet 架构的自定义卷积神经网络(CNN)。它被设计用来测试基本 CNN 操作的性能,并在随机生成的训练数据上进行训练。它包含两个卷积层,紧接的是最大池化 (Max Pooling) 层和丢弃(Dropout) 层,以及一个全连接 (fully connected) 层。     

整数和浮点模型

基准测试包括每个模型的浮点数和整数优化版本。每个模型依次在设备中所有兼容的硬件上运行。借助 NNAPI,基准测试将使用设备的专用AI 处理硬件(如果支持)。浮动模型使用 NNAPI 或直接在 CPU 或 GPU 上运行。整数模型使用 NNAPI 或直接在 CPU 上运行。

结果与见解


基准测试
分数

UL Procyon AI 推理基准结果屏幕显示基准分数

测试设备和处理器,并使用整数和浮点模型比较性能和质量。

性能
图表

UL Procyon AI 推理基准测试结果图示,带有显示神经网络性能的图表。

每个模型的图表显示了使用 NNAPI 和任何其他可用处理器的推理时间。

硬件
监测

UL Procyon AI 推理基准测试结果显示了硬件监控图

查看基准测试运行期间温度,电池电量和存储器使用情况如何变化。

型号
输出

UL Procyon AI Inference Benchmark result screen showing model outputs

检查每个模型的输出,以确保加速器返回正确的结果。

设备
排名

UL Procyon AI Inference Benchmark result screen showing Android devices in a ranked list

在应用内性能排名列表上查看您的设备与其他型号的比较情况。

UL Procyon AI 推理基准测试 横幅

站点许可证

寻求报价 新闻许可证

最低价格为每年 $1495


  • UL Procyon AI 推理基准的年度站点许可证
  • 无限数量的用户
  • 无限数量的设备
  • 优先的邮件和电话支持

基准测试开发计划

联系我们 了解更多

联系我们


基准测试开发计划™ 是 UL 制定的一项旨在与科技公司建立合作关系的举措。

诚邀 OEM,ODM,组件制造商及其供应商加入我们,共同开发新的 AI 处理基准测试。联络我们了解更多细节

最低系统要求

操作系统 安卓 10
存储空间 400 MB 可用空间

支持

最新版本 1.0.48 | 2020 年 9 月 21 日

语言

  • 英语
UL 和 UL 商标是 UL LLC 的商标 © 2020 保留所有权利。  |   隐私政策  |  Cookie 政策  |  使用条款

Powered by