
适用于 Android 的 Procyon® AI 推理基准测试
使用 NNAPI 对 AI 性能和质量进行基准测试
机器学习正在推动移动应用程序中令人兴奋的新功能。目前许多设备都具有专用硬件,以加速设备上推理所需的计算量大的操作。Android 神经网络 API(NNAPI)为机器学习框架提供了基础层,以访问设备中的专用 AI 处理硬件。
适用于 Android 的 Procyon AI 推理基准测试会测量使用 NNAPI 的 Android 设备的 AI 性能。基准分数反映了设备上推理操作的速度和准确性。使用适用于 Android 的 Procyon AI 推理基准测试不仅可以测量 Android 设备中专用 AI 处理硬件的性能,还能核实 NNAPI 的实施质量。
该基准测试使用一系列在设备上运行的流行的最新神经网络来执行常见的机器视觉任务。该基准通过 NNAPI 在设备的专用 AI 处理硬件上运行。基准测试还直接在 GPU 和/或 CPU 上运行每个测试以进行比较。
特点
- 基于常见的机器视觉任务,使用最先进的神经网络进行测试
- 测量推理性能和输出质量
- 对比 NNAPI, CPU 和 GPU 性能
- 核实 NNAPI 的实施与兼容性。
- 优化硬件加速器的驱动程序
- 比较浮点数优化和整数优化的模型性能
- 在设备上或通过 ADB 可轻松设置及使用。
NNAPI 性能和质量
运用适用于 Android 的 Procyon AI 推理基准测试,通过基于常用机器视觉任务的测试,可以测量专用 AI 处理硬件的性能,并核实 NNAPI 的实施质量。
为专业人士所打造
对于需要使用独立的标准化工具对 NNAPI 实施及专用移动硬件的常规 AI 性能进行评估的工程团队,我们开发了适用于 Android 的 Procyon AI 推理基准测试。
快速并且容易使用
该基准测试易于安装和运行,无需复杂的配置。在设备上或通过 ADB 运行基准测试。在应用程序中查看基准分数,图表和排名,或导出详细的结果文件以进行进一步分析。
具有行业专业知识
Procyon 基准测试专为工业、企业和新闻行业使用而设计,具有专为专业用户而开发的测试与功能。适用于 Android 的 AI 推理基准测试是通过 UL 基准测试开发计划 (BDP) 与行业合作伙伴共同设计和开发的。BDP 是 UL Solutions 制订的计划,旨在通过与计划成员的密切合作,创建相关的、公正的基准测试。
神经网络模型
MobileNet V3

MobileNet V3 是专门为移动设备所创建的紧凑型视觉识别模型。基准测试使用 MobileNet V3 识别图像的主题,将图像作为输入并输出图像内容的概率列表。该基准测试使用 MobileNet V3 的大型简约版本。
Inception V4

Inception V4 是用于图像分类任务的最新模型。专为准确性而设计,它是比 MobileNet 更广泛,更深入的模型。基准测试使用 Inception V4 来识别图像的主题,将图像作为输入并输出图像中所识别内容的概率列表。
SSDLite MobileNet V3

SSDLite 是一种对象检测模型,旨在在图像中的对象周围生成边界框。SSDLite 使用 MobileNet 进行特征提取以在移动设备上启用实时对象检测。在基准测试中,SSDLite 的浮点数版本使用了小巧简约的 MobileNet V3 变体。整数版本使用 MobileNet V3 的 EdgeTPU 变体。
DeepLab V3

DeepLab 是一种图像分割模型,旨在对属于同一对象类的图像像素进行聚类。语义图像分割用一类对象标记图像的每个区域。该基准测试使用 MobileNet V2 进行特征提取,与大型模型相比,可在质量上几乎没有差异的情况下进行快速推断。
自定义 CNN
该基准测试包括一个基于 AlexNet 架构的自定义卷积神经网络(CNN)。它被设计用来测试基本 CNN 操作的性能,并在随机生成的训练数据上进行训练。它包含两个卷积层,紧接的是最大池化 (Max Pooling) 层和丢弃(Dropout) 层,以及一个全连接 (fully connected) 层。
整数和浮点模型
基准测试包括每个模型的浮点数和整数优化版本。每个模型依次在设备中所有兼容的硬件上运行。借助 NNAPI,基准测试将使用设备的专用AI 处理硬件(如果支持)。浮动模型使用 NNAPI 或直接在 CPU 或 GPU 上运行。整数模型使用 NNAPI 或直接在 CPU 上运行。
结果与见解
基准测试
分数

测试设备和处理器,并使用整数和浮点模型比较性能和质量。
性能
图表

每个模型的图表显示了使用 NNAPI 和任何其他可用处理器的推理时间。
硬件
监测

查看基准测试运行期间温度,电池电量和存储器使用情况如何变化。
型号
输出

检查每个模型的输出,以确保加速器返回正确的结果。
设备
排名

在应用内性能排名列表上查看您的设备与其他型号的比较情况。
最低系统要求
操作系统 | 安卓 10 |
---|---|
存储空间 | 400 MB 可用空间 |
语言
- 英语