安兔兔BenchMark V4.0版本已经正式发布。相比前作进行了大量的改进,首先提出增加客户体验测试项目。或许很多人对我们的测试改进不太了解,有一些网友会问,“为什么我的手机测试分数又增加啦?是不是你们又动手脚了”。
其实对于广大用户这样的疑问也很正常,因为随着手机产品的更新频率越来越快,很多就旧有的评价体系也需要随着这样的更新进行增加和筛检。这其中涉及到很多新增的项目和减去的项目,正是这样的改变使得我们的评分有了变化。不过与时俱进的改进的评分体系,让测试成绩能够更为准确的体现产品的真实性能,是对用户负责的测试软件应有的态度。所以我们相信通过公正公开的介绍评测方式,会让更多的用户了解这其中变化的原因,从而认可安兔兔的评测理念。
V4.0大幅度改进
安兔兔在升级到V4.0版本后,评分系统做了大幅度的改进。所以在最终的测试成绩上会与之前的V3.4版本有不少的差别。我们会就安兔兔V4.0做一个评测与说明。下面会有关于我们如何取舍测试项目,和整体得分基数改变、新增功能等全方面的介绍。
全是来自ARM授权的处理器
在V4.0版本中,实验室花了大量的时间针对了多款比较热门机型进行多次测试。我们选取了ARM授权芯片厂商中,比较有代表性的手机产品作为我们评测的样机。这些样机的处理器包括了高通、三星、英伟达、英特尔、MTK以及华为海思。下面我们先看一组单机测试成绩表格:
一、参与测试机型硬件参数与得分详情
1、处理器:高通 骁龙Snapdragon APQ8064T
代表机型:小米2S
硬件参数:
得分截图
V3.4个项目得分占比
V4.0个项目得分占比
详细得分列表:
2、处理器:NVIDIA Tegra 3
代表机型:HTC One X(X720)
硬件参数:
得分截图
V3.4个项目得分占比
V4.0个项目得分占比
3、处理器:三星 Exynos 5 Octa 5410
代表机型:三星GALAXY S4
硬件参数:
得分截图
V3.4个项目得分占比
V4.0个项目得分占比
4、处理器:Intel Atom Z2580
代表机型:联想K900
硬件参数:
得分截图
V3.4个项目得分占比
V4.0个项目得分占比
5、处理器:MTK6589
代表机型:联想S820
硬件参数:
得分截图
V3.4个项目得分占比
V4.0个项目得分占比
6、处理器:海思K3V2
代表机型:华为D2
硬件参数:
得分截图
V3.4个项目得分占比
V4.0个项目得分占比
或许看完了上面的得分,有的网友会觉得头晕眼花。下面我们就把这些数字梳理出来,然后根据这些数字给大家讲解安兔兔V4.0在内在的测试方法上到底做了哪一些改动。
特别提示,某一些得分在总分总比例很高也不一定就是好事儿,比如说RAM得分比例超高,也就证明了CPU的性能不佳。或者CPU得分比例高,也就有可能是3D图形性能不佳。每一款手机都会有其偏向和侧重的方面。
二、透过数据看成长,安兔兔V4.0测试改动
增加UE体验类测试
MultiTask:多任务多线程效能测试
多线程多任务是安卓的优势
Android系统因为后台的特性,在多任务运行时会占用大量的系统资源。用户开启多个APP之后就会出现卡顿的情况,此时用户的使用感受就会下降。所以我们认为多任务处理能力是一个非常重要的指标。多核心多任务的处理效率将会直接影响到整个系统的流畅性。
所以我们推出了多线程运行的数据测试,通过随机6个线程的任务发起,来测算执行的效率。
Dalvik:虚拟机优化测试
Android系统的原生代码名为NDK,以往我们为了追求系统的极限,都只针对NDK代码进行测试。这样虽然能够反映出系统的全部性能,但是大部分的APP都是在Java虚拟机(Dalvik)下运行。
安卓虚拟机
简单一点来说,极限的性能并不代表实际的运行性能,因为各个手机内置的UI、ROM的不同使得运算的效率也不尽相同。很多用户发现,有时候即便硬件完全相同的两部手机,因为ROM的优化程度不一样,最终发挥出来的性能也不一样。如果你身边有一个刚好会刷机的朋友,它会告诉你刷XX大神的包会流畅很多很多。
ROM的优化程度很重要,所以才会有人热衷于刷机
所以单纯的堆砌硬件指标并不能够说明机器的流畅,我们希望能够给用户提供一种可以参考流畅程度的标准,所以加入了虚拟机的测试。
因为这两项是属于新的测试项目,增加进入原有的测试体系中,会对整个评分产生一定的影响,所以我们需要给所有测试项目重新分配得分比重。
通过统计上述6款各个阵营的手机产品,在UE这一项中的得分,可以看到新增的多任务测试与安卓虚拟机测试大约占到了总分的25%~30%。我们认为用户体验将会是未来测试的主要发展方向,所以未来会在更多加强这方面的量化。
1、降低CPU极限运算在总分中的比重
前面我们提到了用户体验,用户体验部分也是要依赖于CPU的多线程计算能力,所以我们认为关于CPU处理能力的峰值分数占比需要降下来。你也可以理解成我们把原来CPU的一部分比重分摊到UE体验测试里去了。
CPU的运行峰值得分占比下降
在新的V4.0版本中,参与测试的机器的分数占比在17.5%-23.9%之间,平均值约为20%。相比之前的超过40%的权重,有了大幅度的下调。其实我们设定的是25%,这其中因为机器的性能偏重达到或者超过我们设定值的。
另外AnTuTu V4.0将提供针对8核CPU的测试支持,力求将多核的性能客观的展示出来。
2、降低RAM在跑分中的比重约5%
我们认为RAM的跑分和前面的用户体验有重叠之处,大容量高速度的内存可以让CPU 的数据交换速度得到很大的提升,在内部的宽带分配与资源调配方面会有很好的效果。因此RAM的性能优势也能够提升用户的使用感受,所以我们将单纯的RAM跑分下调了约5%左右。同样也给UE分摊的一部分的比例。
以往的测试比较笼统的只用了RAM性能来说明,现在我们将RAM性能将分拆为两个单项,包括了RAM运算、RAM速度。
RAM运算,是以对数据进行计算和分析作为指标。
RAM速度,是以存储一次数据的时间作为指标。
RAM是(random access memory)随机存储器,手机里的RAM和PC上的内存条原理相同,大家都知道内存条有运行的频率与内存的带宽以及容量。CPU会将大量计算好的数据寄存到RAM之上,我们会加入固定的测试数据,用来检测RAM的运行速率,也就是“RAM运算”,你也可以理解成PC内存的频率。
而“RAM速度”的意思就比较简单了,RAM存储一次数据的时间,考量这个参数,会涉及到存储颗粒的体质,内存的带宽。
另外我们还对RAM的数据计算方式做了一些修正,现有的产品不会再出现某些机型RAM测试成绩过于夸张的情况。当然,如果作弊的话,RAM跑多少都不奇怪。
3、3D图形测试,增添新的测试场景
新版的Antutu V4.0将会提供全新的3D测试场景,而原有的2D测试方式不作改变。所以在新的测试环境中,2D绘图的得分比例都在正常的波动范围类。
挥一挥剑,说再见
随着移动设备的进步,OpenGL 1.1的测试标准也逐渐失去了参考价值,在V4.0版本中,安兔兔放弃原有的OpenGL1.1测试场景,那个大家很熟悉的挥剑的骑士军团就此别过。
4.0新测试场景改动比较大
3D绘图测试因为更改了部分测试场景,并且去掉了OpenGL 1.1测试场景,所以最终的测试机成绩会有一定的浮动。不过这个浮动因不同的处理器最终的正负值并不相同。
华为海思K3V2的得分在V4.0中有了大幅度的增加,而这其中最大的增加部分就是图形渲染。对于GPU性能部分,我们设计的比例为30%。
目前OpenGL已经出现了4.3的规范,不过手机方面倒是进展比较慢,主要是大部分手机在升级系统的速度上跟不上谷歌的推新系统的速度。所以为了最大限度的衡量各种手机,我们的测试基准还在OpenGL ES 2.0之上。
另外如果你的手机性能够强,并且是android4.3系统,能够支持OpenGL ES 3.0,那么你可以尝试一下独立的GPU测试软件AnTuTu 3DRating Benchmark V4.0,它会给你一个更加准确的GPU性能分析。关于3DRating Benchmark V4.0我们会有专门的介绍,请多关注安兔兔的消息。
5、存储I/O整合、优化算法
之前我们进行了SD卡的读写速度的测试,现在将其统称为存储I/O,并且将RAM参与部分也加入了最终的成绩。并且增大了存储I/O在总分中的占比。
增加得分比重,一方面是考虑到用户在使用设备的过程中,存储介质的速度对用户的影响比较大,所以按照体验为本的原则加大了存储I/O的得分比重。
另一方面就是大幅削减后的RAM评分也有部分分摊到了I/O运算里。可以看到原本的SD读写部分得分比重都在2%左右,现在这个部分增大到了5%左右。
我们优化了算法,可以使得SD卡、RAM的测试结果更加精确。
总结:
不管是做加法还是减法,我们的目标就是让用户快速的了解手中产品的真实性能,让用户在获取产品信息时更加容易理解看似天书一样的参数。如果你在使用V4.0时遇到了Bug或者疑问,请给我们的邮箱吐槽,我们非常渴求用户的意见与建议,希望能将安兔兔做得更好。
关于总分的疑问
细心的用户会发现,安兔兔V4.0测试版本中,高通和海思两款处理器的测试成绩大幅度攀升,为什么会增加这么多呢?
可以看到两者攀升比例比较大的得分区域都是GPU测试中的3D部分。也就是他们的GPU性能测试有了改变。
小米2S采用了高通的Adreno 320 GPU,它采用28nm LP制程工艺,频率400MHz / 450MHz,拥有200M/s多边形生成率,3200M/s像素填充率。整体性能其实和三星S4的PowerVR SGX544 MP3相差不多,新的3D场景中Adreno 320 获得了接近8000分的成绩,而三星S4是获得了6700分的成绩,原因是小米2S的屏幕分辨率为720x1080,三星则是1080x1920。超高的分辨率使得三星S4的测试成绩相比小米2S有1000分左右的差距,这是比较正常分数差距。从另一个侧面来说,针对高通的Adreno 320 GPU的图形性能测试更为准确了。
另外一个是华为的D2,D2采用了海思K3V2四核处理器,它的GPU是Vivante的GC4000,其性能为200m/s多边形生成率,2500m/s像素填充率。如果单纯的从参数来说,它的表现应该应该要比得分在15000左右的HTC one X的强一点。新一版的3D场景里针对这颗处理器做了兼容性的改进,使得其性能能够更为准确的的体现出来。所以你看到在1080x1776的分辨率下,它获得了3597分。这也就能够解释为什么它的成绩会突飞猛进。