何万青：基于特征分析的评价标准

在年初的文章中，我曾多次分析了目前高性能计算的评价体系，尤其是TOP500所采用的Linkpack，并一直期待能够出现一个或是一种更加客观、贴近用户应用的高性能计算系统性能评价方法，而在本次ChinaGrid2009学术年会上，何万青的演讲因此也就对我产生了极大的吸引。

对于TOP500所采用的Linkpack，何万青却在演讲开始时给予了肯定，这显然出乎我的意料——他表示：“专门来测试浮点性能的，能够榨取最后一点性能，验证系统进行“体验”，简单和趁手的工具进行系统性能的测试。很多系统的bug都是Linkpack找到的。”

何万青认为，Linpack还是有用的，可以做TOP500的指标，但是不适合实际应用中的系统评价

因此，“本身作为TOP500的指标是非常好的。”——这句话的意思再简单不过：对于TOP500有用的Linkpack，对于在实际中评价高性能计算系统或许是不合适的。

何万青所提出的面向对象的Benchmark，基本可以理解为“针对不同的应用，把应用特征摘取出来，进行针对性的测试。”对此，何万青举例表示，在香港天文台，采用Linkpack进行测试其应用的时候，hypertown和Nehalem是一样的，但是具体到三个特殊的针对应用的测试，Nehalem的提升是非常高的，在气象上这一点非常常见，因为气象应用往往更多是对内存敏感型的，而不是频率敏感型的——当然，这个问题我已经在此之前在文章《Nehalem：改变千万亿次计算的未来》讨论过。

言归正传，我们回到对何万青对高性能计算的评价标准上。

何万青将高性能计算的应用场景划分为四个，分别为：单一应用程序、多个同类型应用程序针对特别的应用程序、通用的高性能计算中心（HPC Center），因此，测试应该根据不同的应用场景和应用特征来设定——四类测试方法为：针对应用程序的特点来进行Benchmark测试、根据一类应用程序的共同特点来进行针对性的测试、运行就绪的系统选择正确的Benchmark子集、运行通用的HPC Benchmark获得平均的指标。

何万青的“雷达图”其实道理很简单：看明白某一个应用在哪方面最敏感，一方面可以用来进行优化，另一方面可以评价高性能计算系统的性能——当然是针对某一个或一类特定的应用。

因此，我们在何万青的四个例子上，都看到了由多种应用特性组成的“雷达图”：在一个雷达图上，各个方向上都代表了一个特性，或者说是特征，这正是让应用显示出其“特性”的地方——就此，用户可以根据这个特性来完成对高性能计算系统的针对应用特征，或者说针对实际情况的测试，而不是无论在何时何地都是用Linpack，毕竟并不是所有的，甚至不能说大多数高性能计算应用都是浮点敏感占主要地位的。

何万青的方法简述起来就是找到影响应用性能的几个重要技术指标，设计相应的性能评估模型(变动某个指标会对性能造成什么样的影响)，确定合适的测试应用和负载，而不是单纯的使用Linpack，