基准测试的误区

　　当服务器环境下的所有测试都执行完以后，用记录的数据进行基准和参数评估。

　　谨慎对待厂商提供的基准测试结果。供应商往往会为了突出自己的产品而调整行业标准的基准测试结果。这就意味着，其产品基准测试结果可能不太适合您独特的环境。例如，假设IT经理要购买应用程序以处理存储在服务器上的用户数据库。该应用程序的测试数据显示其能在 Server 2008 box上运行良好，并有快速的响应时间。尽管这看起来不错，但其未必适合您的运行环境。举例来说，供应商的应用程序是在一个单一的、增强服务器上运行测试的，而你的却是在一个共享资源的虚拟机上运行。

　　注意，供应商的目的是为了向你推销软件，因此其参数就会有一些水分。这样做的结果就是纸上的参数很高，但可能在真实环境下就会大打折扣。可能大的硬件和软件厂商不会这样做，但较小的经销商普遍都会稍微更改相关的参数。例如，硬件设备在广域网上的VPN链接能力可能有较好的交付时间，因为在基准测试时优化了该硬件。但是，安装到现场之后显示，其速度大多会降低20%—30%。

　　因此，被推荐的设备或应用程序必须要进行严格的测试、评估。不要只看重一个基准。在进行服务器基准测试时，尽可能多地测试各个元件。不要只是看重一个因素，如CPU速度等。观察服务器各个因素的运行情况以让工程师更加了解服务器在各种环境下的整体运行效果，这样有助于追踪并纠正将来业绩方面的问题。

　　注意基准服务供应商。如果你计划将基准测试和指标测试进行外包的话，一定要实现进行调查、评估。很多时候，著名的咨询公司都不遵守甚至无视最基本的科学方法。例如，小型服务器和应用程序取样规格、缺乏变量控制、有限的测试结果重复性、测试软件少以及硬件数值偏差等。当然远远还不止这些。寻找数值极限，例如，SQL服务器上运行的方式应当优于其使用的硬件。

　　含混不清的硬件规格也是一个危险信号。如果供应商只是列出了硬件——如双核处理器、4 GB RAM、512 MB显卡等——但却没有提供关于硬件的详细介绍，那么你也应当注意。考虑计算出基准测试中每个变量的微小细节。在这种情况下，处理器的类型是什么?安装的是什么类型的RAM以及显卡型号是什么?所有这些细节都会产生不同的结果。

　　需要注意的一点是，每一个环境都是独特的，并有其自己的特定需求。使用类似PerfMon工具进行基准测试是一个有无数变量的持续过程，而这些变量毫无疑问都将影响到您的测试结果数据。通过规划测试并遵循可靠的科学方法，测试工程师可以更精确地评估硬件和软件的运行情况。如果测试得当，良好的基准分析可以为提高服务器架构性能提供参考信息。