【IT168 案例】从2005年开始，Google的数据中心就已经开始采用标准的集装箱设计，当时Goolge用45个集装箱搭建了一个奇怪的设施，有些就放在龙门吊架的二层上，谁也想不到它是一个数据中心，这种设计在当时非常罕见。

　　数据中心模块化最近较为热门，其中较为典型的一种模块化实现方式就是采用集装箱数据中心，国内在这方面的推广也有一段时间了，但实际应用却又不多，那么集装箱是否适合中国，业界又是如何来打造的?针对这些问题笔者从一个google的集装箱数据中心专利(其实该专利在2009年已经公开，网络上也有不少相关图片)，以及网络上相关Google的集装箱数据中心的视频，做一些最粗浅的分析以飨读者，并与同行们共勉。

　　google集装箱数据中心原理介绍

　　从2005年开始，Google的数据中心就已经开始采用标准的集装箱设计，当时Goolge用45个集装箱搭建了一个奇怪的设施，有些就放在龙门吊架的二层上，谁也想不到它是一个数据中心，这种设计在当时非常罕见。Google的集装箱每个可以容纳1160台服务器，具有250KW的功率，每平方英尺可以具有超过780W的功率密度。

　　每个40英尺集装箱中布置了两排机柜，两排面对面的机柜中间作为冷通道，由地板下安装的多个空调盘管及风扇提供冷量，整个集装箱对外的接口只有空调冷冻水接口、标号149对应的供电接口以及对应的网络和管理接口构成。在集装箱的左侧，打开主入口门，门口左边是标号为107的综合配线架，右边是电力配电柜，从上图可以看到弱电网线走在服务器机柜底下，强电配电线缆走在服务器机柜顶部，两侧有两路空调冷冻水管路布置在集装箱的最底部，通过空调盘管和离心风机来散热。考虑运输和吊装等需求，在集装性的底部位置或者顶部等位置还预留了叉车和吊装的接口。

　　集装箱数据中心，可以被用来向诸如数据中心的整体并行计算系统添加计算能力。在一些实施方式中，不同的集装箱数据中心可以提供替代量的处理能力或存储能力(例 如，2000个微处理器和50兆兆字节的存储)，即不同的模块可以是基本上可互换的。在一些实施方式中，不同的模块可以提供处理能力对存储能力的不同比率，并且目标应用可以确定适当的比率。例如存储密集型的应用可以要求具有大量的存储设备的模块，而该应用可能不需要大量的处理器;被设计为离线模拟大型网络的“实验室网络”应用可以要求具有大量处理器的模块，而该应用可能不需要大量的存储设备。

　　一个集装箱内有多个空调盘管单元，每个单元大概覆盖三个IT机柜左右，当然实际每个空调覆盖的机柜数量会随着IT设备的类型灵活调整，比如存储类的设备功耗较低，则可以少建设几个盘管或者多摆几个机柜等，这些可以在工厂阶段根据需要灵活配置。

　　google集装箱数据中心制冷介绍

　　数据中心模块化最近较为热门，笔者从一个google的集装箱数据中心专利(其实该专利在2009年已经公开，网络上也有不少相关图片)，以及网络上相关Google的集装箱数据中心的视频，第一部分介绍了谷歌数据中心原理。下面看看制冷。

　　其气流组织，由机柜底部送出的冷量在中间的冷池内被两侧的服务器吸入，经由服务器的风扇吹到服务器尾侧的热通道内，再经地板下的空调盘管制冷后由离心风机吹回冷通道内，形成整个气流循环，气流组织非常短，风机能耗及冷量传递损失都很少，效率很高。

　　标准集装箱的宽度只有2.35米，考虑两排机柜并列，还需要冷通道维护空间及两侧热通道回风需要，这里可以推断出google的服务器深度实际是很短的，初步估计含机柜不超过700mm.这种短宽深度的设计也非常适合于服务器散热，较为容易实现高温服务器的目标，据google的介绍，其冷通道送风温度高达27度甚至更高，因此提升冷通道送风温度的节能效果非常明显。

　　A字型空调盘管，供水管和回水管通过快接软管连到该空调盘管上，降温后的冷空气由导风槽及离心风机甩到架空地板上的冷通道内，集装箱内的热量由空调冷冻水带到集装箱外。每个空调盘管对应三个风扇，冷却风扇速度可变，并可以精确管理，保证风扇在能够冷却机架的前提下运行在最低速度。

　　Google集装箱数据中心的设计着重于“电源在上，水在下”，机架从集装箱的天花板悬挂下来，冷却设备在机架下面，让冷空气通过机架。上图是服务器尾部的电源线连接，下图是服务器前部的网络连接，但实际根据google公布的集装箱数据中心视频，服务器的供电和网络接口都建设在冷通道一侧，实现完全的前维护或者冷通道维护，因为服务器后面热通道的宽度实在有限，难以进人维护，以及热通道的温度高达40多度，也不适合运维人员高温操作。

　　据google自己公布，其IDC的PUE值从2008年第三季度的1.21下降到2008年第四季度的1.16.PUE 数据中心没有能源损耗，而根据2006年的统计，一般公司数据中心的能效比为 2.0 或更高。Google 的 1.16 已经低于美国能源部2011年的 的目标。

　　google集装箱数据中心供配电介绍

　　相比大多数企业都从戴尔、惠普、IBM或Sun购买服务器系统，google的服务器系统却是自己设计的。它在每台服务器都配有12V的备用电池(3.2Ah，备电时间很短只有几分钟)，而不采用大型的不间断电源(UPS)作为备用电源。通常市电直供比UPS更有效率，大型UPS的有效率为92%至95%，而市电直供的效率为99.9%.Google服务器厚3.5英寸(2个机架单位)，有两个处理器，两块硬盘，八个内存条，主板由技嘉制造，采用来自英特尔和AMD的x86处理器。Googl e甚至还在自己的网络设备中采用了这种电池设计。通过这些设计，可以避免采用传统低效率的UPS方案，达到了99.9%的供电效率的。

　　市电正常的时候由市电直接给服务器供电，实现99.9%的供电效率，同时让电池充满电;当市电闪断或者停电的时候，则由主板上的12V电池过渡放电一两分钟，保持设备不掉电，直至柴油发电器启动继续提供市电输入。原理较为简单，但实现起来却难度较大。

　　由供给以电压VI提供电力。在一些实施案例中，该电力由公用设施公司以大约13千伏的电压VI供应。供给由电力转换设备转换为电压V2.在一些实施方式中，电力转换设备是变压器，并且电压V2是大约480 VAC，并提供有3相。在一些实施方式中，在电压V2的电力可以被配送给各种模块化计算环境和.可以由电路保护设备(例如，电路断 路器、保险丝、电涌抑制器等)提供对在电压V2的电力的电流保护。在一些实施方式中，每一个集装箱数据中心或包括分相器，其将三个相中的每一个分离为具有电压V3的单相引线。 在一些实施方式中，电压V3是单相208 VAC.在电压V3的三个单相 引线可以作为各种电路被配送到在集装箱数据中心内的负荷。例如，网络交换设备可以具有专用电路。一个风扇或多个风扇可以具有专用电路(在一些实施方式中，为可靠起见相邻的风扇可以由不同的电路供给)。灯可以具有专用电 路。处理板的组可以具有专用电路(例如，机架中的一列处理器板，或者机架的另一部分可以具有专用电路)。其它设备也可以具有专用电路(例如，灯光、火焰 /烟雾检测设备和灭火系统)。如所示出，在电压V3的每一个电路可 以具有过电流设备(例如，电路断路器、保险丝、电涌抑制器等)。 在一些实施方式中，每一个处理器板包括服务器板载电源，其将具有电压V3的电力转换为适合在对应的处理器板上的组件的一个或多个电压。

　　考虑了其它实施方式。例如，在设施层级，可以提供诸如备用或补充发电机的额外的电源。在一些实施方式中也可以在整个设施中使用单相电力，也可以使用不同于上述电压的电压。

　　google集装箱数据中心建设布局介绍

　　如上所述集装箱数据中心具有多个益处。例如，可以以较大颗粒度的集装箱基本单元来建设，实现大型数据中心的快速安装。数据中心的较多部分可以在工厂预先建设并且到现场快速部署;具体地，集装箱和配套的基础设施可以被并行地建构，而不是传统模式下的顺次开展。数据中心的关键部分可以是可移动的，并且可以容易地从一个地点运送到另一个地点。

　　可以清楚看到整个数据中心园区布局非常清晰，上部是冷水机组(google数据中心多采用高效的水系统来散热)和冷却塔等，左侧是两组中低压配电及柴油发电机组给两排集装箱阵列分别供电，供电路经最短。中间就是集装箱数据中心的“轮船码头”——集装箱泊位，如果把每个集装箱当成轮船的话。泊位提供两排集装箱的供电、供水及网络，同时还兼做运营人员的检修维护通道，两侧粉红色区域为物流进出和应急通道，布局非常合理。

　　这里引入泊位的概念，类似于船舶码头，做好基础的供电、网络和冷冻水补给等，给多个靠岸的集装箱数据中心提供源源不断的能源和信息通道。实际建设的时候集装箱部分可以在工厂标准化按需预配制，与此同时，泊位的搭建工作可以同步开展，甚至标准化的泊位也可以在工厂预制，比如模块化的变配电集装箱、模块化的柴发集装箱、模块化的空调散热单元等，这些可以提前下单采购，并在工厂同步开展建设，在现场快速模块化拼装，达到快速建设的目的。

　　从下图我们可以看到集装箱数据中心沿着数据中心泊位两排排列。泊位可以将电力、网络和冷冻水导引至每一个集装箱数据中心.实际建设时候冷冻水的供水主管路就从冷站通过地板下输送到每个集装箱内的支管的;从变压器降压后的每个集装箱供电线缆也从变配电站过来，通过913的地板下线槽连接到每个集装箱;同样的从每个集装箱出来的上联网络也会汇聚到专门的园区网络核心集装箱中，再上联到其他数据中心。

　　电力设施可以以高压电力(比如13千伏)的形式经由公用设施线缆将电力提供给模块化数据中心.设施层级的变压器(例如，到480VAC，三相)可以将进入电力的电压降低，并且在设施层级配电盒处配送并导引至泊位内的各种集装箱数据中心。在一些实施方式中，可以提供其它公用设施备用或补充电力。例如，柴油备用发电机可以与模块化数据中心同处一地;如果公用设施电力受损，柴油备用发电机可以向模块化数据中心提供临时电力。

　　另外一种以多个集装箱数据中心构建，并具有叠置配置的另一个示例模块化数据中心的透视图。除了配置，模块化数据中心非常类似于模块化数据中心：它包括设施层级的冷却设施，设施层级的电源;设施层级的通信设施;以及模块化计算环境.垂直泊位可以将公用设施导引至模块化计算环境，并且设施层级的冷却设施可以被设置在泊位上面。可以提供设施层级的电力转换设备和配电设备。

　　集装箱数据中心内集装箱模块，结合了前面提到的两种建设模式，既有同层的多模块铺开摆放方式，又有上下两层的堆叠模式，通过龙门吊等方式吊装，有效充分利用了建筑空间并保持了搬迁输运的便捷性。

　　作为一个额外的示例，数据中心可以被设置在船上;可以由船上的船用发电机提供电力，并且冷却设施可以由舱外海水或者油轮上储存的热油来散热，后者就是google油轮数据中心的概念，当然这个方案实际最终被证实那只是个愚人节的玩笑。

　　从前面的分析和实际google的建设布局来看，采用集装箱数据中心对建筑结构和运输通道提出较高的要求，比如需要占地面积较大的大开间低层建筑结构，需要承重很高的龙门吊或者专用吊车等设备来吊装或者输送，如考虑搬迁还需要预留较宽的进出通道和空间等，对于国内城市主流的多层建筑显然不太合适。此外，就集装箱本身而言，如果采用40英尺的大集装箱，建设和部署的颗粒度有些偏大不够灵活，如果采用20英尺的短箱，箱内物理空间又有一定受限，特别是2.35米的宽度对于普通的标准服务器机柜而言空间利用率更是严重不足，只能摆放一排机柜或者采用多个小室结构，只有类似google这种两排定制的短服务器可以实现较高的空间利用率，但也还存在维护空间不足等问题。 当然集装箱数据中心仍有非常多的优点，并且在一定的行业或者特殊领域内有非常好的应用和案例，未来集装箱数据中心仍有较好的发展。

　　前面只是对google集装箱数据中心的一些简要介绍，而且集装箱技术大约是google在2005年左右的技术，考虑到集装箱的一些限制和不足，后来google就不再采用此技术了，转而进化到采用室内型微模块数据中心的阶段，这些可以从前些日子google发布的一些室内微模块图片，以及下图google数据中新7年的发展历史中我们可以发现一些端倪。后续笔者会继续就google的这些室内型微模块技术做些粗浅分析，和同行们共同探讨研究，并希望通过对google这个业界的标杆学习，促进国内数据中心行业的发展。