TEL:
数据中心液体冷却技术的“机架经济学”
| 发布时间: 2019-12-16 10:42:26 | 1473 次浏览
数据中心液体冷却技术的“机架经济学”
在过去的几年中,许多数据中都使用了某种形式的液体冷却技术。 
此外,芯片制造商开始设计功能更强大的核心处理器。随着这些处理器的功能越来越强大,难以使用空气冷却技术进行有效的冷却,而液体冷却技术也成为更好的选择。  
在不同的领域,人们的意识和由于各种应用和动机,对液体冷却技术的兴趣已大大增加。 
五十年前,液冷技术首先在早期的大型机中使用,但现在又与新的超级计算机和高性能计算HPC系统合并。 
尽管如此,IT设备中使用的空气冷却技术仍然主导着大多数传统的数据中心冷却。 
但是,推动冷却技术在企业和主机市场中采用的主要因素是功能,性能和成本效益。  
人们可以从以下几个方面来考察成本效益。不同的角度,包括资本支出,运营支出和投资回报率。 
此外,这些因素对数据中心设施和IT设备的影响是不同的。 
此时,尽管当前数据中心设施的物理空间和功率容量发生了变化,但风冷IT设备与数据中心的设计和建造的组合已经变得相对成熟。 
相对于数据中心设施,IT设备指标着重于机架数量和机架的功率密度。 
对于最终确定给定数量的IT设备电源负载需要多少空间和功率以分配每个机架的IT设备数量和大小,这最终成为一项经济决策。  
 For例如,在一个大型数据中心中,每个机架的平均功率为5kW,并部署了200个机架,每个机架中部署了数十个IT设备和PDU。 
如果将设备部署在托管数据中心中,则用户只需支付IT设备所需的空间和用电量。显然,如果每个机架的功率为10kW,则机架数量和空间可以减少50%,但总功率相同。 
此比率显然被过分简化,并且还有许多其他因素(例如网络电缆和设备以及存储系统和服务器/刀片服务器的功率密度的类型)可能会影响该比率降低的准确性。  
尽管毫无疑问,IT设备的平均功率密度要求已经提高以满足性能要求,但从理论上讲,这应该需要较小的空间和每兆瓦的关键负载所需的机架数。 
实际上,这种机架功率密度比会影响数据中心设施以及IT设备所有者/用户的资本支出和运营支出,这就是所谓的机架经济性的原因。这就是Blade Network Technologies 
在2008年提出的概念。  
 9   
实际上,许多较旧的数据中心设施已在内部部署数据中心或托管数据中心,其中每个机架的功率有效地限制在5kW左右,但是较新的数据中心设施设计为每个机架10到20 kW 
。  
这仍不能确保完全实现较高功率/空间比的最大好处。 
此比率假设所有机架实际上都在接近或以最高功率水平加载,而在混合IT设备环境中通常不是这种情况。 
在许多典型的企业解决方案中,每个机架的最大功率与最小功率之比为5:1到10:1,每个机架的最大功率与平均功率之比可以为3:1至5:1 
。 
这些比率会影响机架的经济性。  
即使在使用数千个1U服务器或刀片服务器的超大型数据中心环境中,它们的平均功率密度也很少会达到或超过每个机架10kW至15kW。 
这在一定程度上受到风扇功率和冷却成本的限制。随着功率密度增加以冷却系统和内部IT设备风扇,这些成本往往会显着增加。 
尽管大型数据中心运营商托管数据中心和Internet云计算服务以构建大型数据中心设施,但与电力和散热基础设施的成本相比,大型建筑外壳的成本在以下领域所占的比例相对较低资本支出。  
液体冷却解决方案专注于功率密度更高的应用,例如每个机架25 kW,50 kW和100 kW。 
可以部署在空气冷却设施中,影响很小或没有影响。 
例如,每机架50kW,仅需要20个液冷IT设备机架即可提供1MW的功率。 
在许多情况下,液冷IT设备不需要机械冷却和冷却水。 
这样可以节省冷水机组的资本支出和运营成本,同时减少80个机架,PDU和相关设备的成本。  
出现的问题之一是用于行内,后门或封闭机柜中的液体冷却系统的标准风冷IT系统的成本比传统的数据中心空气冷却系统昂贵。 
尽管这在一定程度上是正确的,但管道的成本与将其改装到运行数据中心的现有冷却系统有关。 
实际上,液冷IT设备目前比其风冷设备贵。 
但是,其价格受多种因素驱动。 
首先是数量,尤其是部署大功率,小容量水冷服务器的成本,该服务器通常每1U的功率密度为1到2 kW。  
在这里,基于CPU和基于内存的液冷散热器的液冷服务器开始改变机架的经济性。 
像Lenovo这样的主要OEM厂商已经提供了更多采用液冷的HPC服务器和刀片服务器产品。 
这些机架式服务器的机架可运行50至60 kW。 
尽管目前由于部分低销量而没有直接的成本竞争优势,但机架经济性的比例开始变得越来越明显。 
冷却运营成本OpEx也可以发挥作用,因为它们可以按照ASHRAE W4标准使用温水进行运营。  
另一方面,开放计算项目OCP组织在2018年7月推出了先进的冷却解决方案
ACS子项目着重于如何使用液体冷却来提高冷却性能和能源效率并降低硬件成本。  
今年7月,Cerebras Systems推出了WSE处理器,该处理器是晶圆级引擎,该公司有史以来生产的最大的商用芯片,用于解决深度学习计算问题。晶圆级引擎WSE在215 x 215 mm芯片上封装1.2万亿个晶体管,并通过100 Pbit / s互连连接400,000个经过人工智能优化的内核。 
晶圆级引擎WSE的最大功率为15kW,因此需要液体冷却技术。    ##事实上,这很难匹配机架和堆栈相对方便,并为大多数风冷IT设备提供服务。 
此外,人们已经看到了风冷IT设备的冷却系统以及IT设备本身的巨大改进。 
但是,这种简单性不会突然发生。 
数据中心的布局和机柜已从前到下的气流,固态前端IT机柜从大型机时代发展到如今的热通道/冷通道布局,这已经花费了很多年。 
事实上,即使到1990年代末,通用IT设备机柜也很少。  
液体冷却系统以多种形式出现,并且仍在不断发展,并具有许多技术优势。 
但是,由于供应商之间尺寸无法互换等问题,这也阻碍了某些用户的购买和使用,并且可能无法迅速接受更改。 
当互联网巨头在十多年前首次开始使用自然冷却技术时,传统的企业数据中心用户根本不在乎。  
传统的数据中心要花费超过数年的时间才能超越ASHRAE \\ u0027是2004年的第一本热指南,它定义了初始建议的环境温度范围为68°F到77°F。
 2011年,ASHRAE发布了第三版热指南,其中包含直接在空气中自然冷却的信息。 
它还引入了允许的环境范围类别A1-A4,IT设备的进气温度最高为113°F。
自2006年以来,很少有人知道ASHRAE \\ u0027的液体冷却指南。  
今年,ASHRAE发布了一份白皮书,名为《水冷服务器-通用设计,组件和流程》。 
目前,包括ASHRAE,Green Grid开放计算项目OPC,Open 19和美国能源部DOE在内的多个组织正在共同努力,为液体冷却创建框架,指南和规范,包括IT设备的外形尺寸和机架
冷却设备,例如尺寸,管道,快速断开的非滴水配件,冷却液分配歧管等。  
为了应对气候变化,数据中心行业和IT设备制造商都提供了在整体能源效率方面进行了许多改进。 
 Nautilus \\ u0027浮动数据中心和Microsoft \\ u0027的水下数据中心,例如Natick项目
冷却以提高其冷却效率。 
与传统的基于压缩机的机械冷却相比,排入水中的废热更加节能。 
但是,即使PUE为1.0x,其热量也会散发到外部环境,因此水下数据中心仍无法真正缓解气候变化。  
尽管有一些努力由于已经在能源回收中取得成功,因此有效地回收IT设备的废热非常困难或昂贵。 
使用液体冷却技术的好处之一是ASHRAE W4不会超过113°F,W5会高于113°F。IT设备可以在140°F至150°F的温度下输送绝缘流体。这些流体的温度范围
为大部分能量回收提供了更具成本效益的机会。  
随着我们进入下一个十年,大规模的建设和运营千兆瓦级公园中的数据中心已成为新常态,它正在引领提高能源效率和利用可持续能源的道路。 
相信液体冷却技术应用的不断发展和扩展将由这些超大规模数据中心运营商领导,而不仅仅是机架经济。