前言

目前國內和業界大多數書籍和文獻對數據中心基礎設施（機電Facility）講解大多都是較為傳統套路，其內容邏輯脈絡也類似，主要圍繞以下幾個方面逐步展開：

• 數據中心的發展歷程/趨勢；

• 數據中心KPI，例如經濟性，可用性，能效等；

• 數據中心一些設計規范和規劃原則，包括國際標準和國內標準，數據中心分級等；

• 基于數據中心的幾個大系統進行細項講解，例如電力系統，暖通系統，監控系統等。而電力系統里面又分為發電機、中壓配電、低壓配電、UPS和電池系統、接地防雷、照明等；

較好一點的書籍，會在講解系統設計和概念時，探討一些系統設計的演變和理念。這些書籍有不少是廠商資料、規范的堆砌，富有行業真知灼見的并不多。即使談及一些技術發展趨勢，也更多關注于技術優劣而非技術應用對商業價值實現。在此，筆者提出幾個問題，讀者可以借此回顧自身項目和工作經驗并加以思考：

• 為什么要用這種系統設計和產品設計，而非其他？

• 每個不同設計和技術背后的目的是什么，解決什么問題，達成什么商業目標？

• 國外數據中心到底有什么商業模式和目標，哪些設計和技術能很好滿足這些要求？

筆者查閱很多國內書籍，多數關注講解技術細節，缺乏談及設計背后的邏輯思想和商業價值。也就是講解技術的同時，并沒有把商業市場和技術應用結合的關鍵點闡述清楚。正是這個原因，筆者想通過商業模式和價值結合技術應用此文講述模塊化數據中心技術，希望提供一個更融合的新視角給讀者。本文主要講述幾個大方面：

• 國內外數據中心IDC的商業模式有哪些？

• 國外技術實踐，以及如何實現其商業模式和價值；

• 國內外模塊化數據中心技術應用的差異比較；

IDC商業模式介紹

  1Colo租賃托管IDC市場

在國內市場上，目前仍然有不少客戶是自建數據中心，例如國防和科研機構使用的HPC高性能計算，金融行業兩地三中心，大型企業以及互聯網巨頭自建IDC。而國外發達歐美市場，IDC建設主要基本上集中是三類客戶，國防和科研實驗機構，互聯網巨頭，Colo公司和運營商。

• 第一類的國防和科研實驗機構，用于地震探測，石油勘探，氣象分析，天體物理模擬等，這類應用也是超算中心的客戶，也包含一些IT科研企業，例如印度班加羅爾擁有豐富的IT技術人才和研發實驗室，那里有不少自建IDC以滿足研究和實驗要求。

• 第二類是互聯網巨頭，互聯網公司的超大規模應用，追求可用性和低成本，高效率方式，而業界大部分租賃托管IDC標準雖然能滿足要求，但這類客戶往往需要深度定制獲取更好的成本以及規模效益。

• 第三類Colo公司和運營商，都是建設數據中心用于租賃生意。而這些Colo公司面向的客戶就非常廣泛，涵蓋中小企業，金融，政府，互聯網，制造業，交通，能源等等。

本文主要關注于Colo租賃托管IDC市場，為什么只談Colo公司呢？最主要原因是Colo數據中心往往具有非常大的技術應用普遍性。Colo公司的技術方式必須可以解決大部分客戶自建需求才能吸引租戶。對比自建，可以說Colo機房就算不能做得更好至少不能做得更差。第二類的互聯網公司有軟件和硬件的掌控力，往往有自身的技術發展規劃路線而自成一派。這類數據中心有很多嶄新的技術和設計，但問題在于對其他用戶的普適性不好，例如Facebook數據中心就未必適合谷歌，谷歌也未必適合微軟。互聯網和云服務公司自建數據中心，重資產投入前提是有穩定且一定體量業務，沒有規模，成本效應不明顯還不如采用定制租賃方式。這就類似公司到底租辦公樓還是買地自建辦公樓道理一樣。國內的金融行業實在太有錢，比較任性，可以自建超大規模的數據中心。而國內的Colo市場，整體機電設計質量，設備品牌，選型，施工質量，運營水平和標準，與國際同行水平比較仍差距較大。這就導致國內金融行業，特別大型銀行，金融機構，優先選擇自建。筆者實地考察過香港、新加坡、美國、歐洲等數據中心，例如香港NTT將軍澳金融數據中心，里面設計，工藝，運營水平，管理方式，安防策略，都是國際一流水平。國內還沒見過任何類似規模IDC可以達到其水平，即使挑剔和保守的金融行業，也愿意選擇租用Colo機房。由于歐美都有很多高水平的Colo供應商，客戶自然不想投入大量人力物力部署重資產自建IDC和運營，相反更樂意采用租賃托管的輕資產模式。云計算發展，筆者相信會擠壓一部分Colo租賃托管市場。對于資產的投入和管理，IDC租賃托管，服務器主機托管，甚至云計算，筆者做了一張圖進行類比，雖然不太準確，但能讓讀者更直觀理解各種外包租賃托管服務模式大體差異。更清晰準確地，讀者可以上網查閱各自定義。

圖1 外包租賃托管模式比較

  2

Colo租賃托管IDC的銷售模式

拋開主機租賃托管和云計算不談，目前國際上Colo主要集中有兩大主要銷售模式：批發和零售。其實Colo租賃托管IDC，本質上就是房地產商業模式。筆者用一個日常生活例子并附上圖例加以說明

一個商業辦公樓宇，業主（建設方）有3層，可以用于出租給商戶來賺錢。其中第三層專門出租給各種小商戶（例如衣服店，皮具，鞋等），第二層專門出租大商戶（例如大超市，電影院），而第一層，由一個大客戶承包一層，然后自己再根據里面布局情況重新分配賣給其他小商戶（例如美食廣場，一個大承包商租了場地，然后其再分包給下面很多餐飲店，自己做分包管理）。

所以，在Colo租賃托管IDC里面，面向零售業務為主的，就會出現租賃幾個機架，或者十幾個機架，甚至半個機架這樣的散戶。這些散戶通常沒有專業技術人員，服務器和網絡設備也少，人員不在本地，需要依賴Colo公司的一些遠程協助服務。這些Colo公司除了有機電運營團隊外，往往還有一支懂IT和網絡的團隊以滿足散租客戶需求。

而面向批發業務的，Colo公司一般只有機電運營團隊，租戶通常會有駐場工程師能夠做IT和網絡運營。隨著Colo的發展，在國外，批發和零售的Colo供應商之間不斷競爭，導致其容量分界線越來越模糊，服務交錯組合趨向一致。業界比較多人認同的是，200~250kW可以是零售或批發的分界線。全球范圍內，典型的Colo零售和批發業務都具備的公司是Equinix，批發業務為主的是DRT。批發轉零售方式，香港是典型例子。香港有不少物流園區，地主本來只是簡單的出租倉庫空間就可以，后來地主發現與其做倉庫，不如接入電力和網絡后變成IDC做土地租賃更賺錢，于是乎就把場地以長期合同租給一個Colo公司去建IDC。接著，Colo公司建好，自己也沒有那么多人力和能力服務眾多小客戶，還要養IT、網絡的技術人員。于是Colo公司再找一個合作伙伴，能夠把一個或多個Datahall機房包間整體出租，交由這個合作伙伴去做零售業務，這就是批發轉零售的模式。如此一來，Colo公司就省心省力，只需管好Datahall內外的機電設施，機架部分就交由合作伙伴服務。這個合作伙伴，跟Colo公司之間通過長期機房租賃合同以及服務背靠背協議來保障。國內運營商在香港就有通過這種模式對外提供服務。

最后一點就是閑置容量轉售。在絕大多數情況下，零售客戶功率密度通常較低，實際場景經常是2~3kW機架功耗，所以Colo機房為了進一步提升機架出租量和降低成本，會和客戶約定是非專屬電力和制冷容量，允許共享。意思就是，例如A租戶說需要3個5kW機架容量，但實際使用只有10kW，Colo機房可以把剩下5kW電力和制冷容量賣給其他租戶。而批發用戶，通常要求是專屬容量，即使有多余的容量，也不允許轉售。

  3

Colo租賃托管IDC的計費模式

目前Colo的計費模式主要兩大類，包電包租和租電分離。包電包租，就好比酒店，電費租金一個價全包；租電分離，就好比租房，房租和電費分開支付。在租電分離的計費模式當中，大體分為三種：

• 以測量的IT能耗kWh，乘以按照預先約定的PUE，再乘以市場公開的標準電費（當地供電局標準收費）。有些精確對成本控制的IDC，往往會給出PUE和負載比例的約定，例如約定50%以下負載時PUE是1.8，超過50%負載PUE是1.6，這樣不但可以讓租戶有沖動租用更大容量，或增加部署速度，同時可以通過約定低PUE體現商務優勢。這種計費模式下，Colo公司通過更節能的設計，只要實際運行PUE比約定PUE值低，就能夠在電費上獲取一定收益。

• 以測量的IT能耗kWh，直接乘以約定的電費基準。這里約定的電費基準，是因為Colo公司建設了整個IDC，把機電設施建設成本，運營成本和PUE成本都打包進去電費基準值計算。這個基準值肯定高于供電局電費標準值。這種計費模式可以規避約定PUE的節能問題，畢竟有時候，糊涂賬不是一件壞事。

• 以測量的IT能耗kWh，以及總的IT能耗kWh（UPS總輸出能耗），得出租戶IT能耗比例，用這個比例去乘以Colo公司當月的總電費單。這種是最激進租電分離計費模式，也就是電費一分錢也不掙錢。

即使最激進的電費計算模式，有時候未必是最省錢。例如采用第三種計費模式，老舊的IDC，其PUE就可能有2.0，導致整體電費成本高。就算Colo公司不想通過電費賺取利潤，也不代表每機架的總成本（電費+租金）一定便宜。最后，企業從財務支出角度選擇這個IDC，必然是看總成本。到底用包電包租還是租電分離的計費方式，既要考驗Colo的技術運營水平，也要考驗客戶的自身需求清晰程度，最終體現在財務支出和收益計算上。例如，筆者就沒見過國內有哪個colo機房，可以在多散戶和租戶的情況下，利用電能儀表測量，以及能源管理軟件對多租戶進行獨立計費，有準確的報表對租戶進行收費，還能分析發現是否用戶有瞬間用超負荷用電情況。國內絕大部分Colo，管理軟件能力和硬件設計都無法有效協同達成這個功能。對PUE的考核，軟件功能往往沒有成為國內Colo公司的關鍵競爭力之一，既然水平不足，那只好算一筆糊涂賬，以包電包租形式計費，博弈的心態寄望于租戶不用那么多電，成本可以彌補。對于租戶而言，如果對功耗水平清楚，就可以對比哪個計費模型成本更節省。

在租電分離計費方式的盈利手段上，由于需要精確核算租戶成本，國外Colo除了投入能耗監測的硬件和管理軟件，還通過節能手段盡量降低PUE以提高競爭力和利潤率。歐美很多國家在電力市場上是開放市場，即發電價和上網價分離，Colo公司還可以對發電廠進行招標采購，這個有點類似于網絡互聯互通。但國內電力市場價格發電和售電開放還處于試探性初步階段，國內電力市場價格并非公開透明，有特殊關系和背景的公司就通過各種渠道獲取更低的電價基準以取得成本優勢。這個矛盾導致很多國內公司寧愿投入精力獲取低電價基準，而不愿意投入精力改善能耗和運營。例如10000kWh的IT耗電，平均PUE是1.6，電費基準0.5元/kWh；而另外一個是PUE=1.4，電費基準是0.6元/kWh；結果是

機房A電費	10000*1.6*0.5=8000元
機房B電費	10000*1.4*0.6=8400元

不要小看這5%的電費成本差距，省下來就是利潤提高2~3%，同時從1.6的PUE節省到1.4是很大的進步，需要技術團隊付出巨大努力，但這些努力，在財務上的結果比較，還不如降低電費基準值來得省時省力。

根據筆者觀察，國外追求極致PUE的Colo公司并不多，大多數公司由于SLA的壓力，追求相對節能而非極致節能。理解這個相對節能和絕對節能概念，可以從成本模型上面分析。例如年平均PUE=1.4是相對節能，PUE=1.3是極致水平，這里相差電費差異是7%。如果初期用電規模大的IDC，在外國可以進行招標，承諾一個較大的供電量（如10MVA用電量），從而獲得比市場基準值更低的電費，通常可以有10~20%降低。這樣一來，相比應用節能技術，通過規模和電力市場政策更容易獲得財務收益。同時很重要一點，節能技術往往初期投資成本較高，如果無法快速轉變為租金下降就難以形成競爭力，還不如采取相對節能，快速積累用戶群，然后降低基礎電價的策略。所以，Colo公司在節能技術應用上沒有大家看到互聯網公司等激進，不能只從技術分析，也要從市場和商業上考慮。

  4

Colo租賃托管IDC服務協議

Colo租賃托管IDC的服務協議一般稱為SLA（service level agreement），在SLA里面，會詳細界定各種服務細則要求，對應承諾，違約罰款。

以下為一般SLA表格內容

類別	具體承諾定義	違約罰款條約
電力可靠性
環境可靠性
網絡互聯互通可靠性
相關服務項響應
其他附加條款

下圖為Equinix的全球標準SLA，以及Internap公司官網上的SLA標準文檔摘錄

圖3  Equinix的Global SLA規定

圖4  Internap的SLA和罰則

SLA條款里面，每個類別都可以有不同約定條件：

• 電力可靠性，有的Colo公司承諾5個9，有些承諾100%，有些承諾三個9（對應Tier3的標準）。有些IDC是按照Tier3設計，甚至獲得Tier3的認證，但Tier3的標準里面可用性理論值是99.982%，所以其SLA也約定3個9。當有用戶說一定要4個9時，這些Colo公司通常會要求增加租賃成本升級到Tier4機房等，這總有討價還價的地方。例如Equinix，其全球標準的SLA，就是可以提供5個9的電力，哪怕只有一路市電，因為Equinix已經做到全球的運營統一標準，設計各方面標準化，優異的IDC水平塑造了品牌，其承諾的可用性可以令人信服。

• 環境可靠性，會規定冷通道的溫度范圍，通常為4個9的可用性。例如正常運行22℃±2℃，市電斷電時候溫度不超過30℃等。

• 互聯互通，主要是多個運營商接入的網絡可用性。

• 服務響應，包含每個月/報告，故障修復時間，遠程響應時間等。國外絕大部分的Colo公司，都會每個月提供報告，報告內容詳細給出機架能耗，冷通道溫度曲線。如果有需要，還可以提供詳細的功耗，溫度數據。

SLA可以很大程度反映IDC的技術水平。例如服務響應的月度報告，這在國內幾乎難以看到。主要原因有，國內IDC軟件的報表，管理分析功能做得太差，國外都基本使用BMS樓宇自動化軟件，也有EMS能源管理平臺。國內動環軟件多半靠著嘩眾取巧功能，夸張的市場營銷手段，對國外DCIM軟件照貓畫虎功能宣傳，連監測報表功能都未能做好（所謂報表更多是Excel數據表，然后需要人手二次做大量數據篩選，分析），更別說控制了。做專業應用類軟件不像硬件，容易橫向比較參數和從其他用戶了解使用情況。同時國內設計院、使用方對軟件重視程度很差。筆者曾經做過一些調查，發現設計院里面負載弱電監控的技術人員，基本沒有使用/操作過任何市面上的軟件。可想而知，軟件是一個多么混亂的市場。

有趣的是，國內運營商往往會以運營數據不對外公開為由不提供。其實國外絕大多數Colo公司觀點都認為，只要是租戶自身相關的合理數據，都可以提供，不公開其他合租用戶數據即可。本身在租電分離的計費模型里，就需要公開租戶機架功耗值進行計費。如果這個租戶用電容量獨占整套UPS，即整套UPS的輸出只供給1個租戶，那么Colo公司還會提供UPS的運行參數。一些優秀的Colo公司還有一套對內對外的運營管理平臺。用戶可以通過網頁創建需要遠程服務（remote hand）工單，這類工單包括IT設備和網絡設備一般維護和操作。在服務平臺上，用戶通過工單編號隨時跟蹤工單處理狀態。用戶還能夠查看自身租賃機架的功耗和溫度等運營參數（月/日平均值，最大/最小瞬時值），安防門禁訪問記錄，視頻記錄，自助式導出相應運營報告。進一步，服務平臺能夠把IDC基礎設施運營期間的變更，流程工單和用戶透明，包括UPS，空調，冷機，發電機，配電柜日常運維。當然，這些服務都有差異化定價和收費。關于服務和自動化運營管理，是一個很大的內容，這部分和本文模塊化技術關聯度不大，在此不深入討論。筆者也提出一個觀點，這類運營平臺無論叫什么名字，主要解決運營信息對稱（對內對外），流程質量管理。這些都依賴于運營和服務模式，國內這兩點恰恰是并不重視且發展落后，軟實力重視度不夠，能力上不去，軟件平臺也就難以發揮作用。簡單一個例子，發達國家制造業自動化水平，機械和自動化軟件水平和發展中國家相比差異巨大，工業4.0是需要強大工業基礎發展起來。

  5

Colo租賃托管IDC的產品服務方案

本章節筆者會用DRT公司作為典型案例，講解Colo公司典型產品服務方案。DRT官方介紹可以參考下面視頻鏈接：

http://v.youku.com/v_show/id_XMTM5OTMyODY3Mg==.html?from=y1.7-2

DRT公司提供目前提供幾種產品服務方式，包括：

• TKF模式，Turnkey Flex；這種模式相當于精裝房的交鑰匙模式，租戶可以直接拎包入住，里面家電齊全。這是絕大多數Colo公司方案，即所謂White space的Datahall，機房包間已經安裝好配電和空調容量，用戶只需要把設備運進來上電就可以用。所以，我們經常看到國外Colo機房是下圖的情況。

圖5  DRT北美Data hall

讀者或許會奇怪為什么國外Colo數據中心很多都不做通道密閉，也沒有機架。實際上，對于TKF模式下，Colo公司面對的各色各樣的客戶，不是每個客戶都是采用標準尺寸設備，有些客戶是想把自己原來機房的機架和設備搬遷進來，有些客戶有IBM的小型機，EMC的存儲，思科的核心交換機等。可以設想，如果一個機房里面有IBM、EMC、Cisco、HP、Dell、Oracle、APC、Rittal、CPI各種機架擺一起，尺寸和結構不一，做通道密閉又談何容易呢？何況有些客戶的租期有1年或3年，租期滿了設備搬走有新租戶的新設備進場，新設備尺寸如何又是另外一個問題。國內Colo多數做通道密閉，主要原因在于，有錢買IBM小型機、EMC高端存儲等客戶，對數據中心基礎設施成本不太敏感，面對國內Colo公司IDC整體情況，基本都會選擇自建而不租用。實際上，通道密閉對國外Colo公司來說都不是標配。如果租賃用戶有要求，Colo公司都愿意共同商討提供，只不過租戶需要付一次性投資費。因為這種特殊需求不是其他租戶都必須，額外付費也理所當然。一些特殊要求包括機架內部選擇帶端口監控的機架PDU，增加金屬隔籠Cage，機架帶獨立刷卡門禁，頂部增加攝像頭、環境傳感器等。

• PBB模式，Power based building/Powered shell。這種模式相當于住宅毛坯房，房子一般有進戶的總電氣箱和主開關，但里面家電、家具、裝修都沒有。PBB模式通常是Colo公司租下/擁有物業權，和容量規模大的客戶簽訂較長的租賃托管合同。機電設施可以由租戶自行設計和建設，也可以由租戶出設計理念，剩下設計和建設，投資交由Colo公司。國內這種模式對于互聯網巨頭來說，是比較普遍。這個模式最大好處是，用戶可以較大程度定制租賃，主要局限有3點，第一：定制情況下，當租戶退租后，原來基礎設施投資改造成被其他租戶廣泛接受的標準；第二：當租賃空間僅有一層樓而非整棟樓時，一些大型基礎設施通常是共享。例如不同層的租戶會共用冷凍站，中壓發電機組等，如果想獨立自己一套基礎設施進行單獨計費核算就變得非常困難；第三，建筑物理結構固定，這樣很難采取更深度定制，例如一些需要建筑結構匹配的制冷方案。下圖是PBB模式和TKF模式的差異

圖6  TKF和PBB模式

• BTS模式， Build to suit/Buy to suit。這種模式和PBB模式相比，BTS模式最大優勢在于整個建筑都可以定制，可以說是從空地開始就定制，甚至Colo可以和租戶參與選址，然后Colo買地進行投資建設，最后租給客戶。例如DRT在英國倫敦給Rackspace建設的數據中心，就是使用BTS模式。這種模式在國內也有一些案例，結合國內資本市場特點，甚至還發展出其他衍生商業模式和盈利手段。

• 網絡和云服務互聯，國外（特別是歐美等發達地區）和國內有一個顯著不同，就是有運營商中立，不僅僅有傳統電信運營商，還有其他寬帶業務提供方如裸光纖。簡單來說，在中國，Colo機房并非運營商中立，就如家里的寬帶，不能用著A運營商的網絡，第二天就想轉到B運營商付費而不做任何硬件改造。目前DRT和Equinix這些全球頂尖Colo公司，互相比拼不再是誰家的機電設計如何優秀，管理運營水平突出，從機電建設和運營角度來說，各有千秋。IDC機電設計差異化的所能獲取的競爭力已經不再成為獨特優勢，更關鍵的資源聚焦在網絡提供商接入，云計算互聯平臺（Colo租戶可以隨時接入公有云組建混合云）。大家不妨登陸Equinix主頁，可以看到從最早建立自身優勢的IX(internet exchange互聯互通)，到Cloud Exchange，讓租戶可以同時接入不同公有云，還可以建立混合云等方案，極大提升用戶粘性和豐富IaaS層的解決方案。這些Colo公司利用自身租戶大基數的優勢，吸引大批網絡供應商接入其數據中心。互聯互通的平臺，機電基礎設施，再生能源，自動化運營和租戶服務平臺等形成Colo公司綜合競爭力。頂尖Colo公司正如奔馳，寶馬這些豪華車，今天關注重心更多是車聯網和自動駕駛，純粹比拼硬件層面已經難以形成更大競爭優勢。對Colo而言，畢竟設計方案和設備技術都可以花錢購買。

筆者認為，國內數據中心，拋開互聯互通的問題，投資承建合作的方式和國外差距并不大，特別國內互聯網巨頭有好些PBB模式，BTS模式也有少量案例。但是從整體設計，建設，運營鏈條看，國內外就有很大差距了。這些差距主要體現在設計上的細節，運營自動化軟件，建設選用設備質量，施工細節，施工管理，運營流程優化等。