1、數據中心流量趨勢
在移動互聯網時代以前，人們上網接入帶寬也就是幾十到幾百 K，上網的主要目的是瀏覽網頁、聊 QQ、聽音樂，信息的流向主要是下行，規模不大，數據中心流量主要是南北向的流量；但是隨著移動互聯網的到來，智能手機的普及，4K 視頻、微信、視頻、語音、AR/VR等互聯網應用等對網絡帶寬都帶來了巨大的增長，信息的流向不在是以下行為主了，上行和下行都在變大，數據中心除了南北向流量外，東西向流量也在同步增長；
下圖是 cisco 對未來數據中心流量的預測，預測到2021年全球數據中心流量年增長25%，Google 的數據中心流量從2008年到2014年增長了50倍，百度近幾年數據中心流量的年增長比例也在50%以上；
數據中心流量組成中，數據中心內流量占比高達71.5%，在數據中心間占比13.6%，數據中心到用戶的流量占比隻有14.9%；這麽高的內部流量占比，需要一個強有力的數據中心網絡架構才能支撐。
2、數據中心網絡架構演進
數據中心網絡在演進過程中有很多種架構，以 Four-Post 和 Clos最為常見，以下是 Facebook 公開的兩種網絡架構。
此架構由4台 CSW 交換機組成一個網絡集群Cluster，在 Cluster 內每台 RSW（即 TOR） 交換機有4條鏈路上行至 CSW，網絡 Cluster 間通過 FC 交換機互聯；該架構，通過複製 Cluster可以滿足大規模服務器組網的需求，但該網絡在某些方麵有些不足，如
1）在冗餘度上，單台 CSW 故障流量損失25%；單台 FC 故障Cluster 間流量損失25%；
2）Cluster 集群規模由 CSW 設備端口容量決定；
3）該架構收斂比較高；
4）CSW 設備一般是大型框式設備，供應商少，CAPEX 和 OPEX高；
5）核心設備軟件問題和定製化開發難度大；
CLOS Fabric
此架構由三個層級的交換機組成，分別是 Spine SW、Edge SW、RSW。每4台 ESW 和48台 RSW 組成1個 Server Pod，每 RSW 有4條鏈路上聯 ESW，每台 ESW 上聯一個 Spine 平麵；該架構，通過複製 Server Pod 來擴展網絡 Cluster 集群規模，集群擴展很靈活，可支持的服務器規模大，設備和鏈路的冗餘度也大，可靠性高，且網絡Cluster 集群內無收斂比，網絡吞吐能力高，但在管理運維方麵複雜度高，需要部署 SDN 等自動化的管理運維手段。
百度數據中心網絡架構；下圖是百度在2017年以前的數據中心網絡架構，架構和上述 Four-Post 相同，該架構的特點如下：
1）網絡Cluster集群的截麵帶寬（BBW）有100X Tbps；
2）TOR 層級有3：1的收斂比；
3）網絡可靠性，單台Leaf設備故障 影響一個 POD 的25%流量；單台 Spine 交換機故障，影響整個網絡集群1/8的流量；
4）CLOS 內部互聯鏈路多，運維監控是個挑戰；
下圖是百度現在的 CLOS 架構；架構同 Facebook 的 Clos 架構類同，但Leaf 節點、Spine 節點仍采用大型的商用框式交換機，後續會使用自研交換機替代。這個架構特點如下：
由上述網絡架構演進可見，不管是Four-Post 架構還是 Clos架構，在數據中心內，網絡設備和光互聯鏈路的數量非常多，如何有效的進行網絡和鏈路的運維是抖音成人短视频麵臨的巨大挑戰。
數據中心光互聯網絡運維實踐
首先，數據中心光互聯網絡運維都有哪些挑戰：
1）光互聯覆蓋範圍廣；1Xm ~100X Km；
2）光互聯鏈路數量和類型很多；在100m 上，有 OM3/OM4，模塊有 SR4、ESR4；500m 距離，有單模光纖，PSM4、CWDM4模塊；2KM 的數據中心園區場景，有單模光纜、CWDM4、LR4光模塊；數據中心間，隨著距離的增長也有不同的技術應用，LR4、10G DWDM 彩光、200G OTN 等；
3）難以用一種監控手段覆蓋所有的技術類別，存在多種監控係統和平台，運維效率低。
然後，百度針對這些不同互聯場景的運維實踐，如下：
1）設備或模塊故障，采用 基於設備SYSLOG 日誌分析的運維監控方法，針對設備上報的日誌來及時監控運行狀態；
2）針對鏈路類的故障，采用自動化 ping 程序來監控鏈路狀態，同時部署了多個路由協議探針做鏈路級故障的分析和判斷；
3）針對鏈路的誤碼和丟包等質量問題，部署了2套網絡質量監控係統來監控，一套是部署在網絡核心 IC層級的天網 監控係統，實時監測鏈路的誤碼和丟包情況；另一套是業務部門在服務器上部署的 Net-radar 係統，實時感知網絡質量異常；
最後，SDN 的部署，整合了上述傳統網絡監控工具，基於 SDN/IBN 的思想構建了智能管控編排中心，下圖是框圖：
SDN係統實時采集網絡設備各種配置和狀態數據；包括單不限於，資產、配置、拓撲、流量、日誌等；
整個係統是個閉環係統，當監測到網絡異常時，根據不同的策略進行業務編排，下發控製命令，故障隔離，編排處理流程策略；自動或轉人工處理；在處理過程中，自動校驗檢測、自動恢複上線和流量調度；全程都是現場的人和機器人交互，提高溝通效率；
4、從運維角度對數據中心光互聯網絡的技術需求
1）抖音成人短视频希望設備商、模塊商、係統商，更加開放，讓用戶擁有自主權，可在內部編寫 APP 或 AGENT，自定義管理控製功能及接口，提取或主動上報各類運行數據，加速數據中心網絡運維自動化進程；
2）抖音成人短视频希望 IP 和光能夠進一步融合（軟件或硬件層麵），便於 SDN 統一管控，為業務提供多層次的控製策略。
189-0300-8674（林經理）
