（CWW）提升承載網絡的可靠性，已成為運營商在網絡規(guī)劃建設中需重點考慮的要素之一。網絡容災保護旨在提高網絡的可靠性，即降低網絡中斷時間、保證業(yè)務質量、提升用戶體驗。高可靠性技術主要涉及系統(tǒng)和硬件可靠性、軟件可靠性、可靠性測試和IP網絡可靠性等一系列保護技術。本文著重從IP網絡可靠性方面分析廣電5G承載網中相關容災保護技術的應用。

IP網絡可靠性技術概述

(資料圖片)

IP網絡可靠性技術按作用可分為故障檢測和容災倒換兩大類技術。

在TCP/IP網絡參考模型中，各層面都有故障檢測機制，如鏈路層Eth-OAM、STP/RSTP/MSTP，各種網絡層協(xié)議HELLO機制、GR等，以及各種應用層協(xié)議本身的心跳、重傳機制。其中BFD作為目前廣泛應用的一種故障檢測技術，可以實現(xiàn)快速檢測并監(jiān)控網絡鏈路、IP路由的轉發(fā)連通狀態(tài)，改善網絡性能。相鄰系統(tǒng)之間通過快速檢測發(fā)現(xiàn)通信故障，可以快速建立備份通道以便恢復通信，保證網絡可靠性。

在網絡故障發(fā)生后，IP網絡容災倒換技術可利用網絡冗余資源自動恢復業(yè)務，按故障點類型可分為鏈路保護、節(jié)點保護和端到端網絡保護。目前網絡容災倒換技術很多，如各種路由協(xié)議FRR、VRRP、NSF、NSR、GR、誤碼倒換、雙機熱備等。其中最常用的是FRR技術，即Fast Reroute（快速重路由），當物理層或鏈路層檢測到故障時，將故障消息上報路由系統(tǒng)，并立即啟用一條備份鏈路轉發(fā)報文，達到業(yè)務保護的目的。當鏈路發(fā)生故障時，應用FRR特性可降低對承載業(yè)務的影響。

BFD故障檢查技術

盡管在TCP/IP網絡參考模型中，各層協(xié)議已具備故障檢測機制，但大多數(shù)協(xié)議的故障收斂時間較長，如常用OSPF、BGP等網絡協(xié)議通過自身的Hello探測機制，能實現(xiàn)秒級的故障收斂速度，隨著網絡發(fā)展，其自治域中網元數(shù)量和業(yè)務量不斷增加，網絡協(xié)議的故障收斂時間還將延長。在運營商網絡中，秒級故障恢復時間意味著大量公眾用戶業(yè)務將出現(xiàn)中斷或重傳，這是運營商不能接受的網絡故障，而BFD故障檢查技術能實現(xiàn)毫秒級網絡故障的快速感知，聯(lián)動網絡保護技術，達到網絡快速切換、業(yè)務影響幾乎無感知的效果。

BFD用于檢測轉發(fā)引擎之間的通信故障。具體來說，BFD對系統(tǒng)間同一路徑某種數(shù)據(jù)協(xié)議的連通性進行檢測，這條路徑可以是物理鏈路、邏輯鏈路或VPN隧道。上層應用向BFD提供檢測地址、檢測時間等參數(shù)，BFD根據(jù)這些信息創(chuàng)建、刪除或修改BFD會話，并把會話狀態(tài)通告給上層應用。BFD的檢測機制是兩個系統(tǒng)建立BFD會話，并沿它們之間的路徑周期性發(fā)送BFD控制報文，如果一方在既定的時間內沒有收到BFD控制報文，則認為路徑發(fā)生故障。BFD控制報文封裝在UDP報文中傳送。會話開始階段，雙方系統(tǒng)對控制報文中攜帶的參數(shù)（會話標識符、期望的收發(fā)報文最小時間間隔、本端BFD會話狀態(tài)等）進行協(xié)商。協(xié)商成功后，以協(xié)商的報文收發(fā)時間在彼此之間的路徑上定時發(fā)送BFD控制報文。

FRR快速重路由技術

在傳統(tǒng)IP網絡中，轉發(fā)鏈路出現(xiàn)底層故障后，最為直觀的表現(xiàn)是設備上的物理接口狀態(tài)變?yōu)椤癉own”。設備檢測到此故障后，會通知上層路由系統(tǒng)進行相應更新，并重新計算路由。通常從鏈路故障發(fā)生到路由系統(tǒng)完成路由收斂（重新選擇了一條可用的路由），要經歷秒級時延。對于網絡中某些對延時、丟包等非常敏感的業(yè)務（如VoIP業(yè)務）來說，是無法容忍網絡中斷時間為秒級的。

FRR特性能夠保證轉發(fā)系統(tǒng)快速地對故障進行檢測并采取措施，盡快讓業(yè)務流恢復正常。當進行協(xié)議間路由優(yōu)選時，F(xiàn)RR按照協(xié)議優(yōu)先級給每一條被優(yōu)選的主鏈路再選擇一條備份鏈路，并將兩條鏈路的轉發(fā)信息同時提供給轉發(fā)引擎。

防火墻雙機熱備技術

隨著網絡的快速發(fā)展，網絡安全備受關注。在IP承載網中，防火墻作為網絡安全的重要網元得到廣泛應用。防火墻部署在網絡出口位置時，若發(fā)生故障會影響到全網業(yè)務。為提升網絡可靠性，需要部署兩臺防火墻并組成雙機熱備。雙機熱備需要兩臺硬件和軟件配置均相同的防火墻。兩臺防火墻之間通過一條獨立的鏈路連接，這條鏈路通常被稱為“心跳線”。兩臺防火墻通過“心跳線”了解對端狀況，向對端備份配置和表項（如會話表、IPSec SA等）。當一臺防火墻出現(xiàn)故障時，業(yè)務流量能平滑地切換到另一臺設備上處理，使業(yè)務不中斷。

防火墻支持主備備份和負載分擔兩種運行模式。主備備份模式，即兩臺設備在正常情況下，業(yè)務流量由主用設備處理，當主用設備發(fā)生故障時，備用設備接替主用設備處理業(yè)務流量，保證業(yè)務不中斷；負載分擔模式，即在正常情況下兩臺設備共同分擔業(yè)務流量，當其中一臺設備發(fā)生故障時，另外一臺設備會承擔其業(yè)務，保證原本應通過故障設備轉發(fā)的業(yè)務不中斷。防火墻有3種工作模式：路由模式、透明模式和混合模式，結合兩臺防火墻的上下行組網設備支持情況，可以基于VRRP、VLAN、動態(tài)路由等實現(xiàn)雙機熱備功能。

5G承載網容災技術應用介紹

作為廣電5G業(yè)務骨干IP承載網，廣電5G IP專網覆蓋全國各省、自治區(qū)及直轄市，按“核心—接入”兩層架構雙平面組網，其中核心層省市各部署一對核心P節(jié)點，接入層在各省市節(jié)點各部署一對接入PE節(jié)點；5G專網業(yè)務由“SRv6 Policy+EVPN”承載，同時部署iFIT檢測業(yè)務質量，異地部署兩套控制器實現(xiàn)主備容災。

廣電5GC承載網可分為大區(qū)C面承載、省內U面承載、移動互通3個部分，通過上述5G專網實現(xiàn)全國廣電5G業(yè)務通信。省內U面承載網采用雙DC組網，實現(xiàn)DC級的主備容災保護，單DC內采用雙平面容災組網。省內U面承載網組網如圖1所示，由省內U面核心網配套網絡、專網出口網絡、IMS互聯(lián)互通網絡及互聯(lián)網出口網絡等部分組成。本文重點分析省內U面承載網中相關容災保護技術的應用。

圖1 中國廣電5G省內U面承載網架構

省內U面核心網配套網絡

5G省內U面核心網主要部署UPF、PSBC、ISBC及IBCF等網元設備，通過U面承載網專網CE接入5G專網，VRF隔離數(shù)據(jù)語音信令、語音媒體、網管、安全等不同業(yè)務，實現(xiàn)省內5G U面到大區(qū)資源池5GC核心網網元的通信。

在網絡容災設計方面，U面核心網采用雙DC互備實現(xiàn)站點的異地容災保護，站點內承載網采用雙平面接入實現(xiàn)節(jié)點的網絡鏈路容災保護。根據(jù)核心網網元基于不同業(yè)務的具體網規(guī)劃設計，U面承載網可通過多樣的容災保護技術實現(xiàn)核心網雙平面主備或負載分擔的業(yè)務需求。

1.基于VRRP技術實現(xiàn)雙平面保護方案

如圖2所示，核心網網元服務器通過雙歸屬方式直接接入兩套專網CE路由器，其服務器的兩個網絡端口工作在三層主備模式，當主用端口處于收發(fā)雙向轉發(fā)工作狀態(tài)時，備用端口保持靜默狀態(tài)，專網CE部署VRRP為其提供虛擬網關；當服務器的主用端口或主用鏈路發(fā)生故障時，服務器啟用備用端口作為主用，向外發(fā)送免費ARP及業(yè)務報文，承載網側根據(jù)VRRP的故障檢查情況，可繼續(xù)對接入服務器提供虛擬網關容災保護。

圖2 采用VRRP接入5G核心網網元

采用基于VRRP技術的容災方案，需考慮以下幾點網絡規(guī)劃。

?VRRP“心跳線”規(guī)劃。由于VRRP心跳報文屬于二層報文，需為其規(guī)劃一條二層心跳報文通道。

?VRRP優(yōu)先級規(guī)劃。合理規(guī)劃主備接口的VRRP優(yōu)先級數(shù)值，確保故障發(fā)生時協(xié)議能實現(xiàn)正常切換。

?VRRP接口模式。VRRP路由器接口可以通過Vlanif或三層子接口方式實現(xiàn)VRRP，結合網絡實際情況進行選擇規(guī)劃，確保VRRP“心跳線”通暢及無二層環(huán)路。

?BFD聯(lián)動VRRP。由于VRRP是一個秒級倒換協(xié)議，對于故障倒換時延要求較高的業(yè)務，可部署B(yǎng)FD快速故障檢測技術聯(lián)動VRRP，實現(xiàn)VRRP的快速切換。

?VRRP搶占功能。在搶占模式下，合理配置主用VRRP的搶占時延，避免主用鏈路閃斷場景下業(yè)務的頻繁切換，影響業(yè)務轉發(fā)。

?管理VRRP。當VRRP路由器上需要部署的VRRP備份組較多時，可以考慮部署管理VRRP，減少每個VRRP備份組產生的協(xié)議報文對路由器CPU與帶寬資源的消耗。

?VRRP負載分擔場景。默認VRRP技術方案只支持實現(xiàn)主備平面保護，若在有負載分擔的組網需求場景下，可通過配置雙VRRP備份組，實現(xiàn)網絡的負載分擔功能。

2.基于跨設備聚合技術實現(xiàn)雙平面保護方案

在核心網網元服務器采用多網卡bond網絡模式下，多張網卡虛擬成一張，實現(xiàn)冗余。這種網絡配置模式支持主備和負載均衡兩種工作模式。

工作在主備模式下，主網卡工作，備份網卡不工作，當一個網絡接口失效時(例如主交換機掉電等)，為了不出現(xiàn)網絡中斷，系統(tǒng)會按照配置指定的網卡順序啟動工作，保證機器仍能對外服務，起到了失效保護的作用；在負載均衡模式下，由于兩張網卡都正常工作，能提供兩倍的帶寬，在這種情況下出現(xiàn)一張網卡失效，僅僅是服務器出口帶寬下降，不會影響網絡使用。

如圖3所示，對于bond模式的服務器容災保護，承載網交換機需采用堆疊、集群或者M-LAG等跨設備聚合技術接入服務器。

圖3 采用跨設備聚合技術接入5G核心網網元

集群交換系統(tǒng)CSS（Cluster Switch System）又稱“堆疊”，是指將兩臺交換機通過堆疊線纜連接在一起，從邏輯上變成一臺交換設備，作為一個整體參與數(shù)據(jù)轉發(fā)。在圖3中，網絡中的兩臺設備組成堆疊，虛擬成單一的邏輯設備。簡化后的組網不再使用MSTP、VRRP等協(xié)議，簡化了網絡配置，同時依靠跨設備的鏈路聚合，實現(xiàn)快速收斂，提高了可靠性。M-LAG（Multichassis Link Aggregation Group）即跨設備鏈路聚合組，是一種實現(xiàn)跨設備鏈路聚合的機制，如圖3所示，將SW01和SW02通過peer-link鏈路連接并以同一個狀態(tài)與服務器進行鏈路聚合協(xié)商，從而把鏈路可靠性從單板級提高到設備級。M-LAG作為一種跨設備鏈路聚合技術，具備增加帶寬、提高鏈路可靠性、支持主備與負載分擔承載、簡化組網、聚合設備可獨立升級等技術特點。

3.基于路由協(xié)議技術實現(xiàn)雙平面保護方案

隨著全網IP化的趨勢演進，部分核心網網元可支持IGP及BGP等動態(tài)路由協(xié)議方案承載業(yè)務，如3G核心網網元GGSN、SGSN，4G核心網網元SAEGW、MME，以及5G核心網網元AMF、SMF、UPF等。在核心網網絡設備中，這類設備通常規(guī)劃部署OSPF等動態(tài)路由協(xié)議以實現(xiàn)網絡容災保護。

如圖4所示，核心網網元按雙歸屬組網接入承載網兩套CE路由器，之間部署靜態(tài)路由或者動態(tài)路由協(xié)議，通過動態(tài)路由協(xié)議收斂實現(xiàn)故障時業(yè)務切換。

圖4 采用路由協(xié)議接入5G核心網網元

基于路由協(xié)議的容災方案，可考慮以下幾點網絡規(guī)劃。

?通過部署B(yǎng)FD故障檢查，聯(lián)動靜態(tài)路由或動態(tài)路由，加速協(xié)議收斂速度，實現(xiàn)業(yè)務的快速倒換。

?在全動態(tài)路由協(xié)議場景下，通過人工規(guī)劃動態(tài)路由協(xié)議的開銷值（IGP COST、BGP MED等）實現(xiàn)網絡的主備或負載分擔。

省內U面專網出口網絡

省內U面承載網專網出口網絡采用兩套專網CE路由器和兩臺防火墻組成。專網CE上行采用“口”字型組網與5G專網PE相連，采用網狀組網旁掛兩臺專網防火墻，下行雙歸屬組網接入U面各個核心網網元、安全業(yè)務平臺及網管網絡等。

在承載網的容災保護方面，重點考慮以下幾點規(guī)劃。

?專網CE上行出口，采用動態(tài)路由協(xié)議eBGP與專網PE對接，通過BGP團體屬性實現(xiàn)雙平面的負載分擔承載，同時部署B(yǎng)FD for BGP加快故障時BGP協(xié)議的收斂速度。

?專網CE互聯(lián)之間部署動態(tài)路由協(xié)議iBGP，作為專網CE到專網PE間故障時的逃生路徑。

?專網FW防火墻采用網狀組網旁掛方式接入專網CE，兩臺防火墻按基于路由協(xié)議的雙機熱備負載分擔工作模式部署，同時部署B(yǎng)FD for OSPF加快故障時OSPF協(xié)議的收斂速度。

?根據(jù)各業(yè)務VPN的大區(qū)互通需求，專網FW防火墻上按每業(yè)務每VPN實例分別與專網CE的內外網VPN實例進行OSPF協(xié)議對接，為專網CE上需訪問大區(qū)的內網VPN業(yè)務提供專網出口路由。

?專網CE下行到U面各個核心網網元、安全業(yè)務平臺及網管網絡等采用靜態(tài)路由方式接入，同時部署B(yǎng)FD for靜態(tài)路由觸發(fā)故障時業(yè)務的快速倒換。

省內U面IMS互聯(lián)互通網絡

省內5G IMS互聯(lián)互通網絡，負責與其他3家運營商間的短信和語音業(yè)務互通承載。廣電短信網關通過5G專網到各省IMS互聯(lián)互通出口，實現(xiàn)與各省3家運營商短信網關互通，各省U面IBCF通過互聯(lián)互通出口與省內3家運營商的語音網關互通。

在承載網容災保護方面，重點考慮以下幾點規(guī)劃。

?短信與語音出口均采用“口”字型雙平面組網，實現(xiàn)網間短信BG和語音BG的主備鏈路容災保護；網間通過靜態(tài)路由協(xié)議完成網關路由的交換，同時部署B(yǎng)FD for靜態(tài)路由觸發(fā)故障時業(yè)務的快速倒換。

?廣電短信網關部署在大區(qū)，短信BG采用“口”字型雙平面組網接入5G專網PE，部署eBGP協(xié)議完成省內與大區(qū)間短信網關路由交換，同時部署B(yǎng)FD for BGP加快故障時BGP協(xié)議的收斂速度。

?短信FW防火墻采用網狀組網旁掛方式接入短信BG，短信防火墻上部署分別對3家運營商的短信網關進行雙向NAT轉換，保障網間短信網關通信的安全性。兩套防火墻按基于路由協(xié)議的雙機熱備主備工作模式部署，同時部署B(yǎng)FD for OSPF加快故障時OSPF協(xié)議的收斂速度。

省內U面互聯(lián)網出口網絡

省內U面承載互聯(lián)網出口網絡采用“口”字型雙平面組網。兩臺公網出口防火墻FW采用雙機熱備負載分擔工作方式，實現(xiàn)互聯(lián)網出口的雙平面負載均衡。U面的用戶IP地址（IPv4私網地址及IPv6地址）在UPF上通過OSPF發(fā)布到公網CE及公網FW上，其中用戶的IPv4私網地址在公網FW上轉換為公網地址后發(fā)布到互聯(lián)網。

在互聯(lián)網出口路由交換協(xié)議規(guī)劃中，臨時方案采用靜態(tài)路由方式部署，互聯(lián)網出口SR配置到目的地址為U面用戶IPv4公網/IPv6的靜態(tài)路由，并通過動態(tài)路由協(xié)議發(fā)布到互聯(lián)網，公網FW配置默認路由到SR，并通過OSPF發(fā)布默認路由到U面公網CE。后期互聯(lián)網出口最終方案中，公網FW將按最終設計以BGP動態(tài)路由方式發(fā)布U面用戶路由到互聯(lián)網，更好地滿足5G互聯(lián)網流量的動態(tài)控制及QoS調度等需求。

在承載網的容災保護方面，重點考慮以下幾點規(guī)劃。

?在互聯(lián)網出口網絡中，公網FW采用雙機熱備負載分擔工作模式，需對稱規(guī)劃OSPF開銷值，確保UPF可動態(tài)學習兩條等價的出口默認路由。

?在臨時出口方案中，公網FW手工配置默認路由并在OSPF中發(fā)布默認路由，同時部署B(yǎng)FD for靜態(tài)路由，實現(xiàn)故障快速檢測及容災切換。此方案中，在公網FW上需配置Link-Group功能，聯(lián)動防火墻上下行端口狀態(tài)，確保單邊故障時上下行流量均能成功切換到另一平面。

?在最終方案中，公網FW通過eBGP從SR上動態(tài)獲取出口默認路由并在OSPF中發(fā)布，同時部署B(yǎng)FD for BGP，實現(xiàn)故障快速檢測及容災切換。此方案中，公網FW需注意調整eBGP的協(xié)議優(yōu)先級，確保公網FW收到來自SR的eBGP出口路由（默認路由及特定業(yè)務的明細路由等）被優(yōu)選，而不被其他協(xié)議發(fā)布的路由覆蓋。

省內U面安全業(yè)務平臺網絡

省內U面安全業(yè)務平臺系統(tǒng)（如手機惡意軟件、安全運營平臺、IMS防詐騙平臺、4A堡壘機及碼流回傳等系統(tǒng)）網元，通過安全業(yè)務路由器和日志防火墻上各業(yè)務使VPN實例隔離接入到U面承載網專網CE。

在承載網的容災保護方面，與上文幾種場景類似，不再贅述。

結語

2022年廣電5G一期工程已順利完工，本文結合省內分公司的部分建設內容，就省內U面承載網的容災保護技術進行淺略總結和分析。

隨著未來5G to C及to B業(yè)務的發(fā)展，5G專網及省內U面承載網也面臨新的技術要求，如SRv6、隨流檢測、網絡切片、BIERv6、APN6等“IPv6+”承載技術的應用。伴隨未來5G業(yè)務及應用的多樣化，5G承載網容災保護技術的重要性亦將凸顯，運營商在網絡規(guī)劃中需要重點考慮。

本文刊載于《通信世界》

總第918期 2023年4月25日 第8期

關鍵詞：