廣電媒體云存儲的數據遷移方案與應用

　　摘要：媒體云存儲是廣電素材媒資庫的核心設備，其為電視節目的制作及存儲提供了物理支持。目前，在媒體融合及縣級融媒體技術中心的持續推進下，單集群存儲的容量急劇下降。本文利用災備技術和災備策略提出采用雙集群基于存儲的遠程復制功能來解決單集群容量不斷下降的難題，應用結果表明，該方案完全可以解決存儲集群不通過節點擴容而采用遷移的方式進行集群存儲容量回收，同時緩解了現有生產環境存儲的壓力。

　　關鍵詞：存儲遷移遠程復制備份異步復制目錄快照

　　1引言

　　在縣級融媒體技術中心持續推進與傳統廣電業務上云的需求背景下，對廣電云平臺的計算與存儲資源需求都大幅增長，尤其是以視頻、音頻、圖片為主的非結構化大文件類型數據，更是出現了指數級的增長。因此，對目前所使用的分布式存儲集群的要求也就更加嚴格，當大量核心媒資數據需要進行多重備份時，這將再次加劇對存儲容量的大幅需求。在保證現有媒體云存儲集群業務數據安全的同時，集群存儲容量需要不斷被擴容或者進行數據遷移，這已然成為廣電媒體云存儲需要迫切解決的問題。

　　2需求分析

　　廣電媒體云平臺目前所使用的媒體存儲系統基本是分布式存儲集群[1]，因其具備良好的擴展性、安全可靠性、輕量級的運維管理以及支持多協議訪問優點，從而被廣泛使用。盡管如此，分布式存儲集群產品也會存在生命周期限制。比如，單集群跨多型號節點產品會有兼容性限制、相同型號備品備件不足和存儲版本不支持新型號存儲節點等問題，這些都有可能導致現有生產分布式存儲集群不能及時進行節點擴容以提升集群容量。

　　媒體方向論文： 融媒體環境下網絡文學的傳播與發展探究

　　因此，只能通過部署使用更高性能存儲節點用以重建新的分布式存儲集群，以此來解決存儲容量被日益增長的媒體素材消耗殆盡的問題。由于現有生產環境存儲集群直接擴容方案受到限制，而業務也在不斷進行寫操作，存儲容量將進一步壓縮，因此，需要將現有存儲集群中的數據遷移至新建的高性能節點存儲集群中，而新建的存儲集群由于備品備件較為充足，是能夠進行大量節點直接擴容的，這將恰當解決生產集群存儲容量不足的問題。其中，占用容量較大的冷數據視頻素材將是數據遷移的首選，其次是業務讀寫量不是特別大的熱數據。

　　3方案研究

　　3.1整體架構

　　3.1.1災備技術及災備策略

　　災備技術是指利用技術、管理手段以及相關資源確保關鍵數據、關鍵數據處理系統和關鍵業務在災難發生后可以快速恢復的過程。目前，災備策略主要分為完全備份與增量備份，而主流的復制策略則分為異步復制與同步復制[2]。

　　3.1.2快照技術

　　隨著計算機技術的快速發展，產生的數據量正在快速增加。對于重要數據，通常會進行數據備份以免造成數據丟失。在早期的數據備份方式中，恢復時間目標(RTO)和恢復點目標(RPO)無法滿足業務的要求，而且數據備份過程中可能會影響業務性能，甚至導致業務中斷。當數據量快速增加且數據增長速度也同步加快時，如何減少備份時間窗口期成為運維人員重點關注的問題。因此，數據備份、數據保護技術開始逐步出現。快照技術是數據備份技術中最常見的一種方式，一般被定義為一組文件、卷或者存儲目錄在某個特定的時間點上的副本。它所能捕獲到的是一些特定數據在特定時間點上的映像。

　　其原理與人們使用手機拍照類似，通過拍照可以快速記錄下某一瞬間被拍照對象的狀態。由于可以快速生成快照，通過此技術，運維人員能夠實現數據的零備份窗口，從而滿足企業對業務連續性和數據可靠性的要求。而針對存儲目錄快照的常規應用場景包括以下兩個方面。

　　(1)用于數據持續保護、快速備份和恢復快照占用存儲空間小，所以，在通過配置定時快照策略時，可以在不同時間點為源目錄創建多個快照版本。當源目錄下的文件數據遭到人為意外刪除、覆蓋或病毒入侵等非物理介質損壞時，可以通過故障前的快照恢復數據，從而保證用戶數據的可用性和可恢復性。對于一些重要的時間點或者重要的數據，用戶可以手動創建快照進行備份，用于在文件損壞或誤操作后的快速恢復。

　　(2)用于遠程復制場景遠程復制依賴于快照技術。遠程復制任務啟動后按照設定的時間間隔定時創建快照，然后將快照時刻的數據同步至遠端集群，每次只需要復制當前快照與前一個快照之間的增量數據。當遠程復制的本地和遠端目錄間數據同步完成時，會在遠端集群建立一致性目錄快照，用于數據一致性對比。當遠端集群也存在當前同步后的一致性目錄快照時，即可判斷當前同步已完成。經過對以上兩種應用場景的分析以及結合實際生產環境，本文圍繞遠程復制場景進行深入研究。

　　3.2采用雙集群基于存儲的遠程復制功能

　　3.2.1不同類型數據的遠程復制方式

　　遠程復制[3]是容災備份的核心技術。遠程復制要想將本地站點集群的目錄數據復制到遠端站點集群，首先需要在集群間創建復制鏈路，然后為需要同步的目錄創建遠程復制Pair。遠程復制Pair是一條數據復制關系，通過它指定了數據復制的來源和目標以及數據復制的頻率等相關規則，不同類型的數據使用不同的策略。

　　針對冷數據，創建遠程復制Pair后，需要用戶手動觸發初始同步，初始同步即為全量同步，屬于完全備份策略，所以，初始同步會將本地目錄中的所有數據一次性復制到遠端目錄中，這在復制遷移鏈路上會占用大量的帶寬，耗費時間也相對較長，對存儲服務系統性能影響較大。所以，需要在業務不繁忙的時段進行初始同步操作。

　　針對熱數據，首次全量數據同步完成后，當業務人員再次對本地目錄進行讀寫數據時，如果此時啟動同步操作，則其同步方式均是增量同步的方式，屬于增量備份策略，即只對全量同步之后的差異數據進行同步，能夠縮短數據遠程復制時間，同時也提高了數據傳輸效率。當業務人員在本地目錄中刪除數據并啟動目錄同步后，遠端目錄中的相應數據也會被刪除�？偟膩碚f，初始同步完成后的每次同步都是增量同步。增量同步只復制增加、刪除和修改的數據，數據量較小，占用網絡帶寬比全量同步小，復制傳輸數據量的時間也會少很多。相對于全量同步，增量同步對系統性能的影響要小。

　　3.2.2熱數據基于目錄快照進行的數據異步復制

　　本地和遠端目錄間的數據同步是基于目錄快照進行的數據異步復制。對遠程復制Pair啟動初次同步時，存儲系統自動為本地目錄創建一份該時間點的快照，定義為本次數據同步的基準快照。而后續每次進行數據增量同步時，系統則再次為本地目錄創建一份快照，并分析兩次目錄快照同步期間的差異數據，最后將差異部分的數據同步至遠端目錄，這樣系統不需要掃描整個目錄的數據，也能提高增量同步的效率。

　　值得注意的是，產生的差異數據需要在下次同步啟動時才 能同步到遠端目錄當中，這樣能夠保證數據的一致性。當數據完成同步后，系統通過遠程復制Pair在遠端集群為遠端目錄創建一份一致性快照。因此，可以通過直接對比本地目錄和遠端目錄是否存在當前同步的一致性快照數據來判斷同步是否已經全部完成。

　　為了防止在數據同步過程中因意外中斷而導致數據丟失的情況發生，本地、遠端集群都各自保留最新的兩份快照數據。后續每次同步結束后，都將會保存最新的快照數據，并刪除“老”的快照數據。而刪除“老”快照數據的時間間隔可根據遠端集群中對目錄快照的保存時間功能進行設置，若超過設置時間，則系統會自動刪除快照數據。

　　4方案應用

　　根據上述的需求分析與方案研究，我們本次采用基于目錄快照數據異步復制的策略進行單向數據遷移。為了緩解現有生產存儲集群中的容量被快速消耗以及保證前端業務的正常讀寫，本方案將優先對占據大容量的冷備媒體視頻素材進行全量同步，全量同步結束后，在生產環境存儲集群中回收相應的媒體素材以釋放存儲空間，而后再對生產環境中的熱數據采取先全量同步再增量同步的策略，最后選擇一個業務空窗期進行業務的完全遷移與切換。雙存儲集群中遠程復制流程按照下列方式進行配置。

　　(1)配置復制區域每個存儲集群默認只有一個復制區域，只能進行修改，無法進行創建和刪除操作。同時，需要在本地和遠端存儲集群的復制區域中配置相同的存儲節點數量，如果節點數量差距較大，將會導致復制區域通道鏈路不對等，可能會導致復制性能下降，本次實際環境各配置4個存儲節點。

　　(2)創建復制區域通道在獲取到遠端集群的復制區域名稱和其集群內任一節點的靜態前端業務IP地址之后，即可通過復制區域通道建立起本地與遠端集群的遠程復制鏈路，用于數據復制傳輸。

　　(3)創建遠程復制Pair除本地與遠端集群都創建了復制區域通道且通信正常之外，兩端集群還必須具有遠程復制功能，并且要求遠端集群目錄為空。在遠程復制Pair創建成功后，確保Pair中的本地和遠端目錄不被刪除、移動或更改，否則將會導致整個遠程復制過程異常，造成數據丟失。

　　(4)同步遠程復制Pair在本地、遠端存儲集群遠程復制功能上，當顯示“遠程復制Pair健康狀態”均為“正常”，且遠程復制Pair的“遠端目錄寫保護狀態”為“只讀”時，才能進行同步操作，初始同步必須手動同步。

　　(5)分裂遠程復制Pair當人為想中斷同步時，可以對正在同步的Pair進行分裂，系統將中止數據復制操作，遠端目錄數據與本地目錄數據為不完整狀態。當再次同步該Pair時，系統會繼續上次未完成的同步任務(也稱為“斷點續傳”)，直至上次任務對應的數據全部同步完成。實際上，數據遷移目前已從現有生產集群存儲中總共遷移了大約800T數據容量至新分布式存儲集群中，這 緩解了舊的生產環境存儲容量的壓力。整個過程較為順利，遷移速率最大達到800MB/s。

　　5結語

　　本方案結合中國藍云平臺現有分布式存儲集群在實際生產環境中遇到的問題，著重介紹了當生產環境中的分布式集群存儲面臨因不具備節點擴容而導致可用容量枯竭時的一種數據遷移方案。該方案以災備技術、災備策略以及快照技術為基礎，根據業務對不同目錄的讀寫頻率分成冷熱兩種數據類型，并根據不同數據類型制定不同的遷移策略來實現整個數據復制遷移過程，緩解了本地端存儲的存儲壓力，同時解決了掛載在本地端存儲業務系統能夠持續穩定的進行讀寫。最后，希望此分布式存儲數據遷移方案能夠為廣電行業業務的穩定運行提供一種參考。

　　參考文獻：

　　[1]陸蘊超.分布式存儲技術在虛擬化架構中的應用[J].有線電視技術,2017(7):54-56.

　　[2]李旺,王韻.基于存儲的遠程異步復制災備方案設計與應用[J].信息技術與信息化,2013(5):106-108+158.

　　[3]闕志興,許雄凌,陳飛.云存儲下的容災備份技術研究與部署[J].科技創新與應用,2017(21):34-35.

　　作者：浙江廣播電視集團張勝龍蔡晶晶史姣姣

轉載請注明來自發表學術論文網：http://www.cnzjbx.cn/jjlw/29764.html