本文摘要：【提要】當前，全球大數據正進入加速發展時期，技術產業與應用創新不斷邁向新高度。大數據通過數字化豐富要素供給，通過網絡化擴大組織邊界，通過智能化提升產出效能，不僅是推進網絡強國建設的重要領域，更是新時代加快實體經濟質量變革、效率變革、動力變
【提要】當前，全球大數據正進入加速發展時期，技術產業與應用創新不斷邁向新高度。大數據通過數字化豐富要素供給，通過網絡化擴大組織邊界，通過智能化提升產出效能，不僅是推進網絡強國建設的重要領域，更是新時代加快實體經濟質量變革、效率變革、動力變革的戰略依托。本文聚焦近期大數據各領域的進展和趨勢，梳理主要問題并進行展望。在技術方面，重點探討了近兩年最新的大數據技術及其融合發展趨勢;在產業方面，重點討論了中國大數據產品的發展情況;在數據資產管理方面，介紹了行業數據資產管理、數據資產管理工具的最新發展情況，并著重探討了數據資產化的關鍵問題;在安全方面，從多種角度分析了大數據面臨的安全問題和技術工具。
【關鍵詞】大數據;數據分析;云計算
一、國際大數據發展概述
近年，全球大數據的發展仍處于活躍階段。根據國際權威機構Statista的統計和預測，全球數據量在2019年有望達到41ZB。2019年以來，全球大數據技術、產業、應用等多方面的發展呈現了新的趨勢，也正在進入新的階段。本章將對國外大數據戰略、技術、產業等領域的最新進展進行簡要敘述。
(一)大數據戰略持續拓展
相較于幾年前，2019年國外大數據發展在政策方面略顯平淡，只有美國的《聯邦數據戰略第一年度行動計劃(FederalDataStrategyYear-1ActionPlan)》草案比較受到關注。2019年6月5日，美國發布了《聯邦數據戰略第一年度行動計劃》草案，這個草案包含了每個機構開展工作的具體可交付成果，以及由多個機構共同協作推動的政府行動，旨在編纂聯邦機構如何利用計劃、統計和任務支持數據作為戰略資產來發展經濟、提高聯邦政府的效率、促進監督和提高透明度。
相對于三年前頒布的《聯邦大數據研發戰略計劃》，美國對于數據的重視程度繼續提升，并出現了聚焦點從“技術”到“資產”的轉變，其中更是著重提到了金融數據和地理信息數據的標準統一問題。此外，配套文件中“共享行動：政府范圍內的數據服務”成為亮點，針對數據跨機構協同與共享，從執行機構到時間節點都進行了戰略部署。
早些時候，歐洲議會通過了一項決議，敦促歐盟及其成員國創造一個“繁榮的數據驅動經濟”。該決議預計，到2020年，歐盟GDP將因更好的數據使用而增加1.9%。但遺憾的是，據統計目前只有1.7%的公司充分利用了先進的數字技術。
拓寬和深入大數據技術應用是各國數據戰略的共識之處。據了解，美國2020年人口普查有望采用差分隱私等大數據隱私保護技術來提高對個人信息的保護。英國政府統計部門正在探索利用交通數據，通過大數據分析及時跟蹤英國經濟走勢，提供預警服務，幫助政府進行精準決策。
(二)大數據底層技術逐步成熟
近年來，大數據底層技術發展呈現出逐步成熟的態勢。在大數據發展的初期，技術方案主要聚焦于解決數據“大”的問題，ApacheHadoop定義了最基礎的分布式批處理架構，打破了傳統數據庫一體化的模式，將計算與存儲分離，聚焦于解決海量數據的低成本存儲與規�；幚�。Hadoop憑借其友好的技術生態和擴展性優勢，一度對傳統大規模并行處理(MassivelyParallelProcessor,MPP)數據庫的市場造成影響。但當前MPP在擴展性方面不斷突破(2019年中國信通院大數據產品能力評測中，MPP大規模測試集群規模已突破512節點)，使得MPP在海量數據處理領域又重新獲得了一席之位。
MapReduce暴露的處理效率問題以及Hadoop體系龐大復雜的運維操作，推動計算框架不斷進行著升級演進。隨后出現的ApacheSpark已逐步成為計算框架的事實標準。在解決了數據“大”的問題后，數據分析時效性的需求愈發突出，ApacheFlink、KafkaStreams、SparkStructuredStreaming等近年來備受關注的產品為分布式流處理的基礎框架打下了基礎。在此基礎上，大數據技術產品不斷分層細化，在開源社區形成了豐富的技術棧，覆蓋存儲、計算、分析、集成、管理、運維等各個方面。據統計，目前大數據相關開源項目已達上百個。
(三)大數據產業規模平穩增長
國際機構Statista在2019年8月發布的報告顯示，到2020年，全球大數據市場的收入規模預計將達到560億美元，較2018年的預期水平增長約33.33%，較2016年的市場收入規模翻一倍。隨著市場整體的日漸成熟和新興技術的不斷融合發展，未來大數據市場將呈現穩步發展的態勢，增速維持在14%左右。在2018-2020年的預測期內，大數據市場整體的收入規模將保持每年約70億美元的增長，復合年均增長率約為15.33%。
從細分市場來看，大數據硬件、軟件和服務的市場規模均保持較穩定的增長，預計到2020年，三大細分市場的收入規模將分別達到150億美元(硬件)、200億美元(軟件)、210億美元(服務)。具體來看，2016-2017年，軟件市場規模增速達到了37.5%，在數值上超過了傳統的硬件市場。隨著機器學習、高級分析算法等技術的成熟與融合，更多的數據應用和場景正在落地，大數據軟件市場將繼續高速增長。預計在2018-2020年間，每年約有30億美元的增長規模，復合年均增長率約為19.52%。大數據相關服務的規模始終最高，預計在2018-2020年間的復合年均增長率約為14.56%。相比之下，硬件市場增速最低，但仍能保持約11.8%的復合年均增長率。從整體占比來看，軟件規模占比將逐漸增加，服務相關收益將保持平穩發展的趨勢，軟件與服務之間的差距將不斷縮小，而硬件規模在整體的占比則逐漸減小。
(四)大數據企業加速整合
近兩年來，國際具有影響力的大數據公司也遭遇了一些變化。2018年10月，美國大數據技術巨頭Cloudera和Hortonworks宣布合并。在Hadoop領域，兩家公司的合并意味著“強強聯手”，而在更加廣義的大數據領域，則更像是“抱團取暖”。但毫無疑問，這至少可以幫助兩家企業結束近十年的競爭，并且依靠壟斷地位早日擺脫長期虧損的窘況。而從第三方的角度來看，這無疑會影響整個Hadoop的生態。開源大數據目前已經成為互聯網企業的基礎設施，兩家公司合并意味著Hadoop的標準將更加統一，長期來看新公司的盈利能力也將大幅提升，并將更多的資源用于新技術的投入。從體量和級別上來看，新公司將基本代表Hadoop社區，其他同類型企業將很難與之競爭。
2019年8月，惠普(HPE)收購大數據技術公司MapR的業務資產，包括MapR的技術、知識產權以及多個領域的業務資源等。MapR創立于2009年，屬于Hadoop全球軟件發行版供應商之一。專家普遍認為，企業組織越來越多以云服務形式使用數據計算和分析產品是使得MapR需求減少的重要原因之一。用戶需求正從采購以Hadoop為代表的平臺型產品，轉向結合云化、智能計算后的服務型產品。這也意味著，全球企業級IT廠商的戰爭已經進入到了一個新階段，即滿足用戶從平臺產品到云化服務，再到智能解決方案的整體需求。
(五)數據合規要求日益嚴格
近兩年來，各國在數據合規性方面的重視程度越來越高，但數據合規的進程仍任重道遠。2019年5月25日，旨在保護歐盟公民的個人數據、對企業的數據處理提出了嚴格要求的《通用數據保護條例》(GDPR)實施滿一周年，數據保護相關的案例與公開事件數量攀升，同時也引起了諸多爭議。
牛津大學的一項研究發現，GDPR實施滿一年后，未經用戶同意而設置的新聞網站上的Cookies數量下降了22%。歐盟EDPB的報告顯示，GDPR實施一年以來，歐盟當局收到了約145000份數據安全相關的投訴和問題舉報;共判處5500萬歐元行政罰款。蘋果、微軟、Twitter、WhatsApp、Instagram等企業也都遭到調查或處罰。
GDPR正式實施之后，帶來了全球隱私保護立法的熱潮，并成功提升了社會各領域對于數據保護的重視。例如，2020年1月起，美國加州消費者隱私法案(CCPA)也將正式生效。與GDPR類似，CCPA將對所有和美國加州居民有業務的數據商業行為進行監管。CCPA在適用監管的標準上比GDPR更寬松，但是一旦滿足被監管的標準，違法企業受到的懲罰更大。
2019年8月份，IAPP(世界上信息隱私方面的專業協會)OneTrust(第三方風險技術平臺)對部分美國企業進行了CCPA準備度調查，結果顯示，74%的受訪者認為他們的企業應該遵守CCPA，但只有大約2%的受訪者認為他們的企業已經完全做好了應對CCPA的準備。除加州CCPA外，更多的法案正在美國紐約州等多個州陸續生效。
二、融合成為大數據技術發展的重要特征
當前，大數據體系的底層技術框架已基本成熟。大數據技術正逐步成為支撐型的基礎設施，其發展方向也開始向提升效率轉變，逐步向個性化的上層應用聚焦，技術的融合趨勢愈發明顯。本章將針對當前大數據技術的幾大融合趨勢進行探討。
(一)算力融合：多樣性算力提升整體效率
隨著大數據應用的逐步深入，場景愈發豐富，數據平臺開始承載人工智能、物聯網、視頻轉碼、復雜分析、高性能計算等多樣性的任務負載。同時，數據復雜度不斷提升，以高維矩陣運算為代表的新型計算范式具有粒度更細、并行更強、高內存占用、高帶寬需求、低延遲高實時性等特點，以CPU為底層硬件的傳統大數據技術無法有效滿足新業務需求，出現性能瓶頸。
當前，以CPU為調度核心，協同GPU、FPGA、ASIC及各類用于AI加速“xPU”的異構算力平臺成為行業熱點解決方案，以GPU為代表的計算加速單元能夠極大提升新業務計算效率。不同硬件體系融合存在開發工具相互獨立、編程語言及接口體系不同、軟硬件協同缺失等工程問題。為此，產業界試圖從統一軟件開發平臺和開發工具的層面來實現對不同硬件底層的兼容，例如Intel公司正在設計支持跨多架構(包括CPU、GPU、FPGA和其他加速器)開發的編程模型oneAPI，它提供一套統一的編程語言和開發工具集，來實現對多樣性算力的調用，從根本上簡化開發模式，針對異構計算形成一套全新的開放標準。
(二)流批融合：平衡計算性價比的最優解
流處理能夠有效處理即時變化的信息，從而反映出信息熱點的實時動態變化。而離線批處理則更能夠體現歷史數據的累加反饋�？紤]到對于實時計算需求和計算資源之間的平衡，業界很早就有了lambda架構的理論來支撐批處理和流處理共同存在的計算場景。隨著技術架構的演進，流批融合計算正在成為趨勢，并不斷在向更實時更高效的計算推進，以支撐更豐富的大數據處理需求。
流計算的產生來源于對數據加工時效性的嚴苛要求。數據的價值隨時間流逝而降低時，我們就必須在數據產生后盡可能快的對其進行處理，比如實時監控、風控預警等。早期流計算開源框架的典型工具是Storm，雖然它是逐條處理的典型流計算模式，但并不能滿足“有且僅有一次(Exactly-once)”的處理機制。
之后的Heron在Storm上做了很多改進，但相應的社區并不活躍。同期的Spark在流計算方面先后推出了SparkStreaming和StructuredStreaming，以微批處理的思想實現流式計算。而近年來出現的ApacheFlink，則使用了流處理的思想來實現批處理，很好地實現了流批融合的計算，國內包括阿里、騰訊、百度、字節跳動，國外包括Uber、Lyft、Netflix等公司都是Flink的使用者。2017年由伯克利大學AMPLab開源的Ray框架也有相類似的思想，由一套引擎來融合多種計算模式，螞蟻金服基于此框架正在進行金融級在線機器學習的實踐。
(三)TA融合：混合事務/分析支撐即時決策
TA融合是指事務(Transaction)與分析(Analysis)的融合機制。在數據驅動精細化運營的今天，海量實時的數據分析需求無法避免。分析和業務是強關聯的，但由于這兩類數據庫在數據模型、行列存儲模式和響應效率等方面的區別，通常會造成數據的重復存儲。事務系統中的業務數據庫只能通過定時任務同步導入分析系統，這就導致了數據時效性不足，無法實時地進行決策分析。
混合事務/分析處理(HTAP)是Gartner提出的一個架構，它的設計理念是為了打破事務和分析之間的“墻”，實現在單一的數據源上不加區分的處理事務和分析任務。這種融合的架構具有明顯的優勢，可以避免頻繁的數據搬運操作給系統帶來的額外負擔，減少數據重復存儲帶來的成本，從而及時高效地對最新業務操作產生的數據進行分析。
(四)模塊融合：一站式數據能力復用平臺
大數據的工具和技術棧已經相對成熟，大公司在實戰經驗中圍繞工具與數據的生產鏈條、數據的管理和應用等逐漸形成了能力集合，并通過這一概念來統一數據資產的視圖和標準，提供通用數據的加工、管理和分析能力。
數據能力集成的趨勢打破了原有企業內的復雜數據結構，使數據和業務更貼近，并能更快地使用數據驅動決策。主要針對性地解決三個問題：一是提高數據獲取的效率;二是打通數據共享的通道;三是提供統一的數據開發能力。這樣的“企業級數據能力復用平臺”是一個由多種工具和能力組合而成的數據應用引擎、數據價值化的加工廠，來連接下層的數據和上層的數據應用團隊，從而形成敏捷的數據驅動精細化運營的模式。阿里巴巴提出的“中臺”概念和華為公司提出的“數據基礎設施”概念都是模塊融合趨勢的印證。
(五)云數融合：云化趨勢降低技術使用門檻
大數據基礎設施向云上遷移是一個重要的趨勢。各大云廠商均開始提供各類大數據產品以滿足用戶需求，紛紛構建自己的云上數據產品。早期的云化產品大部分是對已有大數據產品的云化改造，現在，越來越多的大數據產品從設計之初就遵循了云原生的概念進行開發，生于云長于云，更適合云上生態。
向云化解決方案演進的最大優點是用戶不用再操心如何維護底層的硬件和網絡，能夠更專注于數據和業務邏輯，在很大程度上降低了大數據技術的學習成本和使用門檻。
(六)數智融合：數據與智能多方位深度整合
大數據與人工智能的融合主要體現在大數據平臺的智能化與數據治理的智能化。智能的平臺：用智能化的手段來分析數據是釋放數據價值高階之路，但用戶往往不希望在兩個平臺間不斷的搬運數據，這促成了大數據平臺和機器學習平臺深度整合的趨勢，大數據平臺在支持機器學習算法之外，還將支持更多的AI類應用。
Databricks為數據科學家提供一站式的分析平臺DataScienceWorkspace，Cloudera也推出了相應的分析平臺ClouderaDataScienceWorkbench。2019年底，阿里巴巴基于Flink開源了機器學習算法平臺Alink，并已在阿里巴巴搜索、推薦、廣告等核心實時在線業務中有廣泛實踐。
智能的數據治理：數據治理的輸出是人工智能的輸入，即經過治理后的大數據。AI數據治理，是通過智能化的數據治理使數據變得智能：通過智能元數據感知和敏感數據自動識別，對數據自動分級分類，形成全局統一的數據視圖。通過智能化的數據清洗和關聯分析，把關數據質量，建立數據血緣關系。數據能夠自動具備類型、級別、血緣等標簽，在降低數據治理復雜性和成本的同時，得到智能的數據。
三、大數據產業蓬勃發展
近年來，中國大數據產業蓬勃發展，融合應用不斷深化，數字經濟量質提升，對經濟社會的創新驅動、融合帶動作用顯著增強。本章將從政策環境、主管機構、產品生態、行業應用等方面對中國大數據產業發展的態勢進行簡要分析。
(一)大數據產業發展政策環境日益完善
產業發展離不開政策支撐。中國政府高度重視大數據的發展。自2014年以來，中國國家大數據戰略的謀篇布局經歷了四個不同階段。
1.預熱階段：2014年3月，“大數據”一詞首次寫入政府工作報告，為中國大數據發展的政策環境搭建開始預熱。從這一年起，“大數據”逐漸成為各級政府和社會各界的關注熱點，中央政府開始提供積極的支持政策與適度寬松的發展環境，為大數據發展創造機遇。
2.起步階段：2015年8月31日，國務院正式印發了《促進大數據發展行動綱要》(國發〔2015〕50號)，成為中國發展大數據的首部戰略性指導文件，對包括大數據產業在內的大數據整體發展作出了部署，體現出國家層面對大數據發展的頂層設計和統籌布局。
3.落地階段：《十三五規劃綱要》的公布標志著國家大數據戰略的正式提出，彰顯了中央對于大數據戰略的重視。2016年12月，工信部發布《大數據產業發展規劃(2016-2020年)》，為大數據產業發展奠定了重要的基礎。
4.深化階段：隨著國內大數據迎來全面良好的發展態勢，國家大數據戰略也開始走向深化階段。2017年10月，黨的十九大報告中提出推動大數據與實體經濟深度融合，為大數據產業的未來發展指明方向。12月，中央政治局就實施國家大數據戰略進行了集體學習。2019年3月，政府工作報告第六次提到“大數據”，并且有多項任務與大數據密切相關。
自2015年國務院發布《促進大數據發展行動綱要》系統性部署大數據發展工作以來，各地陸續出臺促進大數據產業發展的規劃、行動計劃和指導意見等文件。截至目前，除港澳臺外全國31個省級單位均已發布了推進大數據產業發展的相關文件�？梢哉f，中國各地推進大數據產業發展的設計已經基本完成，陸續進入了落實階段。
梳理31個省級行政單位的典型大數據產業政策可以看出，大部分省(區、市)的大數據政策集中發布于2016年至2017年。而在近兩年發布的政策中，更多的地方將新一代信息技術整體作為考量，并加入了人工智能、數字經濟等內容，進一步地拓展了大數據的外延。同時，各地在頒布大數據政策時，除注重大數據產業的推進外，也在更多地關注產業數字化和政務服務等方面，這也體現出了大數據與行業應用結合及政務數據共享開放近年來取得的進展。
(二)各地大數據主管機構陸續成立
近年來，部分省市陸續成立了大數據局等相關機構，對包括大數據產業在內的大數據發展進行統一管理。以省級大數據主管機構為例，從2014年廣東省設立第一個省級大數據局開始，截至2019年5月，共有14個省級地方成立了專門的大數據主管機構。
除此之外，上海、天津、江西等省市組建了上海市大數據中心、天津市大數據管理中心、江西省信息中心(江西省大數據中心)，承擔了一部分大數據主管機構的職能。部分省級以下的地方政府也相應組建了專門的大數據管理機構。根據黃璜等人的統計，截至2018年10月已有79個副省級和地級城市組建了專門的大數據管理機構。
(三)大數據技術產品水平持續提升
從產品角度來看，目前大數據技術產品主要包括大數據基礎類技術產品(承擔數據存儲和基本處理功能，包括分布式批處理平臺、分布式流處理平臺、分布式數據庫、數據集成工具等)、分析類技術產品(承擔對于數據的分析挖掘功能，包括數據挖掘工具、bi工具、可視化工具等)、管理類技術產品(承擔數據在集成、加工、流轉過程中的管理功能，包括數據管理平臺、數據流通平臺等)等。中國在這些方面都取得了一定的進展。
中國大數據基礎類技術產品市場成熟度相對較高。一是供應商越來越多，從最早只有幾家大型互聯網公司發展到目前的近60家公司可以提供相應產品，覆蓋了互聯網、金融、電信、電力、鐵路、石化、軍工等不同行業;二是產品功能日益完善，根據中國信通院的測試，分布式批處理平臺、分布式流處理平臺類的參評產品功能項通過率均在95%以上;三是大規模部署能力有很大突破，例如阿里云MaxCompute通過了10000節點批處理平臺基礎能力測試，華為GuassDB通過了512臺物理節點的分析型數據庫基礎能力測試;四是自主研發意識不斷提高，目前有很多基礎類產品源自對于開源產品進行的二次開發，特別是分布式批處理平臺、流處理平臺等產品九成以上基于已有開源產品開發。
中國大數據分析類技術產品發展迅速，個性化與實用性趨勢明顯。一是滿足跨行業需求的通用數據分析工具類產品逐漸應運而生，如百度的機器學習平臺Jarvis、阿里云的機器學習平臺PAI等;二是隨著深度學習技術的相應發展，數據挖掘平臺從以往只支持傳統機器學習算法轉變為額外支持深度學習算法以及GPU計算加速能力;三是數據分析類產品易用性進一步提升，大部分產品都擁有直觀的可視化界面以及簡潔便利的交互操作方式。
中國大數據管理類技術產品還處于市場形成的初期。目前，國內常見的大數據管理類軟件有20多款。數據管理類產品雖然涉及的內容龐雜，但技術實現難度相對較低，一些開源軟件如Kettle、Sqoop和Nifi等，為數據集成工具提供了開發基礎。中國信通院測試結果顯示，參照囊括功能全集的大數據管理軟件評測標準，所有參評產品符合程度均在90%以下。隨著數據資產的重要性日益突出，數據管理類軟件的地位也將越來越重要，未來將機器學習、區塊鏈等新技術與數據管理需求結合，還有很大的發展空間。
(四)大數據行業應用不斷深化
前幾年，大數據的應用還主要在互聯網、營銷、廣告領域。這幾年，無論是從新增企業數量、融資規模還是應用熱度來說，與大數據結合緊密的行業逐步向工業、政務、電信、交通、金融、醫療、教育等領域廣泛滲透，應用逐漸向生產、物流、供應鏈等核心業務延伸，涌現了一批大數據典型應用，企業應用大數據的能力逐漸增強。電力、鐵路、石化等實體經濟領域龍頭企業不斷完善自身大數據平臺建設，持續加強數據治理，構建起以數據為核心驅動力的創新能力，行業應用“脫虛向實”趨勢明顯，大數據與實體經濟深度融合不斷加深。
電信行業方面，電信運營商擁有豐富的數據資源。數據來源涉及移動通話和固定電話、無線上網、有線寬帶接入等所有業務，也涵蓋線上線下渠道在內的渠道經營相關信息，所服務的客戶涉及個人客戶、家庭客戶和政企客戶。三大運營商2019年以來在大數據應用方面都走向了更加專業化的階段。電信行業在發展大數據上有明顯的優勢，主要體現在數據規模大、數據應用價值持續凸顯、數據安全性普遍較高。2019年，三大運營商都已經完成了全集團大數據平臺的建設，設立了專業的大數據運營部門或公司，開始了數據價值釋放的新舉措。通過對外提供領先的網絡服務能力，深厚的數據平臺架構和數據融合應用能力，高效可靠的云計算基礎設施和云服務能力，打造數字生態體系，加速非電信業務的變現能力。
金融行業方面，隨著金融監管日趨嚴格，通過金融大數據規范行業秩序并降低金融風險逐漸成為金融大數據的主流應用場景。同時，各大金融機構由于信息化建設基礎好、數據治理起步早，使得金融業成為數據治理發展較為成熟的行業。
互聯網營銷方面，隨著社交網絡用戶數量不斷擴張，利用社交大數據來做產品口碑分析、用戶意見收集分析、品牌營銷、市場推廣等“數字營銷”應用，將是未來大數據應用的重點。電商數據直接反映用戶的消費習慣，具有很高的應用價值。伴隨著移動互聯網流量見頂，以及廣告主營銷預算的下降，如何利用大數據技術幫助企業更高效地觸達目標用戶成為行業最熱衷的話題。“線下大數據”“新零售”的概念日漸火熱，但其對于個人信息保護方面容易存在漏洞，也使得合規性成為這一行業發展的核心問題。
工業方面，工業大數據是指在工業領域里，在生產鏈過程包括研發、設計、生產、銷售、運輸、售后等各個環節中產生的數據總和。隨著工業大數據成熟度的提升，工業大數據的價值挖掘也逐漸深入。目前，各個工業企業已經開始面向數據全生命周期的數據資產管理，逐步提升工業大數據成熟度，深入工業大數據價值挖掘。
能源行業方面，2019年5月，國家電網大數據中心正式成立，該中心旨在打通數據壁壘、激活數據價值、發展數字經濟，實現數據資產的統一運營，推進數據資源的高效使用。這是傳統能源行業擁抱大數據應用的一次機制創新。
醫療健康方面，醫療大數據成為2019年大數據應用的熱點方向。2018年7月頒布的《國家健康醫療大數據標準、安全和服務管理辦法》為健康行業大數據服務指導了方向。電子病歷、個性化診療、醫療知識圖譜、臨床決策支持系統、藥品器械研發等成為行業熱點。
除以上行業之外，教育、文化、旅游等各行各業的大數據應用也都在快速發展。中國大數據的行業應用更加廣泛，正加速滲透到經濟社會的方方面面。
四、數據資產化步伐穩步推進
在黨的十九屆四中全會上，中央首次公開提出“健全勞動、資本、土地、知識、技術、管理和數據等生產要素按貢獻參與分配的機制”。這是中央首次在公開場合提出數據可作為生產要素按貢獻參與分配，反映了隨著經濟活動數字化轉型加快，數據對提高生產效率的乘數作用凸顯，成為最具時代特征新生產要素的重要變化。
(一)數據：從資源到資產
“數據資產”這一概念是由信息資源和數據資源的概念逐漸演變而來的。信息資源是在20世紀70年代計算機科學快速發展的背景下產生的，信息被視為與人力資源、物質資源、財務資源和自然資源同等重要的資源，高效、經濟地管理組織中的信息資源是非常必要的。數據資源的概念是在20世紀90年代伴隨著政府和企業的數字化轉型而產生，是有含義的數據集結到一定規模后形成的資源。數據資產在21世紀初大數據技術的興起背景下產生，并隨著數據管理、數據應用和數字經濟的發展而普及。
中國信通院在2017年將“數據資產”定義為“由企業擁有或者控制的，能夠為企業帶來未來經濟利益的，以一定方式記錄的數據資源”。這一概念強調了數據具備的“預期給會計主體帶來經濟利益”的資產特征。
(二)數據資產管理理論體系仍在發展
數據管理的概念是伴隨著20世紀80年代數據隨機存儲技術和數據庫技術的使用而誕生的，主要指在計算機系統中的數據可以被方便地存儲和訪問。經過40年的發展，數據管理的理論體系主要形成了國際數據管理協會(DAMA)、IBM和數據管控機構(DGI)所提出的三個流派。然而，以上三種理論體系都是大數據時代之前的產物，其視角還是將數據作為信息來管理，更多的是為了滿足監管要求和企業考核的目的，并沒有從數據價值釋放的維度來考慮。
在數據資產化背景下，數據資產管理是在數據管理基礎上的進一步發展，可以視作數據管理的“升級版”。主要區別表現為以下三方面。一是管理視角不同，數據管理主要關注的是如何解決問題數據帶來的損失，而數據資產管理則關注如何利用數據資產為企業帶來價值，需要基于數據資產的成本、收益來開展數據價值管理。
二是管理職能不同，傳統數據管理的管理職能包含數據標準管理、數據質量管理、元數據管理、主數據管理、數據模型管理、數據安全管理等，而數據資產管理針對不同的應用場景和大數據平臺建設情況，增加了數據價值管理和數據共享管理等職能。三是組織架構不同，在“數據資源管理轉向數據資產管理”的理念影響下，相應的組織架構和管理制度也有所變化，需要有更專業的管理隊伍和更細致的管理制度來確保數據資產管理的流程性、安全性和有效性。
(三)各行業積極實踐數據資產管理
各行業實踐數據資產管理普遍經歷3-4個階段。最初，行業數據資產管理主要是為了解決報表和經營分析的準確性，并通過建立數據倉庫實現。隨后，行業數據資產管理的目的是治理數據，管理對象由分析域延伸到生產域，并在數據庫中開展數據標準管理和數據質量管理。隨著大數據技術的發展，企業數據逐步匯總到大數據平臺，形成了數據采集、計算、加工、分析等配套工具，建立了元數據管理、數據共享、數據安全保護等機制，并開展了數據創新應用。
而目前，許多行業的數據資產管理已經進入到數據資產運營階段，數據成為了企業核心的生產要素，不僅滿足企業內部各項業務創新，還逐漸成為服務企業外部的數據產品。企業也積極開展如數據管理能力成熟度模型(DCMM)等數據管理能力評估工作，不斷提升數據資產管理能力。金融、電信等行業普遍在2000年至2010年間就開始了數據倉庫建設(簡稱數倉建設)，并將數據治理范圍逐步擴展到生產域，建立了比較完善的數據治理體系。2010年后通過引入大數據平臺，企業實現了數據的匯聚，并逐漸向數據湖發展，內部的數據應用較為完善，不少企業逐漸在探索數據對外運營和服務。
(四)數據資產管理工具百花齊放
數據資產管理工具是數據資產管理工作落地的重要手段。由于大數據技術棧中開源軟件的缺失，數據資產管理的技術發展沒有可參考的模板，工具開發者多從數據資產管理實踐與項目中設計工具架構，各企業數據資產管理需求的差異化使得數據資產管理工具的形態各異。因此，數據資產管理工具市場呈現百花齊放的狀態。數據資產管理工具可以是多個工具的集成，并以模塊化的形式集中于數據管理平臺。
元數據管理工具、數據標準管理工具、數據質量管理工具是數據資產管理工具的核心，數據價值工具是數據資產化的有力保障。中國信通院對數據管理平臺的測試結果顯示，數據管理平臺對于元數據管理工具、數據標準管理工具和數據質量管理工具的覆蓋率達到了100%，這些工具通過追蹤記錄數據、標準化數據、稽核數據的關鍵活動，有效地管理了數據，提升了數據的可用性。
與此同時，主數據管理工具和數據模型管理工具的覆蓋率均低于20%，其中主數據管理多以解決方案的方式提供服務，而數據模型管理多在元數據管理中實現，或以獨立工具在設計數據庫或數據倉庫階段完成。超過80%的數據價值工具以直接提供數據源的方式進行數據服務，其它的數據服務方式包括數據源組合、數據可視化和數據算法模型等。超過95%的數據價值工具動態展示數據的分布應用和存儲計算情況，但僅有不到10%的工具量化數據價值，并提供數據增值方案。
未來，數據資產管理工具將向智能化和敏捷化發展，并以自助服務分析的方式深化數據價值。Gartner在2019年關于分析與商務智能軟件市場的調研報告中顯示，該市場在2018年增長了11.7%，而基于自助服務分析的現代商務智能和數據科學平臺分別增長了23.3%和19%。隨著數據量的增加和數據應用場景的豐富，數據間的關系變得更加復雜，問題數據也隱藏于數據湖中難以被發覺。智能化的探索梳理結構化數據間、非結構化數據間的關系將節省巨大的人力，快速發現并處理問題數據也將極大的提升數據的可用性。在數據交易市場尚未成熟的情況下，通過擴展數據使用者的范圍，提升數據使用者挖掘數據價值的能力，將最大限度地開發和釋放數據價值。
(五)數據資產化面臨諸多挑戰
目前，困擾數據資產化的關鍵問題主要包括數據確權困難、數據估值困難和數據交易市場尚未成熟。
1.數據確權困難。
明確數據權屬是數據資產化的前提，但目前在數據權利主體以及權力分配上存在諸多爭議。數據權不同于傳統物權。物權的重要特征之一是對物的直接支配，但數據權在數據的全生命周期中有不同的支配主體，有的數據產生之初由其提供者支配，有的產生之初便被數據收集人支配(如微信聊天內容、電商消費數據、物流數據等);在數據處理階段被各類數據主體所支配。原始數據只是大數據產業的基礎，其價值屬性遠低于集合數據為代表的增值數據所產生的價值。
因此，法律專家們傾向于將數據的權屬分開，即不探討整體數據權，而是從管理權、使用權、所有權等維度進行探討。而由于數據從法律上目前尚沒有被賦予資產的屬性，所以數據所有權、使用權、管理權、交易權等權益沒有被相關的法律充分認同和明確界定。數據也尚未像商標、專利一樣，有明確的權利申請途徑、權利保護方式等，對于數據的法定權利，尚未有完整的法律保護體系。
2.數據估值困難。
影響數據資產價值的因素主要有質量、應用和風險三個維度。質量是決定數據資產價值的基礎，合理評估數據的質量水平，才能對數據的應用價值進行準確預測;應用是數據資產形成價值的方式，數據與應用場景結合才能貢獻經濟價值;風險則是指法律和道德等方面存在的限制。
目前，常用的數據資產估值方法主要有成本法、收益法和市場法三類。成本法從資產的重置角度出發，重點考慮資產價值與重新獲取或建立該資產所需成本之間的相關程度;收益法基于目標資產的預期應用場景，通過未來產生的經濟效益的折現來反映數據資產在投入使用后的收益能力，而根據衡量無形資產經濟效益的不同方法又可具體分為權利金節省法、多期超額收益法和增量收益法;市場法則是在相同或相似資產的市場可比案例的交易價格的基礎上，對差異因素進行調整，以此反映數據資產的市場價值。
評估數據資產的價值需要考慮多方面因素，數據的質量水平、不同的應用場景和特定的法律道德限制均對數據資產價值有所影響。雖然目前已有從不同角度出發的數據資產估值方法，但在實際應用中均存在不同的問題，有其適用性的限制。構建成熟的數據資產評價體系，還需要以現有方法為基礎框架，進一步探索在特定領域和具體案例中的適配方法。
3.數據交易市場尚未成熟。
2014年以來，國內出現了一批數據交易平臺，各地方政府也成立了數據交易機構，包括貴陽大數據交易所、長江大數據交易中心、上海數據交易中心等。同時，互聯網領軍企業也在積極探索新的數據流通機制，提供了行業洞察、營銷支持、輿情分析、引擎推薦、API數據市場等數據服務，并針對不同的行業提出了相應的解決方案。
但是，由于數據權屬和數據估值的限制，以及數據交易政策和監管的缺失等因素，目前國內的數據交易市場盡管在數據服務方式上有所豐富，卻發展依然面臨諸多困難，阻礙了數據資產化的進程。主要體現在如下兩點。一是市場缺乏信任機制，技術服務方、數據提供商、數據交易中介等可能會私下緩存并對外共享、交易數據，數據使用企業不按協議要求私自留存、復制甚至轉賣數據的現象普遍存在。中國各大數據交易平臺并未形成統一的交易流程，甚至有些交易平臺沒有完整的數據交易規范，使得數據交易存在很大風險。
二是缺乏良性互動的數據交易生態體系。數據交易中所涉及的采集、傳輸、匯聚活動日益頻繁，相應的，個人隱私、商業機密等一系列安全問題也日益突出，亟需建立包括監管機構和社會組織等多方參與的，法律法規和技術標準多要素協同的，覆蓋數據生產流通全過程和數據全生命周期管理的數據交易生態體系。
五、數據安全合規要求不斷提升
2019年以來，大數據安全合規方面不斷有事件曝出。2019年9月6日，位于杭州的大數據風控平臺杭州魔蝎數據科技有限公司被警方控制，高管被帶走，相關服務暫時癱瘓。同日，另一家提供大數據風控服務的新顏科技人工智能科技有限公司高管被帶走協助調查。以兩平臺被查為開端，短短一周內，多家征信企業分別有人被警方帶走調查，市場紛紛猜測是否與爬蟲業務有關。一時間，大數據安全合規的問題，特別是對于個人信息保護的問題，再次成為了行業關注熱點。
(一)數據相關法律監管日趨嚴格規范
與全球不斷收緊的數據合規政策相類似，中國在數據法律監管方面也日趨嚴格規范。當前中國大數據方面的立法呈現出以個人信息保護為核心，包含基本法律、司法解釋、部門規章、行政法規等綜合框架。一些綜合性法律中也涉及了個人信息保護條款。
2019年以來，數據安全方面的立法進程明顯加快。中央網信辦針對四項關于數據安全的管理辦法相繼發布征求意見稿，其中，《兒童個人信息網絡保護規定》已正式公布，并于2019年10月1日開始施行。一系列行政法規的制訂，喚起了民眾對數據安全的強烈關注。
但不可否認的是，從法律法規體系方面來看，中國的數據安全法律法規仍不夠完善，呈現出缺乏綜合性統一法律、缺乏法律細節解釋、保護與發展協調不夠等問題。2018年，十三屆全國人大常委會立法規劃中的“條件比較成熟、任期內擬提請審議的法律草案”包括了《個人信息保護法》《數據安全法》兩部。個人信息和數據保護的綜合立法時代即將來臨。
(二)數據安全技術助力大數據合規要求落地
數據安全的概念來源于傳統信息安全的概念。在傳統信息安全中數據是內涵，信息系統是載體，數據安全是整個信息安全的關注重點，信息安全的主要內容是通過安全技術保障數據的秘密性、完整性和可用性。從數據生命周期的角度區分，數據安全技術包括作用于數據采集階段的敏感數據鑒別發現、數據分類分級標簽、數據質量監控;作用于數據存儲階段的數據加密、數據備份容災;作用于數據處理階段的數據脫敏、安全多方計算、聯邦學習;作用于數據刪除階段的數據全副本銷毀;作用于整個數據生命周期的用戶角色權限管理、數據傳輸校驗與加密、數據活動監控審計等。
當前中國數據安全法律法規重點關注個人信息的保護，大數據行業整體合規也必然將以此作為核心。而在目前的數據安全技術中有為數不少的技術手段瞄準了敏感數據在處理使用中的防護，例如數據脫敏、安全多方計算、聯邦學習等。
在《數據安全管理辦法(征求意見稿)》中明確要求，對于個人信息的提供和保存要經過匿名化處理，而數據脫敏技術是實現數據匿名化處理的有效途徑。應用靜態脫敏技術可以保證數據對外發布不涉及敏感信息，同時在開發、測試環境中保證敏感數據集本身特性不變的情況下能夠正常進行挖掘分析;應用動態脫敏技術可以保證在數據服務接口能夠實時返回數據請求的同時杜絕敏感數據泄露風險。
安全多方計算和聯邦學習等技術能夠確保在協同計算中任何一方實際數據不被其他方獲得的情況下完成計算任務并獲得正確計算結果。應用這些技術能夠在有效保護敏感數據以及個人隱私數據不存在泄露風險的同時完成原本需要執行的數據分析、數據挖掘、機器學習等任務。
上述技術是當前最為主流的數據安全保護技術，也是最有利于大數據安全合規落地的數據安全保護技術。其中的各項技術分別具有各自的技術實現方式、應用場景、技術優勢和當前存在的問題，具體的對比如表3。
上述技術均存在多種技術實現方式，不同實現方式可能達到對于隱私數據的不同程度保護，不同的應用場景對于隱私數據的保護程度和可用性也有不同的需求。作為助力實現大數據安全合規落地的主要技術，在實際應用中使用者應根據具體的應用場景選擇合適的隱私保護技術以及合適的實現方式，而繁多的實現方式和產品化的功能點區別導致技術使用者具體進行選擇時會遇到很大的困難。通過標準對相應隱私保護技術進行規范化，可以有效地應對這種情況。
未來伴隨著大數據產業的不斷發展，個人信息和數據安全相關法律法規將不斷出臺，在企業合規方面，應用標準化的數據安全技術是十分有效的合規落地手段。隨著公眾數據安全意識的提升和技術本身的不斷進步完善，數據安全技術將逐漸呈現出規范化、標準化的趨勢，參照相關法律法規要求進行相關產品技術標準制定，應用符合相應技術標準的數據安全技術產品，保證對于敏感數據和個人隱私數據的使用合法合規，將成為未來大數據產業合規落地的一大趨勢。
(三)數據安全標準規范體系不斷完善
相對于法律法規和針對于數據安全技術的標準，在大數據安全保護中，標準和規范也發揮著不可替代的作用�！缎畔踩夹g個人信息安全規范》是個人信息保護領域重要的推薦性標準。標準結合國際通用的個人信息和隱私保護理念，提出了“權責一致、目的明確、選擇同意、最少夠用、公開透明、確保安全、主體參與”七大原則，為企業完善內部個人信息保護制度及實踐操作規則提供了更為細致的指引。2019年6月25日，該標準修訂后的征求意見稿正式發布。
一系列聚焦數據安全的國家標準近年來陸續發布。包括《大數據服務安全能力要求》(GB/T35274-2017)《大數據安全管理指南》(GB/T37973-2019)《數據安全能力成熟度模型》(GB/T37988-2019)《數據交易服務安全要求》(GB/T37932-2019)等，這些標準對于中國數據安全領域起到了重要的指導作用。
中國通信標準化協會大數據技術標準推進委員會(CCSATC601)推出的《可信數據服務》系列規范將個人信息保護推廣到企業數據綜合合規。標準針對數據供方和數據流通平臺的不同角色身份，從管理流程和管理內容等方面對企業數據合規提出了推薦性建議。規范列舉了數據流通平臺提供數據流通服務時，在平臺管理、流通參與主體管理、流通品管理、流通過程管理等方面的管理要求和建議，以及數據供方提供數據產品時，在數據產品管理、數據產品供應管理等方面需滿足和體現服務能力與服務質量的要求。系列規范已于2019年6月發布。
六、大數據發展展望
黨的十九屆四中全會提出將數據與資本、土地、知識、技術和管理并列作為可參與分配的生產要素，這體現出數據在國民經濟運行中變得越來越重要，數據對經濟發展、社會生活和國家治理正在產生著根本性、全局性、革命性的影響。
技術方面，我們仍然處在“數據大爆發”的初期，隨著5G、工業互聯網的深入發展，將帶來更大的“數據洪流”，這就為大數據的存儲、分析、管理帶來更大的挑戰，牽引大數據技術再上新的臺階。硬件與軟件的融合、數據與智能的融合將帶動大數據技術向異構多模、超大容量、超低時延等方向拓展。
應用方面，大數據行業應用正在從消費端向生產端延伸，從感知型應用向預測型、決策型應用發展。當前，互聯網行業已經從“IT時代”全面進入“DT時代”(DataTechnology)。未來幾年，隨著各地政務大數據平臺和大型企業數據中臺的建成，將促進政務、民生與實體經濟領域的大數據應用再上新的臺階。
治理方面，隨著國家數據安全法律制度的不斷完善，各行業的數據治理也將深入推進。數據的采集、使用、共享等環節的亂象得到遏制，數據的安全管理成為各行各業自覺遵守的底線，數據流通與應用的合規性將大幅提升，健康、可持續的大數據發展環境逐步形成。
然而，中國大數據發展也同樣面臨著諸多問題。例如，大數據原創性的技術和產品尚不足;數據開放共享水平依然較低，跨部門、跨行業的數據流通仍不順暢，有價值的公共信息資源和商業數據沒有充分流動起來;數據安全管理仍然薄弱，個人信息保護面臨新威脅與新風險。這就需要大數據從業者們在大數據理論研究、技術研發、行業應用、安全保護等方面付出更多的努力。
新的時代，新的機遇。我們也看到，大數據與5G、人工智能、區塊鏈等新一代信息技術的融合發展日益緊密。特別是區塊鏈技術，一方面區塊鏈可以在一定程度上解決數據確權難、數據孤島嚴重、數據壟斷等“先天病”，另一方面隱私計算技術等大數據技術也反過來促進了區塊鏈技術的完善。在新一代信息技術的共同作用下，中國的數字經濟正向著更加互信、共享、均衡的方向發展，數據的“生產關系”正在進一步重塑。
參考文獻：
[1]陳一：《我國大數據交易產權管理實踐及政策進展研究》，《現代情報》，2019年第11期。
[2]黃璜、孫學智：《中國地方政府數據治理機構的初步研究：現狀與模式》，《中國行政管理》，2018年第12期。
大數據方向論文范文：大數據時代的企業財務管理研究
摘要：在大數據時代，誰掌握信息化技術，誰就掌握了贏得市場的先機。為了提升財務管理能力，企業必須要加強信息技術的應用。通過推進財務管理信息化，進一步提升財務管理的效用，有關領導一定要堅持創新的原則，不斷提升信息化工作意識，提高信息化水平，完善信息化制度體系，從而從根本上推動財務管理工作的發展，促進企業提升競爭實力，更好地適應瞬息萬變的市場。
轉載請注明來自發表學術論文網：http://www.cnzjbx.cn/jjlw/22446.html
