在大數據應用需求的驅動下，計算技術體系正在重構，從“以計算為中心”向“以數據為中心”轉型，在新的計算技術體系下，一些基礎理論和核心技術問題亟待破解。本文提出新型大數據系統技術發展的十大趨勢。

趨勢一：數據與應用進一步分離，實現數據要素化。

數據一開始是依附于具體應用的。數據庫技術的出現使得數據與應用實現了第一次分離。數據存儲在數據庫中，不再依賴具體的應用而存在。數據要素化的需求將推動數據與應用進一步分離，數據不再依賴于具體的業務場景，數據以獨立的形態存在于數據庫中，并通過數據服務為不同的業務場景提供服務。例如，人口數據庫可以為全部的涉及人口信息的業務場景提供服務。

趨勢二：數聯網成為數字化時代的新型信息基礎設施。

將形成一套完整的數聯網基礎軟件理論、系統軟件架構、關鍵技術體系，包括：針對數聯網軟件以數據為中心的特點，需要從復雜網絡和復雜系統等復雜性理論出發，研究數聯網軟件的結構組成、行為模式和外在性質；針對數聯網軟件的數據傳存算一體化需求，需要采用數據互操作技術和軟件定義思想，研究數聯網軟件運行機理、體系結構與關鍵機制；針對數聯網軟件跨層級、跨地域、跨系統運行帶來的可靠性、可用性、安全性等質量挑戰，需要以數據驅動為手段，研究數聯網環境下保障服務質量與保護質量的原理、機制與方法。

趨勢三：從單域到跨域數據管理，促進數據要素的共享與協同。

以數據為中心的計算的核心目標是數據價值的最大化，關鍵要打破"數據孤島"，實現數據要素的高效共享與協同。傳統數據管理局限在單一企業、業務、數據中心等內部，未來大數據管理將從傳統的單域模式發展到跨域模式，跨越空間域、管轄域和信任域。但跨空間域會造成網絡時延較高且不穩定；跨管轄域會造成數據與應用異構，數據管理復雜度大大提升；跨信任域則要求具備容忍各類惡意錯誤的能力。跨域帶來的這些變化將為大數據技術帶來新的機遇和挑戰。

趨勢四：大數據管理與處理系統體系結構異構化日趨明顯。

體系結構創新進入"黃金十年"，圍繞不同數據處理特征的新型加速器（GPU、TPU、APU等各種xPU）層出不窮，存儲器件快速發展，高速固態硬盤（solid state disk，SSD）、新型非易失內存、新型計算網絡等成為大數據處理系統的重要硬件配置，計算與存儲的融合趨勢明顯。為了最大限度地發揮數據管理能力，大數據管理系統在存儲、網絡、計算等硬件上最大化挖掘新型硬件的處理能力。在處理上針對不同數據處理需求，配置不同計算與存儲硬件成為大數據處理系統的主流架構。數據驅動的計算架構快速發展，以數據流為中心的系統結構成為重要的系統設計理念。

趨勢五：擴展性優先設計到性能優先設計。

數據規模急劇增長，大數據處理需求越來越走向深度價值挖掘，數據處理計算愈發密集，數據管理與處理的成本成為大數據管理與處理系統的重要考量因素，傳統“擴展性優先”的大數據處理系統設計將會被“以性能優先”的系統設計代替。Spark、Flink等系統在大數據處理生態系統中的占有率明顯體現了這一趨勢，圖計算（圖加速器、圖計算框架等）、深度學習框架（Tensorflow、PyTorch等）等領域專用大數據處理系統的崛起也是這一系統設計理念在技術生態上的表現。智能化數據管理、近似計算等新興管理和處理方法成為性能優先設計的重要技術手段。

趨勢六：近數處理成為突破大數據處理系統性能瓶頸的重要途徑。

存算一體類體系結構技術快速發展，新型SSD等新型存儲贏家功能愈發豐富，分布式計算系統邊緣能力迅速發展。以上3種體系結構技術發展為大數據近數處理提供了良好的發展契機。近數處理體現在“存儲上移”（如在GPU、現場可編程門陣列（field-programmable gate array，FPGA）等計算設備上集成HBM）、"算力下沉"（如在DRAM內存或者SSD存儲設備上集成處理能力）、“分布擴展”（如在云、邊、端分布式處理數據，降低數據處理中心壓力）3個方面。

趨勢七：從單域單模態分析到多域多模態融合，實現廣譜關聯計算。

傳統大數據分析技術大多僅聚焦于單一來源、單一模態的數據，而實際應用中往往要對來自不同來源、不同模態（如文本、圖像、音視頻等）的數據進行聯合分析，從而實現不同來源與不同模態數據之間的信息互補。此外，諸多領域的大數據具有重要的時空屬性，當前研究對這類信息的利用還不夠充分。因此，探究能夠跨模態關聯、跨時空關聯的廣譜關聯技術是大數據分析處理的一個重要趨勢。

趨勢八：從聚焦關聯到探究因果，實現分析結果可解釋。

如何讓大數據分析模型更加穩定且具有可解釋性，從而使其分析結果對于用戶而言變得更加可信、更加可用最好還能具備一定的可回溯性，是大數據分析面臨的巨大挑戰。雖然因果推斷與可解釋性分析技術取得了一定進展，但總體來說尚處于起步階段，離實際應用還有很長一段距離。因此，從關聯到因果也是未來大數據分析技術的重要研究方向。

趨勢九：高能效大數據技術是可持續發展的關鍵。

全球大數據量的持續高速增長，以及“碳達峰、碳中和”目標的提出，要求大數據技術棧必須走低碳高效、可持續發展的路線。例如云數據管理系統以資源共享、節能高效為主要特點，將是未來大數據管理的主要基礎形態；在云數據管理基礎上的全國一體化高能效大數據管理，由于算力和數據要素的大規模調度與流通，可以進一步成為未來大數據管理的主要方向，形成低碳發展新格局。

趨勢十：大數據標準規范和以開源社區為核心的軟硬件生態系統將成為發展的重點。

隨著大數據在各個領域應用的迅速普及，標準化需求將不斷增長，與大數據流動融合、質量評估，以及與行業、領域應用密切相關的大數據標準將成為發展重點。開源社區在大數據軟硬件生態建設中的地位不斷加強，對開源社區的主導權爭奪將成為各國技術、產品和市場競爭的重點。