中國煤炭地質總局煤航集團：為數據處理裝上“超級大腦”

每天，除定期巡檢服務器、接待來訪客戶等工作外，中國煤炭地質總局煤航集團煤航大數據中心工程師陳衛斌還有一項重要工作：在“大數據中心資源使用統計表”上登記，調配計算資源，以滿足各項目的數據計算需求。

“目前項目已排到2020年12月底。”陳衛斌邊登記邊說。

數據計算是煤航大數據中心針對實景三維、地質災害遙感識別、多元遙感影像的集成與整合等高密計算而提供的一項服務功能。批處理、速度快、算力大幅提升，如同給數據處理裝上“超級大腦”。運行近5個月，經不斷測試，煤航大數據中心計算功能完全滿足超密數據計算需求。

建成地理空間大數據中心

伴隨雲計算、5G、人工智能等信息技術的不斷發展，我國“數字化”“智慧化”進程加快，其對地理信息行業的生產效率及其產品豐富性的要求也越來越高。數據計算是數據處理的重要環節，提高地理空間數據的計算效率尤為迫切。

作為中國煤炭地質總局從事地理信息技術研發與應用的高科技企業，煤航大數據中心不斷生產遙感、測繪等地理空間數據，並且每年以100萬億字節速度增長。

與大多數國有企業類似，煤航大數據中心曾存在“數據孤島”現象，大部分數據分散在基層企業，數據處理由下屬企業自行完成。煤航大數據中心航測工程分公司作為測繪數據主要生產單位，近年來承接的實景三維模型項目不斷增多，其中涉及大量的傾斜航攝像片數據處理，對計算資源要求更高。

“以前數據處理都是在公司作業室完成，由一台主機分發給多個分機。”航測工程分公司三維中心主任趙帥表示，有時項目時間緊張，這種計算方式存在設備配置低、穩定性差、分機占用速度慢等問題，嚴重影響生產效率。

解決行業數據痛點成為當務之急。煤航大數據中心緊緊抓住“數字化”“新基建”等重大機遇，結合信息技術，建成地理空間大數據中心。

“我們建立服務器集群和‘數據湖’，實現資源統一調配和管理，打造敏捷高效的數據接收、存儲、處理和03manbetx 平台，以實現設施資源的最大化集成利用。”煤航集團黨委書記、董事長賴百煉介紹。最大限度地整合計算資源、存儲資源和網絡資源、提升算力，是煤航大數據中心功能之一。

數據處理效率提升3倍

煤航大數據中心建成後隨即投入測試。測試結果顯示，一個房地一體化項目的4萬多張無人機傾斜影像，如果按照以往計算模式，大概需要12天才能完成。使用煤航大數據中心分配的計算資源，大概需要4天時間就能完成。數據處理效率至少提升了3倍。

該中心相關人員表示，煤航大數據中心架構穩定、容錯能力強、效率高，能夠滿足現行三維實景生產的需求，運行效率能夠達到業內較高水平。目前，該公司承接的項目中涉及高密數據的計算均由煤航大數據中心完成。

煤航大數據中心的超算功能對承接的地質災害項目中的光學遙感、雷達遙感數據處理也發揮了重要作用。煤航遙感信息公司承擔的“藏東南地區地質災害隱患綜合遙感識別與調查”項目涉及16萬平方公裏地質災害早期識別，大約2000景SAR數據。

“該項目涉及數據量大，時間任務重，高性能數據計算成為重中之重。”該公司水工遙感所所長羅東海介紹，公司常規的計算機難以承擔如此大麵積的數據計算。

“以前都是先將數據裁剪成多個子區塊進行處理，然後對處理後的值區塊進行拚接，需要180天才能完成；借助大數據中心分配的計算資源，對這些數據進行批處理，同等條件下僅需60天就可以完成，數據處理效率提高了3倍，且幾何精度優於傳統方法。”通過項目驗證，羅東海給出結論：批處理、運行速度快，多線程處理之間互不影響。

截至目前，煤航大數據中心已為航測、遙感、地信、智慧鐵路、工程監理等企業的數據處理提供了計算服務，對實景三維、地質災害遙感識別、多元遙感影像的集成與整合等高密數據具備高效處理能力。

“目前主要是分配計算資源，一旦遇上重大緊急項目，大數據中心可以集中軟硬件資源，集中力量辦大事，處理速度將比現在更快，效率也將更高。”陳衛斌對大數據中心超算優勢充滿信心。（魯建偉 杜旭濤）