基于大數據技術的全國高速公路通行數據 動態監測平臺建設
大數據及其應用迅速發展，已經滲透到各個行業和業務職能領域，成為重要的生產因素，2015年8月國務院印發《促進大數據發展行動綱要》，將大數據提升為國家戰略。
項目背景
大數據及其應用迅速發展，已經滲透到各個行業和業務職能領域，成為重要的生產因素，2015年8月國務院印發《促進大數據發展行動綱要》，將大數據提升為國家戰略。在未來的5-10年，我國將把大數據作為提升政府治理能力的重要手段，大力推進大數據在政府管理中創新應用。為此，《交通運輸信息化”十三五”發展規劃》中提出要”運用大數據分析技術，開展交通運輸經濟運行分析、政策實施效果評價、交通發展趨勢研判等分析工作，提高交通運輸宏觀掌控能力”。《交通運輸統計發展綱要》也提出要”充分利用大數據、云計算等現代信息技術，變革統計生產方式，再造統計業務流程，豐富統計服務產品，不斷提升統計生產能力、管理能力和服務能力，開創交通運輸統計發展新局面”。
“十二五”以來，信息化逐漸融入行業管理的方方面面，作為大數據應用的基礎，交通運輸行業數據資源日益豐富。隨著以高速公路聯網收費、運輸車輛聯網聯控、智能公交、物流信息平臺等為代表的行業信息化重大工程的穩步實施，交通運輸行業管理部門所掌握的交通大數據規模爆發性增長，這為推進交通運輸行業大數據的應用，以大數據支撐行業管理決策，提高交通行業管理自動化、智能化水平提供了基礎性條件。
2012年以來，受交通運輸部委托，交通運輸部科學研究院以行業中信息化基礎最好的高速公路聯網收費業務為示范，通過建立全國統一的數據采集規范和數據治理標準，開發基于大數據技術的全國高速公路通行數據動態監測平臺，實現了全國29個省高速公路通行數據(源于高速公路聯網收費系統)的動態采集，并利用該數據開展行業大數據應用，顯著提升了交通運輸行業應用大數據的能力，為行業管理決策提供了有力的支撐，成為行業大數據應用創新的典范。
項目概況
主要建設內容
“基于大數據技術的全國高速公路通行數據動態監測平臺建設”屬于交通運輸行業”十二五”信息化重大工程的重要內容，其主要任務是要從全國29個實現了省級高速公路聯網收費省份，動態采集其高速公路聯網收費數據，并以大數據平臺為支撐，在交通運輸部實現對全國數據的集中存儲與管理，結合行業管理的需要建立業務模型，對全國高速公路聯網收費數據進行分析與挖掘，提升行業管理部門的動態監測能力和科學決策水平。
主要問題和挑戰
各省高速公路聯網收費系統獨立建設，系統架構和數據指標差異大
交通行業信息化由交通運輸部進行行業指導，各省結合業務管理需要自行進行建設。在高速公路管理信息化領域，各省建設進程差異巨大，東部發達省份高速公路建設起步早，信息化程度相對較高，許多省份在“十一五”期間已經實現了省級高速公路聯網收費，而西部許多省份例如新疆、青海等省則在近幾年才開始建設省級高速公路聯網收費系統。由于管理體制的差異，各省在建設過程中所采用的技術架構不一、數據管理模式千差萬別。大部分省高速公路聯網收費系統采用ORACLE進行數據存儲與管理，而一些發達省份，由于數據量龐大，已經逐步采用大數據管理系統作為數據管理工具。這些差異對從各省的系統中按照統一的技術標準采集數據帶來巨大的困難。
各省高速公路聯網收費數據指標體系不一，數據質量參差不齊
在數據指標方面，由于不同省份的高速公路聯網收費系統都是獨立建設，各省結合所采集的指標也存在較大差異，所采集的數據指標和內容也不盡一致，例如，涉及高速公路收費數據的核心數據表，有些省份采集了80多項指標，至有一些省份則拆分成100多項指標。在數據質量方面，不同省份也存在較大差異，例如，數據質量較好的省份，所采集的車牌號信息完整、規范，而一些省份所采集的車牌號，僅僅只錄入了車牌號的后3位數字。由于高速公路數據指標體系不統一，數據質量層次不齊，導致數據分析工作難以開展。
交通運輸行業缺乏對大數據的處理和分析能力
在交通運輸行業，”十三五”之前大量的應用系統建設采用傳統的技術架構傳輸、存儲，大數據技術應用在行業管理中的應用處于起步研究階段。而全國高速公路聯網收費數據規模龐大，目前每個月數據量接近10億條，在全國平臺上實現29個省市的高速公路數據的采集，傳輸，匯聚，對平臺的數據承載能力以及穩定性提出了挑戰。此外，日益提升的高速公路數據分析需求，對平臺數據建模以及計算效率也提出新的要求。
技術方案
針對上述的需求以及技術挑戰，自2012年開始，交通運輸部科學研究院結合各省高速公路聯網收費系統建設的進度以及行業管理決策能力提升的需求對平臺進行建設。主要從以下幾個方面著手： 1、構建高速公路大數據指標體系，統一數據標準。2、構建跨省的數據采集系統，實現部省之間、不同技術架構系統之間的數據的統一采集、質量控制與數據匯聚。3、利用大數據技術，建立全國高速公路通行數據的管理平臺，實現對全國數據的集中存儲、管理以及大數據分析挖掘。
統一的數據指標體系
根據交通運輸部開展交通運輸行業動態監測，進行全國公路運輸量測算、分析路網運行特點的需要，經過分析各省所采集的高速公路收費明細數據，我院制定了統一的部級數據采集指標體系，其主要內容包括高速公路公路收費明細數據、高速公路收費站信息、車輛信息以及高速公路電子地圖等，核心內容如下：
①明細數據。
包括入口網絡編號、入口站編號、入口時間、出口網絡編號、出口站編號、出口時間、出口車道編號、車牌號、車型代碼、車種代碼、里程、總軸數、軸型及軸重、車貨總重、限重、超限率、是否綠色通道車輛代碼、免費類型代碼、路徑標識、是否ETC車輛代碼、ETC車輛電子標簽OBU編號、支付方式代碼等22項信息。
②數據字典。包括以下5項：
一是高速公路收費站字典。包括網絡編號、收費站編號、收費站名稱、所在線路編號、所在線路名稱、是否省界站、開通時間、所屬地市名稱、是否開放式收費站、收費站狀態、收費站經度、收費站緯度、備注等信息。二是高速公路收費車型字典。包括收費車型代碼、車種代碼、收費車型定義等信息。三是高速公路貨車軸型字典。包括單軸組軸型代碼、軸型定義等。四是高速公路免費類型代碼字典。包括免費類型代碼、免費類型定義等。五是高速公路標識站字典。包括標識站編號、標識站名稱、所處路段名稱。
此外，高速公路電子地圖則以GIS地圖的形式采集。
基本業務流程
總體業務主要包括數據報送以及數據分析兩部分，數據報送業務主要實現各省原始數據的采集，審核，清洗，存儲。數據分析業務則實現了對于數據的分析，查詢以及可視化的展示。
總體業務流程如圖所示
?? 
系統總體架構
整體架構分為6層，數據源層，數據采集層，數據存儲層，數據處理層，數據分析層，數據應用層。
數據源層是指各省高速公路聯網收費系統，在數據采集層，利用ETL工具和數據傳輸中間件從各省的前置機采集數據。系統實施時在每個省都部署了數據采集的前置機，在前置機上，通過ETL來對數據進行采集、清洗和標準化，數據傳回部里后，利用關系數據庫開展常規的統計工作，利用分布式的大數據平臺，來進行數據的分析挖掘以及與其他數據之間的關聯分析。在數據存儲層，采用基于大數據的混合式數據存儲架構，利用基于hadoop的分布式文件系統來管理高速公路明細數據，利用關系型數據庫存儲來存儲ods層、dw層和dm層的數據，形成完善的數據倉庫架構，在數據處理層，支持批處理、流式處理和混合處理三種方式的數據處理，在數據分析層：利用impala、spark等技術支持即席查詢、信息檢索，深度挖掘，在數據應用層，以地圖、報表的形式展現分析成果。
系統總體框架如圖所示：
?? 
下圖所示為系統數據采集的流程示意圖：
?? 
系統主要功能
平臺主要功能包括數據質量監控、數據統計與查詢、專題分析、系統管理、動態配置4個部分，系統的總體功能框架如下圖所示：
數據質量監控
通過內置數據審核規則，對各省上報的高速公路通行數據進行質量審核，保證數據的有效性和完整性，對異常數據進行系統報警，提示數據管理人員進行相應處理。數據質量審核包括數據傳輸監控、數據異常情況預警、數據文件入庫情況監控、數據動態監測等。
數據傳輸監控
數據傳輸過程監控功能監視ETL工具從各省前置機采集數據以及數據從各省向部傳輸的過程中是否存在數據丟失的情況。
?? 
數據異常情況預警
數據異常情況預警對數據指標按照設定的審核規則進行審核，如有異常則預警提示。審核規則包括入口網絡編號+入口站編號不在枚舉字典中、貨車總軸數為空、貨車車貨總重為空等多項規則。
?? 
數據入庫情況監控
根據數據記錄數、最小記錄時間、最大記錄時間等條件實時監控當前數據入庫進度，確保數據完整，不存在丟失的情況。
數據動態監測
數據量監測功能對每月各省數據量指標進行監控，從數據指標的角度，通過與上年、上月數據的變化情況監測各省報送的數據質量是否存在問題，主要包括數據量監測、車流量預警、行駛量預警等。
?? 
數據統計與查詢
根據交通運輸部開展運輸量統計以及行業經濟運行分析的需要，在系統中自動生成客車(分車型)的車流量、行駛量，省內的流量流量等;貨車(分軸數)的車流量、行駛量、貨物發送量、貨物周轉量、省內的流量流量等;貨車的車貨總重、超限率情況;免費車情況、ETC車流量占比情況等40余張監測報表，用于經濟運行分析、向國務院報送的交通運輸簡明月報等相關分析材料中。
數據分析與挖掘
OD分析
該功能對省內城市與城市之間客流、貨流的趨勢和遷移規律，在地圖中用可視化的方式反映某一個城市到其他城市的車輛遷徙特點，或者一個省全部城市之間的車輛遷移特點。
?? 
車籍地分析
根據高速公路通行數據中的車牌號信息，在地圖中按照”外地車來本省”和”本省車去外地”兩個維度，反映省與省之間高速公路車輛行駛的特點和聯系情況。
?? 
熱點收費站分析
該功能主要對全國各省收費站通行量進行統計分析，通過預設不同的篩選條件，如省份，開始時間、結束時間、車輛類型等條件，對通行量排名前10的收費站進行圖、表多維展示，對某一個收費站，還支持直接查看其24小時的車流量情況。
?? 
?? 
收費站流量分析
該功能主要對全國各省高速公路收費站流量數據進行統計分析，通過預設不同的篩選條件，如省份，開始時間、結束時間、車輛類型等條件，對通行量進行圖、表多維展示。
?? 
?? 
通行量時空分析
該功能主要用于分析高速公路上行駛車輛的時間和空間分布的特征，反映車輛在高速公路上行駛的時間和距離特點。
?? 
高速公路車流量分析
該功能主要從高速公路車流量角度出發，對不同省份(區域或全國)、不同時間段、不同車型的通行量情況進行統計，利用地圖和曲線進行多維展示。
?? 
高速公路行駛量分析
該功能主要從車輛的行駛量角度出發，對不同省份(區域或全國)、不同時間段、不同車型的行駛量情況進行統計，利用地圖和曲線進行多維展示。
?? 
高速公路周轉量分析
該功能主要從車輛的周轉量(收費里程*車貨總重)角度出發，對不同省份(區域或全國)、不同時間段、不同車型的周轉量情況進行統計，利用地圖和曲線進行多維展示。
?? 
應用效果
本案例的應用已經采集了全國29個省的數據，已實現聯網收費的高速公路基本都已經納入數據監測范圍，共涉及高速13萬公里，收費站接近9000個，截至到2017年8月，總數據量已經接近10TB，記錄數超過350億條，并且，每個月還在以9億條的數據量在高速增長。利用所采集的全國高速公路通行數據，我院深入開展大數據分析與建模，在交通運輸統計、路網運行監測等方面取得了顯著的效果。
有效提升了交通運輸統計的能力和水平
一、自2016年開始，利用該平臺按月監測不同口徑下的高速公路客貨車流量、7座以下小客車流量、貨運量、周轉量等主要指標的變化情況，并已在在交通運輸經濟運行分析、公路水路交通運輸統計數據質量核查評估、高速公路運輸量旬報等工作中得到了直接應用，相關成果形成后直接向國務院、交通運輸部相關領導報送，為行業管理決策提供了有力支撐。
二、2017年，基于該平臺開發了《高速公路運輸統計監測月報》、《高速公路運輸統計監測報告》等新的行業統計產品，是交通運輸部首次以大數據技術為支撐，利用行政業務記錄直接轉換生成統計數據，填補了我國高速公路運輸量和區域運輸量統計的空白。
為行業管理決策以及高速公路路網運行監測提供了有力支撐
利用該平臺為支撐，通過大數據建模與分析，我院實現了全國高速公路交通流量分配、高速公路跨省車輛追蹤、高速公路貨運通道分析、壓力路段分析等行業重點關注的業務分析，為行業管理部門動態掌握高速公路運行趨勢和特點、制定物流發展政策、監控路網運行態勢提供了有力的支撐。如下圖所示，針對11條物流通道進行流量分配，結果顯示國家推進的11條物流通道所涵蓋的24條高速公路，車流量及貨運承載量是高速路網平均水平1.5-1.6倍。縱向通道運輸需求更強，平均貨運承載量是橫向的1.2倍，日均貨運承載量前5位中有4條縱向通道。
?? 
編制了系列分析報告，大大提升了開展交通行業大數據分析的水平
從2016年4月開始，對全國高速公路通行數據進行挖掘分析，與高德合作開展數據分析，按季度發布中國主要城市交通分析報告，至今已合作發布5期分析報告，每期報告均得到央視、人民網、頭條新聞、環球咨詢廣播、中國新聞網等主流媒體報道，央視財經頻道對分析內容進行2次專題報道。2017年8月，以該平臺為支撐，我院還編制發布了《2016年度中國高速公路運行大數據分析報告》，報告發布后，受到了行業內外廣泛關注，央視新聞聯播對報告內容進行了專題報道。這些系列報告的編寫和發布對于交通運輸部開展綜合交通大數據的分析與實踐分析、宣傳交通運輸行業大數據分析成果發揮了重要作用。
?? 
?? 
經驗總結
本項目對高速公路收費數據的采集與大數據分析是對交通運輸行業管理和業務以及信息化建設技術等的方面的重大創新
在本平臺建成之前，交通運輸部主要依托于各類靜態統計數據開展行業經濟運行分析、支撐行業管理決策。本平臺的建設，從業務方面來看，創新性的將傳統的匯總數據的采集轉化為業務明細數據的采集，通過明細數據對傳統統計數據的校核，并開展進一步的數據分析挖掘;從技術方面來看，在采集端用前置機的結構化數據庫對數據進行預處理，分擔了部級數據中心的壓力，在中心端，采用了基于hadoop的混合式分布式計算架構和存儲架構，利用大數據技術適應對海量數據的存儲和快速處理與計算，在數據模型設計時，借鑒了數據倉庫的設計理念，合理的建立了數據模型，在數據分析挖掘過程中，采用BI前臺展現，以適應業務多變的需要。
在滿足業務需求的前提下，充分利用自上而下管理體制的優勢，制定技術標準，降低技術方案的實施難度
案例涉及29個省交通運輸主管部門和聯網收費管理部門，由于各省交通運輸廳信息化水平參差不齊，因此，很難直接采用統一的技術方案實現對各省的數據采集，在技術方案設計時，利用交通運輸管理部門自上而下的管理體制，通過行政管理手段制定并下發了省級數據采集的標準規范，盡量使數據采集方案標準統一，大大降低了平臺的建設難度。
技術方案注重加強對數據的質量監控，提高數據質量
平臺建設過程中面臨著29個省的聯網收費系統，其中所生產的數據，結構不一、質量差異也很大，同時，數據需要經過收費站——區域收費分中心——省級聯網收費中心——省廳信息中心——交通運輸部這樣一系列的傳輸流程，才能傳回部級系統，在數據采集和傳輸過程中，由于網絡的因素存在數據漏傳、重傳等現象，因此，項目技術方案在設計時注重加強對數據質量的監控，對所有采集字段都設置了質量標準，從不同階段數據量的監控、字段邏輯合理性的監控、數據傳輸過程的監控等多個方面控制數據質量。
效益評估
本案例研究提出的基于大數據技術的交通運輸監測數據采集和處理方案，為交通運輸監測大數據的采集與處理提供了新的技術途徑。研究成果推動大數據技術在行業管理中的應用，大大提升交通運輸行業對大數據的綜合處理能力，解決現行制約行業數據發揮綜合效益的技術瓶頸，為充分挖掘和發揮行業數據效益提供可靠的技術手段，推動行業信息化發展水平不斷提升，進一步提升行業管理效率。同時，基于大數據技術的交通運輸監測數據采集和處理方案，其技術基礎是目前各類開源大數據技術，利用該方案建設行業大數據采集和處理的信息系統，將不需要再采購價格昂貴的Oracle、DB2等數據庫軟件，可以大大節省系統的建設經費，具有較強的經濟效益。
