物聯(lián)網(wǎng)正在不斷產(chǎn)生不可思議的數(shù)據(jù)量。分析師預(yù)計(jì)，2019年將有266.6億臺(tái)物聯(lián)網(wǎng)設(shè)備投入使用。此外，IDC預(yù)計(jì)，到2025年，物聯(lián)網(wǎng)設(shè)備將產(chǎn)生超過(guò)90 zettabytes的數(shù)據(jù)。

所有這些數(shù)據(jù)意味著什么?

通過(guò)流式分析，它意味著可以對(duì)拯救生命事件的實(shí)時(shí)反應(yīng)。例如，卡車接收關(guān)于道路上結(jié)冰的數(shù)據(jù)，然后，卡車不僅可以提醒駕駛員，而且還可以提醒其他車輛結(jié)冰的確切位置。

為了使這種實(shí)時(shí)數(shù)據(jù)能夠以高容量和高速度從物聯(lián)網(wǎng)傳感器和網(wǎng)絡(luò)操作中不斷流入組織，您需要一種不同于傳統(tǒng)靜態(tài)事務(wù)數(shù)據(jù)所需的數(shù)據(jù)管理解決方案。

以卡車為例。想象一下，冬天的時(shí)候，你在路上開(kāi)著一輛卡車。貴公司為車輛安裝了物聯(lián)網(wǎng)傳感器，可持續(xù)監(jiān)控車輪打滑、氣溫、速度和轉(zhuǎn)速情況。突然，當(dāng)氣溫降至冰點(diǎn)以下時(shí)，車輪打滑測(cè)量值急劇上升，如果卡車或司機(jī)能在幾毫秒內(nèi)做出反應(yīng)，事故就可以避免，如果沒(méi)有，傳感器數(shù)據(jù)就沒(méi)有意義。

[[275869]]

事件流處理

事件流處理系統(tǒng)使您能夠通過(guò)實(shí)時(shí)數(shù)據(jù)清理和分析及時(shí)處理這些數(shù)據(jù)。

讓我們定義事件流處理：“事件”是在明確定義的時(shí)間發(fā)生并記錄在數(shù)據(jù)字段集合中的任何事件; “流”是數(shù)據(jù)事件的持續(xù)流動(dòng)，或者是從成千上萬(wàn)個(gè)連網(wǎng)設(shè)備流入企業(yè)內(nèi)部和企業(yè)周圍的持續(xù)數(shù)據(jù)流;“處理”是指分析數(shù)據(jù)的行為。

當(dāng)事件流處理系統(tǒng)管理來(lái)自物聯(lián)網(wǎng)傳感器的數(shù)據(jù)時(shí)，它們會(huì)執(zhí)行將原始數(shù)據(jù)轉(zhuǎn)化為實(shí)時(shí)操作信息的過(guò)程。隨著大量數(shù)據(jù)快速流入系統(tǒng)，事件流處理系統(tǒng)會(huì)立即清理、規(guī)范和聚合內(nèi)存中的數(shù)據(jù)。同時(shí)，在這些數(shù)據(jù)流中編碼的實(shí)時(shí)分析模型將執(zhí)行分析，以確定特定事件是否相關(guān)，并在需要緊急行動(dòng)時(shí)生成即時(shí)警報(bào)。

實(shí)時(shí)分析與事后分析

事件流處理系統(tǒng)實(shí)時(shí)過(guò)濾數(shù)據(jù)。因?yàn)檫@些系統(tǒng)最初存儲(chǔ)數(shù)據(jù)的內(nèi)存是有限的，所以事件流處理系統(tǒng)決定要丟棄哪些數(shù)據(jù)或者要保存哪些數(shù)據(jù)，甚至可能以聚合形式保存，因?yàn)槎鄠€(gè)事件通常比單個(gè)事件更具信息性。

例如，當(dāng)卡車在結(jié)冰的道路上有打滑的危險(xiǎn)時(shí)，網(wǎng)絡(luò)邊緣的實(shí)時(shí)分析會(huì)立即提醒司機(jī)減速，甚至自動(dòng)減速。

相比之下，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)存儲(chǔ)所有數(shù)據(jù)，并在事后進(jìn)行清理和分析。關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)從預(yù)定義的來(lái)源收集數(shù)據(jù)，并將其存儲(chǔ)在存儲(chǔ)系統(tǒng)中，如數(shù)據(jù)集市。一旦進(jìn)入存儲(chǔ)，數(shù)據(jù)就會(huì)被清理、規(guī)范化并整合到數(shù)據(jù)倉(cāng)庫(kù)或Hadoop中。只有這樣，用戶才能通過(guò)報(bào)告、歷史分析，甚至預(yù)測(cè)分析和機(jī)器學(xué)習(xí)，從數(shù)據(jù)中獲得意義。

例如，對(duì)于事件流處理，如果傳感器跟蹤氣溫并且氣溫保持穩(wěn)定，則系統(tǒng)不會(huì)存儲(chǔ)持續(xù)的讀數(shù)。相反，它可能只保留指示變化的讀數(shù)。

多階段分析提供了優(yōu)勢(shì)

事件流處理為您提供了多個(gè)從數(shù)據(jù)中提取價(jià)值的機(jī)會(huì)。對(duì)于傳統(tǒng)的數(shù)據(jù)管理，數(shù)據(jù)是歷史的，不會(huì)改變。它可能會(huì)在事后進(jìn)行分析一兩次，而不是更多。

事件流處理系統(tǒng)首先實(shí)時(shí)分析數(shù)據(jù)，從而能夠?qū)κ录龀黾磿r(shí)響應(yīng)。然后，您可以實(shí)時(shí)或接近實(shí)時(shí)地將來(lái)自多個(gè)傳感器的數(shù)據(jù)子集帶回云端或現(xiàn)場(chǎng)進(jìn)行跨傳感器分析。

假設(shè)您希望對(duì)整個(gè)卡車車隊(duì)進(jìn)行分析，以確定在某一海拔處發(fā)生的故障情況。如果系統(tǒng)檢測(cè)到問(wèn)題，則可能觸發(fā)車隊(duì)中所有卡車的大規(guī)模維修。

最后，事件流處理系統(tǒng)還將指定的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)或Hadoop中。在那里，您可以對(duì)現(xiàn)在的歷史數(shù)據(jù)進(jìn)行可視化分析或可視化統(tǒng)計(jì)。

利用數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)，您可以使用機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測(cè)性維護(hù)。隨著時(shí)間推移，機(jī)器學(xué)習(xí)算法可以學(xué)習(xí)模式，指示卡車何時(shí)需要維護(hù)并提前發(fā)現(xiàn)故障。

在多階段分析的所有步驟中，機(jī)器學(xué)習(xí)可以訓(xùn)練系統(tǒng)更好地預(yù)測(cè)結(jié)果。隨著模型的變化，流處理解決方案可以根據(jù)需要在邊緣、本地或云中更新模型。

流數(shù)據(jù)允許您在需要時(shí)從物聯(lián)網(wǎng)數(shù)據(jù)中收集見(jiàn)解，并實(shí)時(shí)地和歷史地識(shí)別跨傳感器分析的趨勢(shì)。通過(guò)處理邊緣數(shù)據(jù)，組織、個(gè)人和社區(qū)可以從實(shí)時(shí)數(shù)據(jù)提供的見(jiàn)解中受益。這些實(shí)時(shí)數(shù)據(jù)有望拯救生命、改善交通狀況和危機(jī)溝通。

讓我們生活在邊緣，看看它會(huì)把我們帶去哪里!