當一個系統業務數據量達到百億條的時候，通常會引出一些問題：

1.數據怎么存儲，存儲到哪里

2.怎么保證數據安全，安全存儲策略是什么

3.數據怎么檢索，怎么做到快速響應

4.怎么對數據進行實時的統計分析

作為一款開源的定位于全文搜索引擎服務的Elasticsearch，可能是這些問題下比較高效的一種解決方案。那么，Elasticsearch的適用場景，能在什么地方發揮作用？Elasticsearch的特點優勢又是什么？總的來說，涉及搜索的業務場景可能都會有Es的用武之地，下面將介紹Es的幾種常見業務場景。

[[230457]]

• 日志分析

問題引入：在復雜的計算機系統里面，一個系統可能由成千上百臺服務器構成，很多系統不在一個地區機房，甚至有跨國家的；即使是在一個地區的系統，也有不同的來源，比如：操作系統、應用服務、業務邏輯等等。它們無時不刻都在產生新的各式各樣的日志數據。

面對如此海量的分布在各個服務器上的日志數據，一旦我們需要去排查一些重要的信息，使用傳統的方式登陸到一臺臺機器上查看顯然有點力不從心。因此，建立一套集中式的日志管理系統，把不同來源的日志數據集中整合到一個地方再進行分析就顯得尤為重要。

一套完整的集中式日志管理系統，主要包含以下幾個功能：

• 采集－能夠采集不同地區多種來源的日志數據
• 傳輸－能夠穩定地把日志數據傳輸到中央系統
• 存儲－能夠安全的存儲日志數據
• 分析－能夠提供高效的日志數據分析，并可以支持UI展現
• 告警－能夠提供監控機制，異常信息告警

解決方案：ELK

ELK是一套集中式日志管理方案，由ElasticSearch + Logstash + Kibana三個開源軟件組成。UES基于ElasticSearch和Kibana開發，使用UES服務的ELK協議棧如下圖所示：

Logstash Agent收集不同來源的Server產生的日志，并存放到Elasticsearch集群中，而Kibana則從ES集群中查詢數據生成圖表，加上配置 Nginx 實現簡單的用戶認證，再返回給瀏覽器端。

Elasticsearch 是一個實時的分布式搜索和分析引擎，它可以用于全文搜索、結構化搜索以及分析。它是一個建立在全文搜索引擎 Apache Lucene 基礎上的搜索引擎，使用 Java 語言編寫。

Elasticsearch的主要特點：

• 分布式的實時文檔存儲系統
• 分布式的實時分析搜索引擎
• 多數據源，文檔導向，所有的對象全部是文檔
• 高可用性，易擴展，支持集群（Cluster）、分片和復制（Shards 和 Replicas）
• 支持插件機制
• restful風格接口，支持Json

Logstash 是一個具有實時渠道能力的數據收集引擎。它是一個完全開源的工具，可以對你的日志進行收集、過濾，并將其存儲供以后使用。

Logstash主要特點：

• 幾乎可以訪問任何數據
• 可以和多種外部應用結合 
• 支持彈性擴展

Logstash由三個主要部分組成：

• Shipper－發送日志數據
• Broker－收集數據，缺省內置 Redis
• Indexer－數據寫入

Kibana 是一款基于 Apache 開源協議，使用 JavaScript 語言編寫，為 Elasticsearch 提供分析和可視化的 Web 平臺。它可以在 Elasticsearch 的索引中查找、交互數據，并生成各種維度的表圖。

使用UES作為日志分析管理的案例分析如圖所示：

從案例中可以看出使用ELK技術來做日志管理和傳統方式的對比。結果顯而易見，使用ELK技術能在最短時間內解決問題，在日志管理方面更加便捷高效。

• 全文檢索

如今，無論是互聯網信息還是企業內部每天產生的信息，都在以指數級增長。對于企業內部，在每天產生的大量數據尤其是非結構化數據中，如何快速查找到對企業內部有用的信息，幾乎成為每個公司開始關注的重點。

Elasticsearch在實現全文檢索的過程中，首先要確定分詞器，Es默認有很多分詞器。一般中文分詞器使用第三方的ik分詞器、mmsegf分詞器和paoding分詞器，最初構建于lucene，后來移植于Es。目前在***版的Es中，使用的是ik分詞器。UES已經內置安裝了ik分詞器，并且支持自定義分詞詞庫。

當用戶產生大量的文本數據時，Es均會將其進行分詞并將這些詞語保存在索引中，只需輸入關鍵詞進行查詢，索引就能起到作用，查找對應的相同查詢詞，從而實現全文檢索。全文檢索的架構設計如下圖：

其中，Elasticsearch服務端進行數據索引存儲，Server提供檢索接口，瀏覽器端負責數據渲染和界面呈現。

• 傳統數據庫替代

隨著Elasticsearch技術的發展，使得Es已經超越了其最初的純搜索引擎角色，新增了數據聚合分析和可視化的特性。如果遇到***數量的文檔需要通過關鍵詞進行檢索時，Es肯定是***選擇。當然，如果文檔格式是Json的，也可以把Es當作一種NoSQL數據庫，對數據進行多維度的分析。

Elasticsearch是可以支持持久存儲、統計等多項功能的現代搜索引擎，這種特性也決定了某些場景下Es可以作為主要的后端服務存儲。Es替代傳統DB的前提是業務不對操作的事務性有特殊要求，由于 Es的權限管理并不是特別完善，所以只把Es作為內部存儲是可以替代傳統數據庫的。

還有一種場景：在一個已經運行了很長時間的復雜系統中添加檢索服務。一種非常冒險的方法是重構系統以支持使用Es，而相對安全的方法是將Es作為新的組件添加到現有系統中。 

如圖所示的MySQL數據庫和Es集群存儲，需要找到一種方式使得兩存儲之間實時同步，例如 logstash-input-jdbc 插件。

其實Elasticsearch的應用場景遠不止這些，只有不斷嘗試，接觸新的應用場景，我們才有機會獲得更好解決方案的經驗。UES作為一款平臺產品推出，旨在應用到客戶廣泛的業務場景中，例如：

數據分析場景：分析網址、移動設備、服務器等非結構化和半結構化日志，分析傳統數據庫中數據，用于錯誤排查、應用程序監控、欺詐檢測、游戲、廣告等；

全文搜索場景：電商、O2O、企業等行業的搜索與導航服務；

實時統計分析場景：應用程序、用戶點擊等實時統計分析；

分布式文檔處理場景：對Json支持友好，支持地理位置查詢。

UES可以實現集群化的快速部署，極大降低人力運維成本。多種節點類型的提供、靈活的計費方式、支持業務動態擴容，此外集群豐富的預裝插件和監控指標為用戶集群使用功能和數據安全保駕護航。