公司名稱: Kyligence

公司介紹:

Kyligence （上海跬智信息技術有限公司）由***來自中國的 Apache 軟件基金會***開源項目 Apache Kylin 核心團隊組建，是專注于大數據分析領域的數據科技公司。Kyligence 提供基于Hadoop 的企業級智能大數據分析平臺，在PB（petabyte）級數據集上提供亞秒級查詢響應和互聯網級的高并發訪問。

目前，Kyligence 已贏得了海內外多家保險、證券、電信、制造、零售、廣告等行業的企業級客戶。公司總部在上海，同時，在北京、深圳等地設有辦事機構, 在美國硅谷設有分公司，目前，已獲得來自紅點中國、思科、寬帶資本、順為資本及斯道資本（富達國際自有投資機構）等投資機構的多輪投資。

解決方案介紹:

高性能的多維分析解決方案

背景

OLAP（Online Analytical Process，聯機分析處理）是數據倉庫系統最主要的應用，通過對業務部門常用的維度和指標進行建模和預計算，可以讓業務分析人員快速、靈活地從不同業務視角對數據進行下鉆、上卷、切片等復雜的分析操作，以達到深入理解數據的目的，從而更加高效地支持日常的業務運作。

需求

在面對不斷增長的海量數據和爆發的分析需求時，傳統BI工具的Scale up架構常常會陷入數據規模受限、Cube維度數目和容量受限、查詢響應慢、并發支持能力差等技術局限，大大限制了OLAP分析的應用場景。IT運維方不得不每年投入大量經費對集群進行擴容，來滿足日益增長的數據量和業務需求，這種方式成本高，周期長，效果也不理想。

解決方案

Hadoop技術擁有低廉的存儲成本、靈活的擴展架構，強大的并行處理能力，使得用戶能夠擺脫傳統DW/BI技術在性能、成本方面的限制，對海量結構化或非結構化數據進行存儲、加工、交互式多維分析，以Hadoop技術為核心的生態圈業已成為大數據平臺事實上的技術標準。

Kyligence依托Hadoop的HDFS分布式存儲技術和MapReduce/Spark分布式計算引擎，能夠提供萬億數據規模下的秒級查詢性能。基于Scale-out架構的Cube技術，存儲成本低，運維方便，性能穩定高效，支持高并發訪問，且無需頻繁擴容集群。另外，Kyligence提供對ANSI SQL的良好兼容性和豐富的ODBC/JDBC/Rest API接口，使得多維分析應用從傳統數據倉庫平臺遷移到Hadoop平臺的成本低，周期短。

解決方案優勢/帶給客戶的好處:

Kyligence能夠滿足超寬表，超高基維度（***~億級），超多維度組合（百級維度數），無容量上限的Cube構建需求，通過Hadoop強大的并行計算能力加速Cube構建時間，同時基于Kyligence獨有的列式存儲引擎技術，使得Cube的查詢性能在秒級實現，從而支撐更廣泛的業務應用和更佳的用戶體驗；另外，Kyligence提供線性擴展能力，輕松實現1000+的高并發支撐能力，使得多維分析平臺開放給更廣泛的業務群體成為可能，從而進一步提升企業運營和管理效率。

收益：
• 秒級查詢性能：查詢性能提升了約2000倍，平均達到5秒

• 更佳的Cube構建：Cube構建時間減少了75%

• Kyligence支持權限數據和Cube數據分離存儲，遷移后Cube數量降低到幾十個，減輕了運維的壓力

• Kyligence同時支持Cube多維分析和明細數據查詢，大大簡化了原有的開發工作量

• 支持高并發查詢：單節點單實例50并發/秒，且并發量可以根據業務增長需要進行水平擴展。

解決方案使用場景和案例:

案例

以某全國級金融企業為例，在全國有上億客戶，每天的交易明細數據超過10億，一直以來深受傳統數倉在數據容量、查詢性能方面的限制，在將數據遷往Hadoop平臺后，選擇了Kyligence產品來建設其企業級多維分析平臺。

痛點：

• ***的Cube每天構建時間超過20小時，業務部門只能看到2天以前的數據

• 基于Cube的單次多維分析需要1小時才能返回結果，嚴重影響業務部門的工作效率和正常分析流程

• 將Cube數據固化成報表文件來提升查詢性能，帶來大量額外維護成本的同時，徹底喪失了通過Cube進行OLAP多維分析的靈活性

• 由于權限管理問題，同一類Cube要為全國30多個省分行建立副本，導致Cube數量達到2000+，大大增加了IT部門的運維難度和工作量

解決方案：

• 數據處理：業務數據存儲在Hive中，通過Kyligence構建Cube

• 固定報表：通過BI報表工具連接Kyligence進行報表定制

• 數據探索：通過數據探索工具Kyligence Insight for Superset連接Kyligence進行數據可視化分析