7月4日消息，騰訊云發(fā)布全新自研大數(shù)據(jù)高性能計(jì)算引擎Meson。通過軟硬一體加速和智能技術(shù)的綜合應(yīng)用，該引擎能顯著為AI等場(chǎng)景下的大數(shù)據(jù)任務(wù)提供更優(yōu)的計(jì)算性能，并節(jié)省更多計(jì)算資源。比如，在數(shù)據(jù)湖場(chǎng)景下，Meson能夠助力單個(gè)數(shù)據(jù)查詢分析提速6倍，在微信讀書“AI問書”項(xiàng)目中，Meson助力大數(shù)據(jù)任務(wù)節(jié)省了9成的資源消耗。

目前，Meson 已登陸騰訊云數(shù)據(jù)湖、搜索分析服務(wù)、云數(shù)據(jù)倉(cāng)庫(kù)三大業(yè)務(wù)線，作為統(tǒng)一的計(jì)算加速底座，為企業(yè)大數(shù)據(jù)業(yè)務(wù)提供加速服務(wù)。

在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)存儲(chǔ)和計(jì)算是至關(guān)重要的核心環(huán)節(jié)，針對(duì)計(jì)算和存儲(chǔ)的性能提升一直是大數(shù)據(jù)技術(shù)攻堅(jiān)的核心任務(wù)。其中，針對(duì)計(jì)算環(huán)節(jié)，業(yè)內(nèi)分別有硬件與軟件兩個(gè)主流方向。但隨著 AI 時(shí)代下數(shù)據(jù)計(jì)算場(chǎng)景越來越多樣，單一方向的加速性能瓶頸凸顯。

騰訊云大數(shù)據(jù)高性能計(jì)算引擎Meson在多個(gè)方面作出加速優(yōu)化：包括軟件層的向量化計(jì)算、JIT Compilation 等一系列軟件加速工程，硬件層的GPU 及 FPGA 加速。此外，Meson 基于智能查詢優(yōu)化、負(fù)載智能預(yù)測(cè)等智能技術(shù)，讓大數(shù)據(jù)分析可以根據(jù)過往的經(jīng)驗(yàn)，自動(dòng)調(diào)整處理策略，使得數(shù)據(jù)處理更加高效。

海量數(shù)據(jù)的處理與分析率先體驗(yàn)到Meson帶來的性能提升。以存儲(chǔ)海量數(shù)據(jù)的數(shù)據(jù)湖而言，騰訊云基于Meson 實(shí)現(xiàn)了完全兼容Spark 的向量化計(jì)算能力，能在處理大規(guī)模數(shù)據(jù)時(shí)發(fā)揮更高的性能。特別是在基準(zhǔn)TPC-DS 數(shù)據(jù)測(cè)試中，數(shù)據(jù)湖Meson 引擎獲得了超過2.27倍的性能提升，單個(gè)數(shù)據(jù)查詢分析任務(wù)最高可達(dá)6.2倍的性能提升。

在搜索分析的高頻需求中，騰訊云 Elasticsearch Service （簡(jiǎn)稱ES）結(jié)合Meson解決方案，成為全球首個(gè)支持GPU加速的ES服務(wù)，顯著提高了ES向量生成和向量檢索的效率。微信讀書“AI問書”的背后正是利用了騰訊云 ES 和 Meson 技術(shù)。

該方案成本從原來的純內(nèi)存400臺(tái)64G機(jī)器大幅下降到僅需30臺(tái)，同時(shí)大幅降低了運(yùn)維成本。除此之外，云知、安燈、樂享等騰訊內(nèi)部業(yè)務(wù)系統(tǒng)，也都基于騰訊云ES 實(shí)現(xiàn)了高效的信息檢索與生成。

對(duì)于企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)TCHouse 來說，Meson 就像一位高效的倉(cāng)庫(kù)管理員，通過采用查詢優(yōu)化技術(shù)、向量化計(jì)算模式及AI智能資源調(diào)度等技術(shù)手段，TCHouse 可大幅提升海量數(shù)據(jù)分析的效率和質(zhì)量，為企業(yè)提供高效、實(shí)時(shí)、低成本的數(shù)據(jù)分析解決方案。

截止目前，騰訊云大數(shù)據(jù)已持續(xù)為超1000家中大型客戶構(gòu)建國(guó)產(chǎn)大數(shù)據(jù)平臺(tái)，涵蓋能源、制造、電力等多個(gè)領(lǐng)域，如國(guó)家電網(wǎng)、中國(guó)商飛、三一重工、陜西建工等各行業(yè)頭部客戶，其中多項(xiàng)解決方案獲得工信部、數(shù)博會(huì)等行業(yè)認(rèn)可，數(shù)據(jù)量年增長(zhǎng)速度超過90%。