直播周回顧日記Day4：Graviton X FreeWheel：開啟大數據時代“芯”范式
6月23日，亞馬遜云科技聯合51CTO共同推出的這是我的架構——直播周系列節目第二季第四集精彩繼續。本集邀請到的是亞馬遜云科技資深解決方案架構師肖紅亮、FreeWheel Presto團隊高級研發工程師張宇欣和FreeWheel監控系統平臺負責人王磊。如今“大數據”一詞已耳熟能詳，Graviton怎樣為FreeWheel大數據應用場景賦能創新增長點，實現降本增效？一起回顧直播：
海量數據高速處理，如何兼顧性價比？
FreeWheel是一家以先進視頻廣告技術和優質視頻內容服務全球的綜合廣告服務供應商。其服務的媒體包括Comcast、NBCU和SKY等媒體巨頭，還曾多次成功支持奧運會、世界杯和超級碗等大型活動的廣告投放任務。FreeWheel的投放受眾眾多，還需要對每次的廣告投放進行數據分析，王磊表示，“FreeWheel的數據采集周期要求非常高，我們的默認采集周期是在10秒級別，一些關鍵數據的甚至需要1秒級采集”。
面對高并發、大數據量和業務復雜的業務特征，FreeWheel如何削減成本和性能壓力？亞馬遜云科技給出了基于Graviton 2實例的全套解決方案。肖紅亮介紹道，借助Graviton 2的強大賦能，FreeWheel的數據服務API獲得了相較于部署在x86架構之上高40%的QPS，網絡代理集群的吞吐量提升20%，而任務運行所需的實例數量減少了23%，直接降低了FreeWheel的運行成本。
全流程監控，Graviton安心護航
如何利用Graviton 2進行應用實踐？王磊為我們帶來的是FreeWheel監控平臺的分享。FreeWheel監控平臺主要服務于廣告投放系統的實時監控和報警，擁有PB級別的Metric、Log、Trace三位一體的監控數據處理能力，覆蓋從基礎硬件、系統到應用的端到端業務，進行警報數據的分析和挖掘。接下來王磊介紹了FreeWheel監控平臺的架構[肖1]? ，此平臺采用業界流行的Prometheus體系收集數據，寫入Cortex遠程存儲系統，將數據上傳到Amazon S3，同時這些數據也會被Grafana和FreeWheel自研的Alert系統消費[ZY2] 用作展示和報警。王磊提到，目前監控平臺的全套服務都部署在AmazonEKS托管服務上，能夠有效降低運維成本。
FreeWheel在了解到Graviton2的第一時間就在監控平臺進行了應用嘗試，經過測試，在Graviton 2加持下，Cortex系統的成本消耗直接下降了20%。王磊坦言，正是這一測試結果堅定了FreeWheel將監控平臺的全線服務遷移到Graviton實例之上，Prometheus場景下ARM架構帶來的20%性能提升也證明Graviton并未辜負FreeWheel的期待。目前FreeWheel使用亞馬遜云科技基于Graviton 2的多種實例，如內存密集型負載、通用負載和計算密集型負載，為監控平臺降本增效，有效激活效能。王磊表示，FreeWheel樂于嘗試亞馬遜云科技的創新技術，希望達到Graviton更大的使用規模。
Graviton性能如何？實踐出真知
除了監控平臺場景，張宇欣還為我們分享了Graviton 2實例在Presto集群的應用實踐。Presto是一個分布式的SQL查詢引擎，它被設計用于查詢分布在一個或者多個異構的數據源上的大規模數據集。目前FreeWheel擁有15套常駐Presto集群和100多套備用集群，每日在線的平均節點數約280個，高峰期可能達到近千個，每日查詢跨域數約6萬條，數據掃描量高達每天1.1Pb。針對計算密集型的要求，FreeWheel選擇了亞馬遜云科技的Graviton計算優化實例，將全部Presto集群部署在Amazon EC2上。將Presto集群遷移至Graviton實例前，FreeWheel也充滿疑問，Graviton 2能否為Presto集群提供優越性能和高性價比？張宇欣的答案是肯定的，并分享了一系列測試結果。單臺機器的運行中，通過c6g.8xlarge和Correto11的完美配合，機器價格節約了28.8%；在集群CPU資源相同的情況下，Graviton 2帶來了9%的性能提高，成本縮減20%；準生產環境下也得到了同樣的優質結果。目前FreeWheel已經完成了準生產環境下的100%遷移，不止如此，張宇欣提到，Graviton已被大規模運用于FreeWheel的其他系統中，如廣告預測平臺、用戶畫像處理等。未來FreeWheel將開展Graviton在ETL處理平臺運用效果的測試，最后張宇欣也表達了對Graviton的信心，未來將繼續發揮Graviton的性價比優勢，針對性優化應用及背后的運行時容器，力求更多突破性的賦能增長。
這是我的架構——直播周系列節目第二季第四集取得圓滿成功。Graviton的強大性能為大數據領域提供了有力支撐，亞馬遜云科技也將不斷創新重構，為企業降本增效貢獻科技力量。
