抖音27天戰期：春晚紅包背后的技術大考
距離辛丑牛年《春節聯歡晚會》倒計時 15 天，央視宣布：短視頻 App 抖音成為春晚獨家互動合作伙伴，將于除夕夜為全國人民發放 12 億紅包。
此次活動引發了累計 703 億次紅包互動，再度將抖音及其背后的公司——字節跳動，推上了話題熱榜。
我們看見的是字節向全國人民遞出的滿意答卷，但其背后的故事更值得深挖。有人稱其是一場里程碑式的技術驗證，有人描述為一場穿越風暴的修行……
今天，就讓我們一起，拉開春晚舞臺上這場“戰斗”的幕布，看一看這背后的故事。
序幕：挑戰來臨
“如果 2019 年讓我們做主場，以當時的技術能力沒有十足把握。但今年，我們沒有任何猶豫接下了挑戰。”
2021 年 1 月 13 日，周三。字節一如既往的活動日。客戶端負責人肖宇已處理完一天的工作，準備和同事們去吃一頓大餐。
“團建取消”，一條通知赫然出現在屏幕上，“所有人一起開個緊急會議!” 大家停下步伐，面面相覷，隱隱嗅到了戰場上的硝煙味道。
22 點，會議終于開始。原來是白天跟央視接觸的市場部同事來商討抖音要不要承包 2021 年春晚紅包項目，詢問技術側同事能否支持，如能支持第二天即敲定合同細節。
肖宇打開飛書日歷，劃到 2 月列表。11 號是除夕，距今不足 1 月。
其實，對字節來說，春晚紅包項目并不陌生。2019 年，百度以第一身份，抖音以第二身份共同參與了春晚紅包項目。
“如果那時我們做主場，以當時的技術能力沒有十足的把握”。但這兩年，隨著字節人才梯隊和基礎設施的迅猛發展，“所以得知 2021 年要以第一身份做春晚紅包活動時，大家都是躍躍欲試的樣子”，肖宇回憶起那天開會的場景。
沒有猶豫，技術部門點頭了。
1 月 15 日，合作敲定。雖沒有對外正式公布，但項目的齒輪已急速轉動起來。
infoQ如此說，“春晚活動是百度、阿里、騰訊三家輪番坐莊的技術盛事，畢竟只有具備足夠的用戶體量，才可能有足夠的技術能力支撐起春晚級別的高并發流量。”去年快手和今年字節的出現，無疑給這個流轉于三個互聯網大廠之間的年度“保留節目”注入了一股新鮮血液。
然而，相比于往年“前輩們”平均 50 天的籌備時間，字節今年只有 27 天，這樣極短的籌備周期此前從未發生。倒計時開始，如何才能完成如此艱巨的任務?
第一幕：發令槍響，啟程!
"感覺像是一直在準備高考，突然文化課改成踢足球，踢的還是世界杯。"
中國互聯網圈有一句戲言：沒有中國人搞不垮的網站。春晚紅包活動即是一部記載互聯網公司宕機事故的編年史，再強的高并發能力在十幾億觀眾面前都顯得格外脆弱。曾經參與過春晚項目的團隊笑稱，活動難度級別是“從爬泰山到登珠峰”。
2021 年預留的時間只有 27 天，應對上更顯局促。
其實從 2020 年 10 月開始，抖音一直在準備春節活動，毫無預兆地將活動主場搬上春晚，"感覺像是一直在準備高考，突然文化課改成踢足球，踢得還是世界杯"，肖宇笑著感嘆道，“雖然毫不猶豫地接下了春晚任務，頭三天卻仍是感到心慌”。
項目初期，需要考慮的方向繁多，每一個環節都不可小覷。就像一艘海上巨輪，只要出現任何一道細小裂紋，都可能造成萬噸海水涌入的致命后果。因此，在活動準備階段，工作脈絡梳理和明確核心里程碑節點有著提綱挈領的作用。
春晚活動項目組首先對核心鏈路、活動鏈路和常規鏈路進行梳理，全面覆蓋了項目涉及的各個方向，并按照優先級由主到次梳理展開。根據春晚時間倒推，團隊確定了 9 個重要里程碑節點，其中包括：3 次壓力測試、1 次容災演練、4 次劇本演練和 1 次實操。
一切已經就緒，齒輪轉動到了最關鍵的楔合點，真正的難關逐漸浮現在字節人的眼前。
第二幕：十八次演練
"春晚的放大效應不允許技術團隊有一丁點的僥幸心理。"
當提及春晚紅包活動的技術難點時，UG 中臺負責人蘇彥坦言，技術場景其實并不復雜，核心是對峰值流量的預估、資源調度優化及用戶體驗保障。
春晚紅包活動是一種超高并發場景，流量預估其實是一種權衡，如果預估過高，資源要求太大，則會浪費大量成本;如果預估過低，實際流量超出預期，系統可能過載甚至雪崩，影響用戶體驗和活動效果。
綜合容量評估平臺歷史數據和業務系統的壓測結果，技術團隊只用兩天時間就出具了常規增長、口播冷啟動、紅包活動等場景的流量預估。
互娛研發架構負責人邢岫表示，春晚項目組自成立之時，就立下明確的戰略目標，首先就是要達到春晚活動應有的體驗效果。預估工作給整個項目打底后，如何快速解決春晚流量洪峰的處理問題成為頭等大事。
技術團隊從流量治理、服務治理、研發效能等多角度入手，結合火山引擎云原生能力，給出了有字節特色的解決方案。流量治理和服務治理是保障用戶體驗的關鍵，研發效能是快速高質量完成春晚活動技術工作的保障。
流量治理：融合線路、邊緣計算與全鏈路動態流量調度
春晚紅包活動要為用戶提供更好的體驗，其流量治理建設就要滿足高帶寬、低時延、自動容災、快速恢復的特性。為此，字節基于端云配合的融合加速線路方案，通過快速驗證外部 CDN 服務鏈路能力，提供高效的動態 CDN 加速和流量分配，與用戶設備、邊緣機房、核心機房聯合全鏈路動態流量調度，實現了對用戶體驗最優的負載均衡與分級治理。
同時，在流量輸入側和處理側做出相應努力，使得流量治理部分能夠支持 APP ID、接口、用戶 ID 等多維度的調度策略，實現流量合并、隔離等調度需求，可以達到十萬分之一級別的流量切換精度、數億級別在線客戶端配置管理、千萬級并發請求更新調度配置、3 分鐘配置更新 90%、24h 配置覆蓋率99.5%。
在春晚高并發大流量場景下，這種能力為局部容災、整機房大規模容災等場景預案提供了足夠的能力支撐，其具備的自動容災能力能夠實現故障場景對用戶的影響時間降至 1min 內，極大的降低了故障場景下的用戶體驗損失。
服務治理：ServiceMesh 與離在線資源統一調度系統
如果把流量治理的建設比喻為水流的快不快、順不順，服務治理建設則直接決定了水的流量和質量。好的服務治理能力，需要能為業務提供最好的容災和彈性?；鹕揭嫱ㄟ^ ServiceMesh 提供靈活的集群內流量調度、負載均衡、過載控制與容災能力，又通過離在線資源統一調度系統提供高度靈活的跨集群、跨冷熱彈性擴縮解決方案。
離線資源拆借方案使離線機器可在 5min 內轉換成在線可用狀態，在線混部出讓方案在資源整合上使用了單機維度的 QoS 管理和隔離手段，整合多集群已部署閑置資源，緩解任務冷啟動帶來的延時影響。僅針對春晚當天大量短視頻投稿的碼率轉換和抽幀相關任務，此方案就穩定供應了數十萬核心的算力。
研發效能：壓力測試、一站式觀測平臺與公共組件建設
高效的研發迭代依賴于出色的研發基礎設施建設，字節全鏈路壓測平臺和一站式可觀測平臺，不僅提供了數據隔離能力，使得在不影響用戶體驗的前提下，能為壓測爭取更多的時間，也提供了軟硬件狀態實時監控能力，為研發團隊迭代相關服務提供了有效的反饋信息，加快了問題發現-定位-解決的迭代效率。
此外，字節通過自研公共 RPC，將活動流量接入的關鍵性能和穩定性問題集中解決和處理，并針對性地建設了一整套性能/穩定性測試體系，深度模擬活動流量特點，針對大并發，大包，重負載場景做了大量的測試和優化，將所有可能出現的異常問題提前暴露和解決，高強度地保障了框架質量。框架承載的服務峰值 QPS 達到千萬級別(未統計物理機部署服務)，線上無一例異常反饋。
即使具備充分的技術積累，春晚紅包活動對參與者而言，依然是一場穿越風暴的修行。
前期演練過程中，一個意料之外的業務問題被所在團隊率先發現。隨著定位和測試的深入，整條業務鏈上下游的數據分析、服務端、前端、客戶端的同事一個又一個地被拉入“小黑屋”里，一次一次小流量實驗，一點一點對數，一輪一輪分析，找數據，找原因，補埋點，補監控。等問題解決時，恍然已過 5 個小時。
各端負責人都表示，春晚的項目開發非常考驗個人和團隊對細節的把控：“由于日常迭代頻繁，工作難以做到極致的細化，而春晚帶來的海嘯級別的用戶體量是一個放大鏡，放大曾經工作中任何覺得不重要的問題。春晚的放大效應不允許技術團隊有一丁點的僥幸心理。”從立項開始的每一天，團隊都以發現一個問題，定位一個問題，解決一個問題的踏實態度，支撐著高強度的春晚紅包活動迭代。
針對可能出現的突發問題，技術團隊制定了 16 個系統性的緊急預案，每個大預案進一步細致拆解，每一個子模塊又會有相對應的幾十個預案。例如網絡掛掉，機房故障、局部過熱等問題，每個問題都出具應對方案。這些應急預案逐個演習，盡最大可能保障春晚當天的用戶體驗。
同時，為防止重蹈外部資源崩潰事故，字節和外部運營商保持充分聯絡，建立良好的迭代和溝通機制。系統負責人施羽向我們透露，在本次春節活動期間，抖音團隊和外部資源進行了“定向溝通”以及非常極致的盤點，基于需求給供應商做好分配。
為了在央視春晚順利發出紅包雨，讓全國人民體驗一個喜悅圓滿的好年，字節經歷了 18 場技術預演，除了內部的用戶測試之外，也借助了衛視春晚的小年夜活動進行實操。
“隨著一次次演練，緊張心態已經好多了。以我們的技術實力來完成一個相對確定的事情沒什么問題。但春晚上線前兩天又開始慌了，特別擔心漏掉什么。就像一個快上考場的高中生，感覺好像完全復習好了，但生怕有遺漏的知識點。"肖宇這樣形容春晚前夕忐忑心情。
第三幕：未能登場的黑天鵝
“抖音作為一款國民級應用，我們希望以追求極致的態度，讓用戶即便在復雜網絡環境下都能有一個較好的玩法體驗，尤其是在流量峰值期間。”
轉眼間，2 月 11 日除夕夜大考來臨。
盡管已演練了 18 次，春晚流量的不穩定性依舊是一把懸在所有人頭頂的劍。
20 點 30 分，隨著第 1 波紅包雨指令的順利發出，緊張氣氛逐漸平復下來。
雖未言語，但在場的字節人心中都有一個默契，他們知道：這事成了。
0 點 10 分，第5波紅包雨隨著新年鐘聲的余韻和璀璨焰火，在千家萬戶的手機屏幕上閃爍，這場屬于字節的演出拉下了終場帷幕。
“除夕，從家里換到春晚值班現場，這種氛圍很難得。幾百位同學坐在一起看春晚的同時，又各自監控著實時數據，自己切身地深入到春晚項目之中，給全國幾億用戶提供紅包雨活動，是很有自豪感和成就感的事情。”前端負責人李川東回憶著當晚的心情，言語間透露著無法抑制的喜悅。
更令技術團隊欣慰的是，預估可能觸發的 16 個系統性問題一個都沒有出現，黑天鵝事件均完美避免，抖音就這樣平淡地度過了一次又一次地流量沖擊，穩穩地進入新的一年。
“從大的視野來看，春晚活動的特性使得其穩定性及可靠性的要求被放到一個非常高的優先級，體驗保障在某種程度屬于盡量保證的定位。但抖音作為一款國民級應用，我們希望以追求極致的態度，讓用戶即便在復雜網絡環境下都能有一個較好的玩法體驗，尤其是在流量峰值期間。”邢岫總結道。
那么，2019 年，字節尚無在春晚主場作戰的把握。兩年后的今天，抖音卻如此平靜地通過了曾絆倒往年春晚合作方的挑戰。是什么支撐了這場技術蛻變?
第四幕：字節如何跳動
“以字節現在的技術能力，我們本應做到，甚至可以更快更好。”
當問及春晚紅包活動為何能如此迅速而完美收場時，參與者達成了共識：組織模式和技術成長。
網狀合作模式
項目支撐團隊的組織結構，和 BP 的確立是整個推進工作進程、同步信息的關鍵基礎。確認抖音接下春晚項目后，字節立刻集合了 20 余個團隊前來支持。但合作模式并非做自頂而下的項目拆解，并非給每個人布置固定任務，而是設定統一目標，向下同步對齊，靠著各個團隊的主動性逐步推動目標實現。
架構負責人岳建梁將這種協作方式稱作“像一張網”。網狀的組織結構連結著一個個團隊，每個連結點都有專門的負責人用以對接，任何事責都能收到明確的回應。這是字節文化特征和組織模式的體現。
基礎設施優化
技術團隊快速做出決策的信心，來源于字節對多種基礎能力建設的長期投入。
架構負責人岳建梁透露，目前字節基礎架構的規模性已不可同日而語，它給予了業務側更充分的靈活性和更大的發揮空間，這很關鍵，沒有這么大的規模，很多問題無法解決。
架構的體系結構也發生了決定性變化，各個機房進行了獨立的單元化構建，有能力在不同機房之間對流量進行任意調配。
除此之外，現今的字節有著一系列的技術突破，如完善的存儲矩陣;計算能力上實現了離線和在線的混合部署;網絡層面獲得更多可控度，自建了 CDN、動態加速、HTTPDNS、流量調度能力;內部服務治理和服務管理也更完善，具有各種容災系統，容災演練系統，Chaos 系統，治理系統，全方位支持業務活動的順利運行，表現出較強的性能和穩定性。
值得一提的是，此次字節自研的客戶端動態引擎框架 Lynx 在春晚活動中表現尤為突出，極大縮減了客戶端發版成本，提升業務迭代效率，這也是 Lynx 第一次被應用在大規模活動中。
以上這些，支撐著 2021 年的抖音更從容地應對了春晚項目。
春晚紅包活動，對如今的字節來說，不是挑戰， 更像是一次求證。
借由這場流量狂歡，字節驗證了自己的邊緣計算能力，自建的動態加速和 CDN 能力，以及在線大規模的混合部署和快速調度能力。
“其實我們沒有放大完成這件事的成就感，我們清楚成功的源頭是組織模式和越來越好的基礎設施。以字節現在的技術能力，我們本應做到，甚至可以更快更好。”鄧影這樣說道。
尾聲：持續奔跑，用力浪漫
“持續探索，始終創業。”
“一直在追求給用戶更個性化的極致體驗。”提到春晚項目的遺憾，蘇彥認為如果時間再充裕些，可以將玩法做得更有趣。
不難看出，字節這些年對基礎技術能力的持續投入已見效可觀，能夠支持更復雜的業務場景，應對業務挑戰。同時結合自身發展特點，積極探索行業新技術在字節場景下的新應用。
過往遺憾，皆為序章。
送別 2021 年春晚項目，字節將繼續上路。
“持續探索，始終創業”。
這里是故事的結束，也將是下個故事的開始。
作者：HaloTech
來源：HaloTech瑤光棧
