航空公司與爬蟲的戰爭：特價票的真相與內幕
你天天爬價，你咋不上天
我有特價票，你有故事嗎
我要一步一步往上爬
?? ??
一、寒冬來臨
1. 票代野蠻生長的年代
改革開放之初，坐飛機對于普通老百姓還是個稀罕事，乘坐飛機出行的人實在太少,提高航班的乘坐人數是當時航空公司的主要目標。
除了優惠活動外，還出臺了各種代理鼓勵機制。比如 2002 年左右機票代理商享受“3+X”%的票代利潤模式。據業內人士回憶，那時各大航空公司為爭奪旅客，競相給予代理企業遠超出官方規定的手續費，“X”的部分最高可達到 17% 以上。除此以外，航空公司還動輒發放動態獎勵、年終大獎等來激勵票代 。
2. 是什么導致了3-2-1-0%
趨之若鶩必將帶來泰極生否。網上票代的興起，在為用戶出行提供出行便利的同時，也催生了灰產、黑產的泛濫。無資質票代借機渾水摸魚牟取非法利潤，有資質票代不惜鋌而走險觸動“紅線”，視消費者的利益為魚肉。
各航司非常敏銳的洞察到了票代中的違規現象，馬克思說過，“人們的奮斗所爭取的一切,都同他們的利益有關。”解鈴還須系鈴人。于是，在 2014 年的各航司紛紛做同一件事情：降傭、禁廢。
國航自 2015 年 3 月 1 日(銷售日期)起，境內代理人銷售的 BSP / B2B 國際、國內客票不允許作廢，客票的改期、升艙、退票按照客票使用條件辦理，這將大大增加機票代理商的退票成本。
?? 
?? ??
3. 明日黃花
如今的航司其實早已把“提直降代”列入了重中之重，在這樣的一種訴求下，2016 年 2 月 4 日，國資委“將直銷比例提高至 50% ”、 “代理費要在 2014 年的基礎上下降 50% ”等通知對于航司就如同甘露一般。
其實，對機票行業里面灰產黑產現象，OTA 也深惡痛絕。例如 2016 年“九航企封殺去哪兒”、“李淼投訴假機票”兩個事件，違規操作對企業形象造成了巨大的負面影響。
因此，攜程在 2016 年發布了一份《關于航班銷售重要通知》，宣布暫停供應商(即機票代理商)銷售 2016 年 9 月 1 日之后的指定航空公司的國內客票，這些航空公司包括了中國四大航。隨后，大量代理人已經開始退出機票銷售市場。
?? 
4. 前返→暗扣→傭金→后返→……
至此，航空公司重新控制銷售渠道，機票代理已走向沒落。
從 2002 年開始票代的黃金時期漸漸成為過去。之前拿著“暗扣”就很滋潤的票代們，被航司嚴格管控，如今只能靠越來越少的傭金維持。今年，本來以為“后返”也是一個出路的票代們，又遭受重創，不得不主動探索新的出路了。
?? 
二、為何航司網站爬蟲逐年呈現上升趨勢
遭遇了幾次的重創，傳統票代行業必將逐漸冷卻。但是對于曾經和機票打交道的人們，長期打造的戰場就放棄的如此甘心情愿嗎?
繼續深挖傭金的方式獲取利益已然行不通了，那么還有哪些環節是有機可乘的呢?
1. 劇增的棄程現象
某報在采訪國航客運營銷部發現了如下現象：
國航座控中心的工作人員指著電腦屏幕，一張由北京飛往哈爾濱的某航班機票，上面旅客姓名、機票號、聯系電話等均填寫得清楚明白，但機票號前三位不是國航的代碼，也不是國內任何一家航空公司的。顯然這個“乘客”根本不存在，內容都是瞎編的。
四川航空公司成都售票處主任說：虛占座位，越是旺季，越是緊俏的航班，被虛占的座位相對就多，如果被虛占的座位最后沒賣掉，航空公司也沒發現，那么這個座位肯定就是浪費了。
2. 結合技術手段的虛占
世間沒有無緣無故的愛與恨。
沒有了傭金，代理人或者機票從業者天天琢磨著新的可持續發展的利益獲取渠道。終于，新點子有了：虛占座位。
?? ??
他們大量搶占：①長期熱門線路的各艙位;②座位數很少的艙位;③特價艙位;④黃金時期(如黃金周)的各艙位。
目的：利用因時間推移造成的艙位價格變化獲利、或通過自己的平臺自主加價轉售。
虛占座位從機票代理這個詞出現就有了，因為早期是為了確保一些團隊的機票冗余，當時現象也并不是很多;但現如今主要目標是為了囤積后伺機出售實現利益最大化——現象相同，但是體量和目的卻完全不同。
這些大量的操作靠人工已經無法滿足需求了，因為一種網絡爬蟲技術對于虛占座位的人群們來說如獲至寶，因為爬蟲可替代 95% 的人工操作。
3. 倍受青睞的爬蟲
要通過虛占來取得利益，至少要知道這些目標機票在哪?何時出現?最晚支付時間是?壓位后的機票確保不會被收回?處理這些問題，大致需要如下流程：
1)充分的利用各種爬蟲工具
?? ??
2)大量下訂單，規定時間內(各航線不同)不支付，并把搶占的艙位放到 OTA 、機票 B2B 上出售;
3)規定時間內賣不出去，在被取消訂單前，訂單失效前馬上再去追一個訂單，繼續把位置占住;
4)如果出售成功，就可以把原來占位的機票取消掉，再用客戶的身份信息訂票并出票。
雖然從虛占到變現過程不復雜，但是要形成暴利，就需要來回如上過程無數次。這種批量操作需要大量的交互窗口和大量追位工具操作，人力物力隨之上去了，最后搞不好賠本賺吆喝。
怎么辦?好在，人人都是“產品”經理。他們有高級自動化的工具，專門針對壓位、追位。
?? 
這是我們在網上發現的針對某家航空公司的自動爬蟲工具， 它實現了：
- 多個線程自動登錄
- 實時獲取特價機票信息
- 匹配后自動下單
- 熱門、特價機票跟蹤
其實航司風控技術部門的很快就會捕捉到使用工具的人們，他們的特征是： IP 來源單一，頻次過高，爬蟲即可被識破并且被禁止掉。
所謂道高一尺魔高一丈，只要有一絲絲希望，“產品”經理就不會放棄：他們充分的利用各種資源，比如利用購買或者租用的云機房、IDC 中的 IP 資源，甚至會改造了路由器，待買家購置家中后，便直接轉化成了為他們服務的爬蟲種子。
其目的：將單一 IP 的訪問動作稀釋到成千上萬的 IP 中去。
豈安風險情報專家笑天分析了 2016 年某三個月的爬蟲來源分布圖，也證明這一點，他們分布的十分廣泛，調用順序也毫無規律可循。
綜上所述，對于一個完整的風控體系而言，僅通過訪問頻率、Useragent 觀測角度肯定不是最全面的的風控維度。
三、抽絲剝繭看爬蟲
爬蟲繞開技術層出不窮，防爬蟲的技術也日新月異，風險黑名單可能是大多風控部門采用的方式，這種存在一定局限性，從行為軌跡和用戶畫像角度出發一定是風控的大趨勢。
針對航司的爬蟲，需求表明目前最迫切的是防止黑代理將IP分散到世界各地繞開訪問頻率的監控，我們必須增加更多途徑實時訪問流量中獲得更多有價值信息。(前提：一定不允許在 APP 、Web 中增加代碼，大型企業對這些非常看重)。
1. 訪問元素豐富度
普通用戶在打開網頁時會有比較豐富的地址訪問，而自動爬蟲通常只有少數固定的頁面訪問，比如航司活動專版、艙位價格頁面、航線動態等。
?? 
2. 訪問軌跡連貫性
用戶在進行頁面訪問時，通常是有一個合理的訪問軌跡，如從首頁跳轉到機票搜索，但爬蟲在自動獲取數據時，往往是對頁面地址進行逐個訪問，沒有連貫的軌跡。比如首次訪問就是登錄頁面，正常應該從搜索或者廣告頁跳轉而來。
?? 
3. 訪問靜態資源比例
爬蟲獲取數據時往往只關心具體的文字內容和數據，但不會查看圖片以及加載頁面上的 CSS 或者 JS 信息，這就為風控平臺提供了一個較為顯著的判斷因素，這一點不用多加解釋。
4. Click 間隔時間
爬蟲在獲取頁面信息時，會出現連續兩個 Click 間隔時間過短，不匹配合理的人肉點擊間隔時間，這就是典型的區別人機判斷機制。
?? 
篇幅有限，僅僅列出以上這些在航司常出現的風險特征。
小結
一入票代深似海，從此節操是路人。
對于各航空公司，爬蟲僅僅是一個風險的開始。豈安實驗室的安全專家 James 和 Bogomil 通過調研，得出在航司還存在著信息泄露、短信轟炸、虛假注冊、羊毛黨、掃號撞庫、密碼找回等諸多風險問題。
針對航司的行業特點，豈安科技開發了 Warden(看門者)產品，通過大數據分析、風控專家梳理，研制開發了航旅版業務風險決策系統，已陸續在各大航司、OTA 中交付使用，并得到了非常好的反饋。
【本文是51CTO專欄機構“豈安科技”的原創文章，轉載請通過微信公眾號(bigsec)聯系原作者】
?? 
