Go語言助力安全測試：24小時內發送5億次HTTP/1.1請求
作為一名安全研究人員，我需要定期對大量的目標主機進行安全掃描。最近，我遇到了一個挑戰：需要在短時間內向250萬臺主機發送5億次非RFC標準的HTTP/1.1請求，理想情況下是在幾個小時內完成。經過一番研究和實踐，我成功地使用Go語言構建了一個高效的“HTTP大炮”，并成功完成了任務。
為什么選擇Go語言
在眾多編程語言中，我最終選擇了Go語言作為實現工具，主要原因有三點：
- 簡潔易懂： Go語言語法簡潔，易于學習和使用，即使像我這樣并非專業的Go語言開發者也能快速上手。
- 并發支持： Go語言內置了強大的并發原語，例如goroutine和channel，可以輕松地實現高并發程序。
- 運行速度快： Go語言編譯型語言，運行速度非?？欤梢猿浞掷枚嗪薈PU的性能。
當然，我也嘗試過使用Rust語言來實現，但異步tokio類型的復雜性讓我望而卻步。相比之下，Go語言的并發模型更加直觀易懂，即使是JS開發者也能輕松駕馭。
5億次HTTP/1.1請求意味著什么
你可能會問，5億次HTTP/1.1請求到底意味著什么？這是一個很大的數字嗎？答案是肯定的。
如果使用curl命令逐個發送這些請求，即使每秒發送2個請求，也需要7.9年才能完成。在實際情況下，由于服務器的速率限制和網絡延遲，所需時間會更長。
從數據傳輸的角度來看，5億次HTTP/1.1請求的數據量并不算太大：
- 請求數據：5億 * 1KB（平均請求大?。?≈ 478GB
- 響應數據：5億 * 5KB（平均響應大?。?≈ 2.33TB
真正的挑戰在于如何高效地建立連接、發送請求和處理響應。
發送單個HTTP/1.1請求的步驟
雖然在代碼層面，發送一個HTTP/1.1請求只需要簡單的幾行代碼，例如：
resp, err := http.Get("https://example.com")但在底層，HTTP庫需要執行一系列操作：
- DNS解析： 將域名解析為IP地址。
- TCP連接： 與目標服務器建立TCP連接。
- TLS握手： 進行TLS握手，協商加密密鑰。
- 請求準備： 編碼HTTP請求頭和請求體。
- 發送請求： 將HTTP請求發送到服務器。
- 接收響應： 接收服務器返回的HTTP響應。
- 解析響應： 解碼HTTP響應頭和響應體。
- 關閉連接： 關閉TCP連接（可選）。
需要注意的是，上述任何一個步驟都可能失敗，因此需要進行錯誤處理和重試。
優化HTTP請求發送的思路
為了提高發送效率，我們需要盡可能地減少每個請求的耗時。通過分析單個HTTP請求的步驟，我們可以找到優化的方向：
- 請求解析： 在我的用例中，發送的HTTP請求并非標準的RFC請求，而是手工構造的，因此可以跳過請求解析的步驟。
- DNS解析： 可以預先將所有目標主機的域名解析為IP地址，避免在發送請求時進行DNS解析。
- 連接復用： 對于同一個目標主機，可以復用已經建立的TCP連接，減少連接建立的開銷。
- 并發發送： 可以使用多線程或協程并發發送請求，提高CPU利用率。
HTTP請求發送器的設計與實現
基于上述優化思路，我設計了一個多級流水線式的HTTP請求發送器，主要包括三個模塊：
- 請求生成模塊： 負責生成待發送的HTTP請求數據。
- 發送模塊： 負責將HTTP請求數據發送到目標服務器。
- 響應處理模塊： 負責接收和處理服務器返回的HTTP響應數據。
為了提高內存利用率和減少對象創建的開銷，我使用了對象池來管理HTTP連接和請求/響應對象。同時，為了避免單個目標服務器過載，我對每個目標服務器的請求頻率進行了限制。
關鍵代碼實現
1. 使用fasthttp庫
為了追求極致的性能，我選擇了fasthttp庫來替代Go語言標準庫中的net/http。fasthttp是一個輕量級、高性能的HTTP庫，經過 benchmark 測試，其速度比net/http快了將近10倍。
2. 自定義Dial函數
為了跳過DNS解析步驟，我自定義了一個Dial函數，直接使用預先解析好的IP地址建立TCP連接。
req.SetDial(func(addr string) (net.Conn, error) {
return customDialer.Dial(resolved_ip)
})3. 禁用請求標準化
由于我發送的是手工構造的非RFC標準HTTP請求，因此可以禁用fasthttp庫中的請求標準化功能，進一步提高性能。
req := rawfasthttp.AcquireRequest()
resp := rawfasthttp.AcquireResponse()
rawBytes := []byte("GET / HTTP/1.1\r\nHost: example.com\r\n\r\n")
req.SetRequestRaw(rawBytes)
err := client.Do(req, resp)使用Kubernetes進行橫向擴展
為了進一步提高發送效率，我將HTTP請求發送器部署到了DigitalOcean的Kubernetes集群中。DigitalOcean提供了每月2TB的免費流量，足以滿足我的測試需求。
為了實現自動化的彈性伸縮，我編寫了一個簡單的JavaScript腳本，根據任務隊列的長度動態調整Kubernetes Deployment的副本數量。
挑戰與解決方案
在測試過程中，我遇到了一些挑戰，例如：
- DDoS攻擊風險： 由于發送的請求量非常大，我自己的網絡一度被DDoS攻擊，導致Kubernetes節點無法正常工作。為了解決這個問題，我降低了每個Pod的請求頻率，并對目標服務器進行了分片。
- IP封禁： 一些安全防護軟件會對異常流量進行封禁，為了避免被封禁，我使用了DigitalOcean提供的動態IP功能，每臺Droplet都使用不同的公網IP地址。
測試結果
最終，我成功地構建了一個高效的HTTP請求發送器，并在幾個小時內完成了向250萬臺主機發送5億次HTTP/1.1請求的任務。
- 每個Pod的發送速率達到了每秒100-400個請求。
- Kubernetes集群最多擴展到了60個Pod。
總結
通過這次實踐，我深刻體會到了Go語言在網絡編程方面的強大能力，也學習到了很多關于HTTP協議和網絡安全的知識。我相信，這些經驗將會對我未來的安全研究工作有所幫助。
