眾所周知kafka的吞吐量比一般的消息隊(duì)列要高，號(hào)稱the fastest，那他是如何做到的，讓我們從以下幾個(gè)方面分析一下原因。

生產(chǎn)者（寫入數(shù)據(jù)）

生產(chǎn)者（producer）是負(fù)責(zé)向Kafka提交數(shù)據(jù)的，我們先分析這一部分。
Kafka會(huì)把收到的消息都寫入到硬盤中，它絕對(duì)不會(huì)丟失數(shù)據(jù)。為了優(yōu)化寫入速度Kafak采用了兩個(gè)技術(shù)，順序?qū)懭牒蚆MFile。

上圖就展示了Kafka是如何寫入數(shù)據(jù)的，每一個(gè)Partition其實(shí)都是一個(gè)文件，收到消息后Kafka會(huì)把數(shù)據(jù)插入到文件末尾（虛框部分）。
這種方法有一個(gè)缺陷——沒有辦法刪除數(shù)據(jù)，所以Kafka是不會(huì)刪除數(shù)據(jù)的，它會(huì)把所有的數(shù)據(jù)都保留下來，每個(gè)消費(fèi)者（Consumer）對(duì)每個(gè)Topic都有一個(gè)offset用來表示讀取到了第幾條數(shù)據(jù)。

上圖中有兩個(gè)消費(fèi)者，Consumer1有兩個(gè)offset分別對(duì)應(yīng)Partition0、Partition1（假設(shè)每一個(gè)Topic一個(gè)Partition）；Consumer2有一個(gè)offset對(duì)應(yīng)Partition2。這個(gè)offset是由客戶端SDK負(fù)責(zé)保存的，Kafka的Broker完全無視這個(gè)東西的存在；一般情況下SDK會(huì)把它保存到zookeeper里面。(所以需要給Consumer提供zookeeper的地址)。
如果不刪除硬盤肯定會(huì)被撐滿，所以Kakfa提供了兩種策略來刪除數(shù)據(jù)。一是基于時(shí)間，二是基于partition文件大小。具體配置可以參看它的配置文檔。

Memory Mapped Files

即便是順序?qū)懭胗脖P，硬盤的訪問速度還是不可能追上內(nèi)存。所以Kafka的數(shù)據(jù)并不是實(shí)時(shí)的寫入硬盤，它充分利用了現(xiàn)代操作系統(tǒng)分頁存儲(chǔ)來利用內(nèi)存提高I/O效率。
Memory Mapped Files(后面簡(jiǎn)稱mmap)也被翻譯成內(nèi)存映射文件，在64位操作系統(tǒng)中一般可以表示20G的數(shù)據(jù)文件，它的工作原理是直接利用操作系統(tǒng)的Page來實(shí)現(xiàn)文件到物理內(nèi)存的直接映射。完成映射之后你對(duì)物理內(nèi)存的操作會(huì)被同步到硬盤上（操作系統(tǒng)在適當(dāng)?shù)臅r(shí)候）。

通過mmap，進(jìn)程像讀寫硬盤一樣讀寫內(nèi)存（當(dāng)然是虛擬機(jī)內(nèi)存），也不必關(guān)心內(nèi)存的大小有虛擬內(nèi)存為我們兜底。
使用這種方式可以獲取很大的I/O提升，省去了用戶空間到內(nèi)核空間復(fù)制的開銷（調(diào)用文件的read會(huì)把數(shù)據(jù)先放到內(nèi)核空間的內(nèi)存中，然后再?gòu)?fù)制到用戶空間的內(nèi)存中。）也有一個(gè)很明顯的缺陷——不可靠，寫到mmap中的數(shù)據(jù)并沒有被真正的寫到硬盤，操作系統(tǒng)會(huì)在程序主動(dòng)調(diào)用flush的時(shí)候才把數(shù)據(jù)真正的寫到硬盤。Kafka提供了一個(gè)參數(shù)——producer.type來控制是不是主動(dòng)flush，如果Kafka寫入到mmap之后就立即flush然后再返回Producer叫同步(sync)；寫入mmap之后立即返回Producer不調(diào)用flush叫異步(async)。
mmap其實(shí)是Linux中的一個(gè)函數(shù)就是用來實(shí)現(xiàn)內(nèi)存映射的，謝謝Java NIO，它給我提供了一個(gè)mappedbytebuffer類可以用來實(shí)現(xiàn)內(nèi)存映射（所以是沾了Java的光才可以如此神速和Scala沒關(guān)系！！）

消費(fèi)者（讀取數(shù)據(jù)）

Kafka使用磁盤文件還想快速？這是我看到Kafka之后的第一個(gè)疑問，ZeroMQ完全沒有任何服務(wù)器節(jié)點(diǎn)，也不會(huì)使用硬盤，按照道理說它應(yīng)該比Kafka快。可是實(shí)際測(cè)試下來它的速度還是被Kafka“吊打”。“一個(gè)用硬盤的比用內(nèi)存的快”，這絕對(duì)違反常識(shí)；如果這種事情發(fā)生說明——它作弊了。
沒錯(cuò)，Kafka“作弊”。無論是順序?qū)懭脒€是mmap其實(shí)都是作弊的準(zhǔn)備工作。

如何提高Web Server靜態(tài)文件的速度 ?

仔細(xì)想一下，一個(gè)Web Server傳送一個(gè)靜態(tài)文件，如何優(yōu)化？答案是zero copy。傳統(tǒng)模式下我們從硬盤讀取一個(gè)文件是這樣的

先復(fù)制到內(nèi)核空間（read是系統(tǒng)調(diào)用，放到了DMA，所以用內(nèi)核空間），然后復(fù)制到用戶空間(1,2)；從用戶空間重新復(fù)制到內(nèi)核空間（你用的socket是系統(tǒng)調(diào)用，所以它也有自己的內(nèi)核空間），最后發(fā)送給網(wǎng)卡（3、4）。

Zero Copy中直接從內(nèi)核空間（DMA的）到內(nèi)核空間（Socket的），然后發(fā)送網(wǎng)卡。
這個(gè)技術(shù)非常普遍，The C10K problem 里面也有很詳細(xì)的介紹，Nginx也是用的這種技術(shù)，稍微搜一下就能找到很多資料。

Java的NIO提供了FileChannle，它的transferTo、transferFrom方法就是Zero Copy。

Kafka是如何耍賴的?

想到了嗎？Kafka把所有的消息都存放在一個(gè)一個(gè)的文件中，當(dāng)消費(fèi)者需要數(shù)據(jù)的時(shí)候Kafka直接把“文件”發(fā)送給消費(fèi)者。這就是秘訣所在，比如：10W的消息組合在一起是10MB的數(shù)據(jù)量，然后Kafka用類似于發(fā)文件的方式直接扔出去了，如果消費(fèi)者和生產(chǎn)者之間的網(wǎng)絡(luò)非常好（只要網(wǎng)絡(luò)稍微正常一點(diǎn)10MB根本不是事。。。家里上網(wǎng)都是100Mbps的帶寬了），10MB可能只需要1s。所以答案是——10W的TPS，Kafka每秒鐘處理了10W條消息。
可能你說：不可能把整個(gè)文件發(fā)出去吧？里面還有一些不需要的消息呢？是的，Kafka作為一個(gè)“高級(jí)作弊分子”自然要把作弊做的有逼格。Zero Copy對(duì)應(yīng)的是sendfile這個(gè)函數(shù)（以Linux為例），這個(gè)函數(shù)接受

out_fd作為輸出（一般及時(shí)socket的句柄）

in_fd作為輸入文件句柄

off_t表示in_fd的偏移（從哪里開始讀取）

size_t表示讀取多少個(gè)

沒錯(cuò)，Kafka是用mmap作為文件讀寫方式的，它就是一個(gè)文件句柄，所以直接把它傳給sendfile；偏移也好解決，用戶會(huì)自己保持這個(gè)offset，每次請(qǐng)求都會(huì)發(fā)送這個(gè)offset。（還記得嗎？放在zookeeper中的）；數(shù)據(jù)量更容易解決了，如果消費(fèi)者想要更快，就全部扔給消費(fèi)者。如果這樣做一般情況下消費(fèi)者肯定直接就被壓死了；所以Kafka提供了的兩種方式——Push，我全部扔給你了，你死了不管我的事情；Pull，好吧你告訴我你需要多少個(gè)，我給你多少個(gè)。

總結(jié)

Kafka速度的秘訣在于，它把所有的消息都變成一個(gè)的文件。通過mmap提高I/O速度，寫入數(shù)據(jù)的時(shí)候它是末尾添加所以速度最優(yōu)；讀取數(shù)據(jù)的時(shí)候配合sendfile直接暴力輸出。阿里的RocketMQ也是這種模式，只不過是用Java寫的。

單純的去測(cè)試MQ的速度沒有任何意義，Kafka這種“暴力”、“流氓”、“無恥”的做法已經(jīng)脫了MQ的底褲，更像是一個(gè)暴力的“數(shù)據(jù)傳送器”。所以對(duì)于一個(gè)MQ的評(píng)價(jià)只以速度論英雄，世界上沒人能干的過Kafka，我們?cè)O(shè)計(jì)的時(shí)候不能聽信網(wǎng)上的流言蜚語——“Kafka最快，大家都在用，所以我們的MQ用Kafka沒錯(cuò)”。在這種思想的作用下，你可能根本不會(huì)關(guān)心“失敗者”；而實(shí)際上可能這些“失敗者”是更適合你業(yè)務(wù)的MQ。