精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

阿里二面:什么是mmap?

開發 后端
這一類的問題都逃不過的一個點就是零拷貝,雖然還有一些其他的原因,但是今天我們的話題主要就是零拷貝。

[[395528]]

 平時在面試中你肯定會經常碰見的問題就是:RocketMQ為什么快?Kafka為什么快?什么是mmap?

這一類的問題都逃不過的一個點就是零拷貝,雖然還有一些其他的原因,但是今天我們的話題主要就是零拷貝。

傳統IO

在開始談零拷貝之前,首先要對傳統的IO方式有一個概念。

基于傳統的IO方式,底層實際上通過調用read()和write()來實現。

通過read()把數據從硬盤讀取到內核緩沖區,再復制到用戶緩沖區;然后再通過write()寫入到socket緩沖區,最后寫入網卡設備。

整個過程發生了4次用戶態和內核態的上下文切換和4次拷貝,具體流程如下:

  1.  用戶進程通過read()方法向操作系統發起調用,此時上下文從用戶態轉向內核態
  2.  DMA控制器把數據從硬盤中拷貝到讀緩沖區
  3.  CPU把讀緩沖區數據拷貝到應用緩沖區,上下文從內核態轉為用戶態,read()返回
  4.  用戶進程通過write()方法發起調用,上下文從用戶態轉為內核態
  5.  CPU將應用緩沖區中數據拷貝到socket緩沖區
  6.  DMA控制器把數據從socket緩沖區拷貝到網卡,上下文從內核態切換回用戶態,write()返回

那么,這里指的用戶態、內核態指的是什么?上下文切換又是什么?

簡單來說,用戶空間指的就是用戶進程的運行空間,內核空間就是內核的運行空間。

如果進程運行在內核空間就是內核態,運行在用戶空間就是用戶態。

為了安全起見,他們之間是互相隔離的,而在用戶態和內核態之間的上下文切換也是比較耗時的。

從上面我們可以看到,一次簡單的IO過程產生了4次上下文切換,這個無疑在高并發場景下會對性能產生較大的影響。

那么什么又是DMA拷貝呢?

因為對于一個IO操作而言,都是通過CPU發出對應的指令來完成,但是相比CPU來說,IO的速度太慢了,CPU有大量的時間處于等待IO的狀態。

因此就產生了DMA(Direct Memory Access)直接內存訪問技術,本質上來說他就是一塊主板上獨立的芯片,通過它來進行內存和IO設備的數據傳輸,從而減少CPU的等待時間。

但是無論誰來拷貝,頻繁的拷貝耗時也是對性能的影響。

零拷貝

零拷貝技術是指計算機執行操作時,CPU不需要先將數據從某處內存復制到另一個特定區域,這種技術通常用于通過網絡傳輸文件時節省CPU周期和內存帶寬。

那么對于零拷貝而言,并非真的是完全沒有數據拷貝的過程,只不過是減少用戶態和內核態的切換次數以及CPU拷貝的次數。

這里,僅僅有針對性的來談談幾種常見的零拷貝技術。 

  1. mmap+write 

mmap+write簡單來說就是使用mmap替換了read+write中的read操作,減少了一次CPU的拷貝。

mmap主要實現方式是將讀緩沖區的地址和用戶緩沖區的地址進行映射,內核緩沖區和應用緩沖區共享,從而減少了從讀緩沖區到用戶緩沖區的一次CPU拷貝。

整個過程發生了4次用戶態和內核態的上下文切換和3次拷貝,具體流程如下:

  1.  用戶進程通過mmap()方法向操作系統發起調用,上下文從用戶態轉向內核態
  2.  DMA控制器把數據從硬盤中拷貝到讀緩沖區
  3.  上下文從內核態轉為用戶態,mmap調用返回
  4.  用戶進程通過write()方法發起調用,上下文從用戶態轉為內核態
  5.  CPU將讀緩沖區中數據拷貝到socket緩沖區
  6.  DMA控制器把數據從socket緩沖區拷貝到網卡,上下文從內核態切換回用戶態,write()返回

mmap的方式節省了一次CPU拷貝,同時由于用戶進程中的內存是虛擬的,只是映射到內核的讀緩沖區,所以可以節省一半的內存空間,比較適合大文件的傳輸。 

  1. sendfile 

相比mmap來說,sendfile同樣減少了一次CPU拷貝,而且還減少了2次上下文切換。

sendfile是Linux2.1內核版本后引入的一個系統調用函數,通過使用sendfile數據可以直接在內核空間進行傳輸,因此避免了用戶空間和內核空間的拷貝,同時由于使用sendfile替代了read+write從而節省了一次系統調用,也就是2次上下文切換。

整個過程發生了2次用戶態和內核態的上下文切換和3次拷貝,具體流程如下:

  1.  用戶進程通過sendfile()方法向操作系統發起調用,上下文從用戶態轉向內核態
  2.  DMA控制器把數據從硬盤中拷貝到讀緩沖區
  3.  CPU將讀緩沖區中數據拷貝到socket緩沖區
  4.  DMA控制器把數據從socket緩沖區拷貝到網卡,上下文從內核態切換回用戶態,sendfile調用返回

sendfile方法IO數據對用戶空間完全不可見,所以只能適用于完全不需要用戶空間處理的情況,比如靜態文件服務器。 

  1. sendfile+DMA Scatter/Gather 

Linux2.4內核版本之后對sendfile做了進一步優化,通過引入新的硬件支持,這個方式叫做DMA Scatter/Gather 分散/收集功能。

它將讀緩沖區中的數據描述信息--內存地址和偏移量記錄到socket緩沖區,由 DMA 根據這些將數據從讀緩沖區拷貝到網卡,相比之前版本減少了一次CPU拷貝的過程

整個過程發生了2次用戶態和內核態的上下文切換和2次拷貝,其中更重要的是完全沒有CPU拷貝,具體流程如下:

  1.  用戶進程通過sendfile()方法向操作系統發起調用,上下文從用戶態轉向內核態
  2.  DMA控制器利用scatter把數據從硬盤中拷貝到讀緩沖區離散存儲
  3.  CPU把讀緩沖區中的文件描述符和數據長度發送到socket緩沖區
  4.  DMA控制器根據文件描述符和數據長度,使用scatter/gather把數據從內核緩沖區拷貝到網卡
  5.  sendfile()調用返回,上下文從內核態切換回用戶態

DMA gather和sendfile一樣數據對用戶空間不可見,而且需要硬件支持,同時輸入文件描述符只能是文件,但是過程中完全沒有CPU拷貝過程,極大提升了性能。

應用場景

對于文章開頭說的兩個場景:RocketMQ和Kafka都使用到了零拷貝的技術。

對于MQ而言,無非就是生產者發送數據到MQ然后持久化到磁盤,之后消費者從MQ讀取數據。

對于RocketMQ來說這兩個步驟使用的是mmap+write,而Kafka則是使用mmap+write持久化數據,發送數據使用sendfile。

總結

由于CPU和IO速度的差異問題,產生了DMA技術,通過DMA搬運來減少CPU的等待時間。

傳統的IOread+write方式會產生2次DMA拷貝+2次CPU拷貝,同時有4次上下文切換。

而通過mmap+write方式則產生2次DMA拷貝+1次CPU拷貝,4次上下文切換,通過內存映射減少了一次CPU拷貝,可以減少內存使用,適合大文件的傳輸。

sendfile方式是新增的一個系統調用函數,產生2次DMA拷貝+1次CPU拷貝,但是只有2次上下文切換。因為只有一次調用,減少了上下文的切換,但是用戶空間對IO數據不可見,適用于靜態文件服務器。

sendfile+DMA gather方式產生2次DMA拷貝,沒有CPU拷貝,而且也只有2次上下文切換。雖然極大地提升了性能,但是需要依賴新的硬件設備支持。 

 

責任編輯:龐桂玉 來源: Java編程
相關推薦

2021-03-17 15:54:32

IO零拷貝方式

2025-06-05 03:10:00

mmapmalloc共享內存

2021-10-27 20:54:24

分庫分表高并發

2022-10-18 08:38:16

內存泄漏線程

2021-06-30 17:38:03

Trie 樹字符Java

2022-09-05 16:55:23

RocketMQBroker

2021-03-01 11:53:15

面試偽共享CPU

2025-04-14 10:00:00

負載均衡Java開發

2021-12-28 14:53:47

Java編程語言

2025-05-29 02:30:00

MySQL數據架構

2024-09-29 09:50:05

2024-03-22 13:31:00

線程策略線程池

2022-06-02 10:54:16

BrokerRocketMQ

2022-04-15 11:26:14

緩存功能

2022-01-17 14:24:09

共享字節面試

2025-02-26 07:53:21

2023-10-30 01:02:56

Java類類加載器雙親委派

2021-06-17 09:16:34

MySQL數據庫隔離級別

2024-11-20 16:00:19

MybatisJava數據庫

2021-09-18 08:54:19

zookeeper一致性算法CAP
點贊
收藏

51CTO技術棧公眾號

亚洲国产小视频| 都市激情亚洲色图| 成人有码视频在线播放| 在线观看成人毛片| 日韩mv欧美mv国产网站| 欧美中文字幕一区二区三区| 懂色av粉嫩av蜜臀av| 日韩一级免费毛片| 青娱乐精品视频| 久99九色视频在线观看| 亚洲第一香蕉网| 欧美成年网站| 在线国产电影不卡| 亚洲国产精品无码av| p色视频免费在线观看| 国产ts人妖一区二区| 日本欧美国产在线| 欧美日韩在线观看免费| 精品黄色一级片| 精品少妇一区二区三区在线播放| 日韩精品一区二区三区色欲av| 国产黄色小视频在线| 91网站在线播放| 91传媒视频在线观看| 无码人妻精品一区二区三区9厂 | 久久久国产午夜精品| 亚洲一区二区三区乱码aⅴ蜜桃女| 一区二区三区福利视频| 欧美在线三区| 日韩亚洲国产中文字幕| 三级电影在线看| swag国产精品一区二区| 欧美高清视频一二三区 | 中文字幕免费高| 九色蝌蚪在线| 91在线porny国产在线看| 91在线观看免费观看 | 特级西西444www大精品视频| 五月婷婷六月丁香| 大尺度一区二区| 成人信息集中地欧美| 一区二区三区在线免费观看视频| 亚洲欧美日韩国产| 91福利视频网| 免费在线不卡视频| 亚洲激情网站| 国外色69视频在线观看| 九九视频免费看| 午夜久久久久| 欧美大成色www永久网站婷| 国产在线观看免费视频软件| 日韩成人激情| www.美女亚洲精品| www欧美com| 一区二区三区午夜视频| 久久五月天色综合| 国产97免费视频| 欧美在线日韩| 久久久久久久电影一区| 国产午夜精品无码| 99亚洲视频| 日韩av手机在线| 欧美日韩综合一区二区三区| 老色鬼久久亚洲一区二区| 日韩av色在线| 在线不卡免费视频| 欧美96一区二区免费视频| 国产精品丝袜高跟| 国产精品日韩无码| 成人一区二区三区中文字幕| 国产chinese精品一区二区| 成人午夜福利视频| 91丨porny丨户外露出| 日韩福利视频| 大地资源网3页在线观看| 亚洲精品视频在线观看免费 | 日韩特级毛片| 亚洲第一搞黄网站| 不要播放器的av网站| 精品九九久久| 精品久久一二三区| 一区二区精品免费| 性欧美欧美巨大69| 久久人91精品久久久久久不卡| 日韩美女黄色片| 亚洲专区在线| 成人h视频在线| 亚洲国产精品国自产拍久久| 91麻豆国产精品久久| 亚洲国产一区二区在线| 中文字幕伦理免费在线视频 | 亚洲色图在线视频| 日本中文字幕网址| 亚洲ww精品| 亚洲福利视频网站| 污污视频网站在线免费观看| 激情久久久久久| 国产精品视频久久久久| 好吊色在线观看| 久久精品男人天堂av| 2021国产视频| 日本综合久久| 精品国产乱码久久久久久浪潮 | 青娱乐国产精品视频| 欧美中文一区| 另类少妇人与禽zozz0性伦| 国产无码精品一区二区| 毛片一区二区三区| 极品日韩久久| 欧美hdxxxxx| 欧美美女bb生活片| 欧美 变态 另类 人妖| 欧美成人高清| 国产精品视频一区二区高潮| 免费看黄色一级视频| **网站欧美大片在线观看| 免费看国产一级片| 欧美久久一区二区三区| 亚洲人成在线免费观看| 精品一区在线视频| 极品少妇一区二区| 亚洲国产成人不卡| 电影一区二区三区| 亚洲国产精品系列| 校园春色 亚洲| 久久www免费人成看片高清| 玛丽玛丽电影原版免费观看1977| 欧美巨大xxxx做受沙滩| 777a∨成人精品桃花网| 亚洲色图欧美色| 日韩中文字幕av电影| 久久久国产精品一区二区三区| 性xxxfreexxxx性欧美| 欧美区一区二区三区| 无码少妇精品一区二区免费动态| 亚洲一卡久久| 精品亚洲第一| av中文资源在线资源免费观看| 欧美三级日本三级少妇99| 天天躁日日躁aaaa视频| 亚洲欧美网站| 农村寡妇一区二区三区| 日本三级一区| 亚洲精品小视频在线观看| 男女视频免费看| 99久久免费精品高清特色大片| 欧美中日韩在线| 日本精品视频| 欧美大片免费观看| 色哟哟中文字幕| 亚洲国产精品久久人人爱| 免费观看污网站| 在线日韩视频| 国产中文一区二区| 欧美在线极品| 亚洲深夜福利网站| 一区二区视频免费| 亚洲视频图片小说| 色诱av手机版| 亚洲国产91| 牛人盗摄一区二区三区视频| 精品欧美日韩精品| 色七七影院综合| 99久久国产免费| 亚洲综合另类小说| 免费a在线观看播放| 日韩在线a电影| 在线观看欧美一区| 日韩中文字幕无砖| 91精品国产99| www.国产精品.com| 日韩欧美卡一卡二| 黄色一级片免费看| 国产欧美一区视频| 日韩成人av免费| 亚洲黄色av| 日本一区免费看| 国内精品伊人| 欧美激情二区三区| 毛片在线免费| 这里只有精品免费| 91av在线免费视频| 国产三级精品三级| 手机在线播放av| 免费在线亚洲| 成年人三级视频| 欧洲亚洲视频| 紧缚捆绑精品一区二区| 亚洲伊人第一页| 97天天综合网| 色噜噜亚洲精品中文字幕| www久久久久久| 色偷偷成人一区二区三区91 | 午夜在线视频免费| 欧美日韩中文国产| 五月天综合在线| 中文字幕av一区二区三区| 97超碰人人看| 日韩专区在线视频| av无码久久久久久不卡网站| japanese国产精品| 国产精品有限公司| 国内精品视频| 国产精国产精品| 国内在线视频| 久久精品视频亚洲| 水莓100在线视频| 日韩欧美国产不卡| 亚洲一二区视频| 欧美日韩一区二区免费视频| 国产一区二区播放| 久久久久综合网| www.黄色网| 国产在线精品一区二区夜色| 999香蕉视频| 国产精品毛片在线| 国产精品videossex国产高清| 欧美日韩国产一区二区三区不卡| 国产精品日韩一区二区| 成人在线视频www| 国产精品免费视频xxxx| 亚洲精品动漫| 97久久精品视频| 欧洲一区二区三区| 美女国内精品自产拍在线播放| 国产视频第一区| 亚洲精品456在线播放狼人| 精品人妻一区二区三区三区四区| 欧美日韩国产美| 国产一级淫片a视频免费观看| 亚洲成av人影院在线观看网| www.毛片com| 综合中文字幕亚洲| 手机看片国产日韩| 欧美国产一区在线| 久久国产柳州莫菁门| 久久久久久免费毛片精品| 国产精品伦子伦| 成人激情免费网站| 五月天激情小说| www.亚洲精品| 中文字幕乱码在线| 972aa.com艺术欧美| 中文字幕 亚洲一区| www.欧美亚洲| 少妇户外露出[11p]| www国产成人免费观看视频 深夜成人网 | 青草影视电视剧免费播放在线观看| 久久久www成人免费精品张筱雨| 最近高清中文在线字幕在线观看| 上原亚衣av一区二区三区| 二区在线观看| 精品国产一区二区三区四区在线观看 | 中文字幕在线播放不卡| 在线精品观看国产| 亚洲一区中文字幕永久在线| 欧美人妇做爰xxxⅹ性高电影| 96日本xxxxxⅹxxx17| 欧美一级xxx| 好吊视频一二三区| 日韩国产精品亚洲а∨天堂免| 完全免费av在线播放| 亚洲精品乱码久久久久久9色| 国产精品一卡二| 国产a√精品区二区三区四区| 成人精品视频一区二区三区尤物| 欧美夫妇交换xxx| 26uuu亚洲婷婷狠狠天堂| 美女100%无挡| 亚洲欧美日本在线| 精品少妇久久久久久888优播| 福利视频导航一区| 午夜视频网站在线观看| 91精品国产欧美一区二区 | 亚洲网站视频福利| 欧美一区二区三区| 欧美疯狂性受xxxxx另类| 夜鲁夜鲁夜鲁视频在线播放| 国产精品视频网| 一本一道久久a久久| 欧美不卡三区| 91精品蜜臀一区二区三区在线| www.男人天堂网| 久久久久国产精品一区二区| 亚洲精品永久视频| 99久久综合精品| 中文乱码字幕高清一区二区| 午夜精品福利视频网站| 影音先锋国产资源| 欧美mv和日韩mv国产网站| jizzjizz在线观看| 欧美黄色片免费观看| 欧美www.| 岛国视频一区| 青青草综合网| 欧洲精品一区二区三区久久| 蜜臀av国产精品久久久久| 亚洲国产精品第一页| 欧美国产丝袜视频| 国产在线视频卡一卡二| 欧美人妖巨大在线| 欧美成人免费| 欧美福利视频在线| 青娱乐极品盛宴一区二区| 久久99精品久久久久久久青青日本 | 日韩av懂色| 久久av一区二区| 午夜精品免费| 天天摸天天舔天天操| 91在线你懂得| 国产在线免费视频| 欧美久久久久久久久久| 九九九伊在人线综合| 高清亚洲成在人网站天堂| 亚洲一区二区三区久久久| 欧美日韩一区二| 亚洲欧洲一区| www.日本久久| 国产精品乱人伦| 黄色片视频免费| 欧美精品一区二区三区在线播放 | 亚洲老司机在线| 亚洲中文一区二区三区| 亚洲视频一区二区| 中文在线免费视频| 国产一区二区三区奇米久涩| 在线国产一区二区| 中文字幕1234区| 国产精品久久久久久久久动漫| 国产又黄又猛又粗又爽| 亚洲国产精品成人av| 黄色在线看片| 91九色偷拍| 欧美aⅴ99久久黑人专区| 91网址在线观看精品| 国产精品久久国产精麻豆99网站| 97人妻精品视频一区| 亚洲精品在线视频| 中文字幕在线视频网站| 国产伦精品一区| 在线亚洲自拍| 久久人人爽人人人人片| 亚洲a一区二区| 人妻视频一区二区三区| 97视频com| 日韩高清影视在线观看| 欧美变态另类刺激| 久久综合久色欧美综合狠狠| 99视频在线看| 亚洲精品一区二区久| 日韩精品99| 亚洲巨乳在线观看| 麻豆精品国产91久久久久久| 国产视频精品免费| 欧美一区二区三区免费视频| 最新国产在线拍揄自揄视频| 97欧洲一区二区精品免费| 欧美片第1页综合| 中文字幕99页| 欧美天天综合色影久久精品| 九色网友自拍视频手机在线| 国产精品福利网| 亚洲国产一区二区三区在线播放| 性鲍视频在线观看| 亚洲.国产.中文慕字在线| 日本一二三区在线视频| 国产精品观看在线亚洲人成网| 久久中文字幕av| 国产亚洲精品成人a| 精品久久久视频| 18免费在线视频| 99在线观看| 久久激情视频| 美女视频久久久| 亚洲国产精品va| 快播电影网址老女人久久| 中文字幕一区二区中文字幕| 国产美女精品在线| 欧美bbbbbbbbbbbb精品| 国产一区二区欧美日韩| 精品成人18| 亚洲熟妇国产熟妇肥婆| 亚洲国产高清在线观看视频| 国产成人久久精品77777综合 | 欧美二区观看| 免费无码国产v片在线观看| 中文字幕乱码久久午夜不卡 | 国产日韩精品一区| 国产视频一区二区三区四区五区| 性日韩欧美在线视频| 日韩av久操| 亚洲一级Av无码毛片久久精品| 在线观看一区二区精品视频| 超碰最新在线| 欧洲精品在线一区| 国产精品中文字幕日韩精品| 无码人妻精品一区二区三区不卡| 色综合视频网站| 欧美日韩色图| 岛国精品资源网站|