目錄

高性能網絡通訊原理

前言

本來想對netty的源碼進行學習和探究，但是在寫netty之前許多底層的知識和原理性的東西理解清楚，那麼對學習網絡通訊框架的效果則會事半功倍。

本篇主要探討高性能網絡通訊框架的一些必要知識和底層操作系統相關的原理。在探討如何做之前，我們先討論下為什麼要做。

隨着互聯網的高速發展，用戶量呈指數形式遞增，從原來的PC普及到現在的移動設備普及。用戶量都是千萬甚至億為單位計算，尤其是實時通訊軟件，在線實時互動的應用出現，在線用戶數從原來的幾十上百到後來的上萬甚至上千萬。單台服務的性能瓶頸和網絡通訊瓶頸慢慢呈現。應用架構從單應用到應用數據分離，再到分佈式集群高可用架構。單台服務的性能不足可以通過構建服務集群的方式水平擴展，應用性能瓶頸被很好的解決。但是橫向擴展帶來了直接的經濟成本。

一個高性能的網絡通訊框架從硬件設備到操作系統內核以及用戶模式都需要精心設計。只要有任何地方有疏漏都會出現短板效應。

I/O訪問

當我們在讀取socket數據時，雖然我們在代碼僅僅是調用了一個Read操作，但是實際操作系統層面做了許多事情。首先操作系統需要從用戶模式轉換為內核模式，處理器會通過網卡驅動對網卡控制器進行操作，網卡控制器則控制網卡。

處理器不會直接操控硬件。

為了提高CPU利用率，I/O訪問方式也發生了很大變化。

1. 早期的CPU直接控制外圍設備，後來增加了控制器或I/O模塊。處理器開始將I/O操作從外部設備接口分離出來。處理器通過向I/O模塊發送命令執行I/O指令。然而當I/O操作完成時並不會通知處理器I/O，因此處理器需要定時檢查I/O模塊的狀態，它會進行忙等待，因此效率並不高。
2. 後來CPU支持了中斷方式，處理器無需等待執行I/O操作，通過中斷控制器產生中斷信號通知I/O操作完成，大大的提高了處理器利用效率。這時的I/O操作使用特定的in/out(I/O端口)指令或直接讀寫內存的方式(內存映射I/O)。但是這些方式都需要處理器使用I/O寄存器逐個內存單元進行訪問，效率並不高，在I/O操作時需要消耗的CPU時鐘周期。
3. 為了提高效率，後來增加了DMA控制器，它可以模擬處理起獲得內存總線控制權，進行I/O的讀寫。當處理器將控制權交給DMA控制器之後，DMA處理器會先讓I/O硬件設備將數據放到I/O硬件的緩衝區中，然後DMA控制器就可以開始傳輸數據了。在此過程中處理器無需消耗時鐘周期。當DMA操作完成時，會通過中斷操作通知處理器。

I/O訪問的發展趨勢是盡可能減少處理器干涉I/O操作，讓CPU從I/O任務中解脫出來，讓處理器可以去做其他事情，從而提高性能。

對於I/O訪問感興趣的同學可以看《操作系統精髓與設計原理(第5版)》第十一章I/O管理相關內容和《WINDOWS內核原理與實現》第六章I/O論述相關內容

I/O模型

在討論I/O模型之前，首先引出一個叫做C10K的問題。在早期的I/O模型使用的是同步阻塞模型，當接收到一個新的TCP連接時，就需要分配一個線程。因此隨着連接增加線程增多，頻繁的內存複製，上下文切換帶來的性能損耗導致性能不佳。因此如何使得單機網絡併發連接數達到10K成為通訊開發者熱門的討論話題。

同步阻塞

前面提到，在最原始的I/O模型中，對文件設備數據的讀寫需要同步等待操作系統內核，即使文件設備並沒有數據可讀，線程也會被阻塞住，雖然阻塞時不佔用CPU始終周期，但是若需要支持併發連接，則必須啟用大量的線程，即每個連接一個線程。這樣必不可少的會造成線程大量的上下文切換，隨着併發量的增高，性能越來越差。

select模型/poll模型

為了解決同步阻塞帶來線程過多導致的性能問題，同步非阻塞方案產生。通過一個線程不斷的判斷文件句柄數組是否有準備就緒的文件設備，這樣就不需要每個線程同步等待，減少了大量線程，降低了線程上下文切換帶來的性能損失，提高了線程利用率。這種方式也稱為I/O多路復用技術。但是由於數組是有數組長度上限的(linux默認是1024)，而且select模型需要對數組進行遍歷，因此時間複雜度是\(O_{(n)}\)因此當高併發量的時候，select模型性能會越來越差。

poll模型和select模型類似，但是它使用鏈表存儲而非數組存儲，解決了併發上限的限制，但是並沒有解決select模型的高併發性能底下的根本問題。

epoll模型

在linux2.6支持了epoll模型，epoll模型解決了select模型的性能瓶頸問題。它通過註冊回調事件的方式，當數據可讀寫時，將其加入到通過回調方式，將其加入到一個可讀寫事件的隊列中。這樣每次用戶獲取時不需要遍歷所有句柄，時間複雜度降低為\(O_{(1)}\)。因此epoll不會隨着併發量的增加而性能降低。隨着epoll模型的出現C10K的問題已經完美解決。

異步I/O模型

前面講的幾種模型都是同步I/O模型，異步I/O模型指的是發生數據讀寫時完全不同步阻塞等待，換句話來說就是數據從網卡傳輸到用戶空間的過程時完全異步的，不用阻塞CPU。為了更詳細的說明同步I/O與異步I/O的區別，接下來舉一個實際例子。

當應用程序需要從網卡讀取數據時，首先需要分配一個用戶內存空間用來保存需要讀取的數據。操作系統內核會調用網卡緩衝區讀取數據到內核空間的緩衝區，然後再複製到用戶空間。在這個過程中，同步阻塞I/O在數據讀取到用戶空間之前都會被阻塞，同步非阻塞I/O只知道數據已就緒，但是從內核空間緩衝區拷貝到用戶空間時，線程依然會被阻塞。而異步I/O模型在接收到I/O完成通知時，數據已經傳輸到用戶空間。因此整個I/O操作都是完全異步的，因此異步I/O模型的性能是最佳的。

在我的另一篇文章對windows操作系統I/O原理做了簡要的敘述，感興趣的同學可以看下。

I/O線程模型

從線程模型上常見的線程模型有Reactor模型和Proactor模型，無論是哪種線程模型都使用I/O多路復用技術，使用一個線程將I/O讀寫操作轉變為讀寫事件，我們將這個線程稱之為多路分離器。

對應上I/O模型，Reacor模型屬於同步I/O模型，Proactor模型屬於異步I/O模型。

Reactor模型

在Reactor中，需要先註冊事件就緒事件，網卡接收到數據時，DMA將數據從網卡緩衝區傳輸到內核緩衝區時，就會通知多路分離器讀事件就緒，此時我們需要從內核空間讀取到用戶空間。

同步I/O採用緩衝I/O的方式，首先內核會從申請一個內存空間用於存放輸入或輸出緩衝區，數據都會先緩存在該緩衝區。

Proactor模型

Proactor模型，需要先註冊I/O完成事件，同時申請一片用戶空間用於存儲待接收的數據。調用讀操作，當網卡接收到數據時，DMA將數據從網卡緩衝區直接傳輸到用戶緩衝區，然後產生完成通知，讀操作即完成。

異步I/O採用直接輸入I/O或直接輸出I/O，用戶緩存地址會傳遞給設備驅動程序，數據會直接從用戶緩衝區讀取或直接寫入用戶緩衝區，相比緩衝I/O減少內存複製。

總結

本文通過I/O訪問方式，I/O模型，線程模型三個方面解釋了操作系統為實現高性能I/O做了哪些事情，通過提高CPU使用效率，減少內存複製是提高性能的關鍵點。

參考文檔

7. 《操作系統精髓與設計原理(第5版)》
8. 《WINDOWS內核原理與實現》

微信掃一掃二維碼關注訂閱號傑哥技術分享
出處：
作者：傑哥很忙
本文使用「CC BY 4.0」創作共享協議。歡迎轉載，請在明顯位置給出出處及鏈接。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

　　10 月 26 日上午，波場創始人孫宇晨發布微博回顧其投身區塊鏈過程，在經歷了王小川口水仗、巴菲特天價午餐之後，孫宇晨稱不走熱點說些走心的話，“2013 年回國推廣區塊鏈，那時慘到連區塊鏈這個詞都不存在，六年了，我們沒成先烈，還活着。對於區塊鏈造福每个中國人的未來，即便在公司即將倒閉的夜晚，我都從未懷疑。”

　　在孫宇晨看來，區塊鏈是互聯網的 2.0 形態，互聯網的 1.0 形態是信息網絡，而 2.0 形態是價值網絡。互聯網第一步傳播信息，就如同今天的互聯網，第二步傳播價值，價值包括通證：貨幣、股票、債券等所有人類的價值所有物。

　　在長文最後，孫宇晨表示：“互聯網已經到了下半場，區塊鏈卻還沒開始預備賽。對於即將打響的預備賽，我想說，我準備好了！”

　　以下為孫宇晨微博全文：

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

波蘭發展電動車嚴重落後其它歐洲國家，儘管如此，波蘭政府仍決定加入全球電動車革命，並將電動車列為重要政策推動，希望引領相關產業發展。

官方數據顯示，波蘭去年進口新車與中古車共145萬輛，其中電動動車僅有556輛。不過波蘭政府計畫在2025年，將路上行駛的電動車提高至一百萬輛。

波蘭鄰近德國，有很強汽車零件製造能力，但截至目前為止還沒生產過整輛汽車，這對波蘭是項挑戰，更何況是生產電動車。波蘭政府現打算透過設計比賽，希望設計出具波蘭血統且成本比外國車廠便宜的純電動車。

政府政策引導產業的力量極大，波蘭不無追上其它國家的可能。以中國為例，中國工信部副部長辛國斌日前透露，傳統內燃機汽車將設退場時間表，福斯汽車周四隨即宣布，2025年將在中國賣出150萬輛電動車。

（本文內容由授權使用。圖片出處：public domain CC0）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

　　受全公司裁員影響的美國加州 SpaceX 員工可能會看到街對面另一家正在招聘的僱主。就在埃隆·馬斯克(Elon Musk)旗下的火箭公司 SpaceX 宣布裁員消息的同一天，這位億萬富翁的地下交通初創企業“隧道公司”(Boring Company)在 Twitter 上發布了一條推文，希望招募人才填補一批空缺職位。

　　據報道，隧道公司正在徵集近十幾個工作崗位的應聘申請，其中包括隧道工程和軟件開發崗位。截至目前，這家初創公司雇傭了大約 80 名員工。

　　上周，僱用 6000 多名員工的 SpaceX 公司發布通知稱，該公司將裁減約 10% 的員工，其中包括加州霍桑總部的 577 個職位。

　　雖然隧道公司開出的每一個崗位可以招募多名人員，但這些職位只佔 SpaceX 裁員崗位職位的一小部分。然而，幾乎同時進行的人事調整表明，兩家備受矚目的馬斯克旗下企業的命運正在發生變化。

　　此前，SpaceX 已經表示預計今年的發布速度將放緩，但隧道公司上個月在加州洛杉磯附近開通了一條試驗隧道，正在與芝加哥市政府進行獨家談判，計劃在那裡建造類似地鐵的全新交通系統，此外，隧道公司在美國華盛頓地區的一條隧道也在接受環保評估。

　　兩年前，馬斯克創立了隧道公司，這家公司的目標是通過地下隧道系統解決城市交通擁堵問題，尤其是加州洛杉磯市。

　　隧道公司的辦公園區不大，但是卻體現了馬斯克異想天開的一面。隧道公司園區內有大量拖車，以及類似港口設施的設備。公司內有一座高塔，由挖掘隧道產生的泥土和磚頭建造，外觀設計的靈感來自於 1975 年的喜劇電影《巨蟒與聖杯》。

　　隧道公司停在院子里的挖掘設備被命名為戈多、普魯弗洛克等等，引用了塞繆爾·貝克特、羅伯特·弗羅斯特和T·S·艾略特的文學作品。

　　需要指出的是，儘管 SpaceX 進行了裁員，這家航空航天公司未來仍有可能繼續招聘人員。

　　馬斯克掌管的加州電動汽車製造商特斯拉公司在 6 月份解僱了9% 的員工后，繼續大舉招聘員工。就在目前，SpaceX 仍然列出了數十個職位空缺，包括上周裁員所影響的一些領域。

　　馬斯克旗下的不同企業頻繁出現業務交叉以及資源共享，具體決定於哪些項目最近獲得了馬斯克的最大關注。

　　在隧道公司的宣傳視頻中，可以看到特斯拉電動車快速飛馳，另外隧道公司的一部分員工甚至是特斯拉和 SpaceX 這些兄弟企業的志願人員。

　　隧道公司的運營主管史蒂夫·戴維斯(SteveDavis)曾是 SpaceX 的高級項目負責人，他也是 SpaceX 公司的一名早期員工。

　　在上個月的一次新聞發布會上，馬斯克說，他希望看到下屬公司之間的這種交叉能夠延伸到太空或其他星球上，“我希望有一天我們能在火星上建造隧道，那將是光榮的一天，這意味着我們真的在那裡。”

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

　　我的朋友海賢是一位心理諮詢師。有一天，我想到了一個創業 idea，覺得挺適合他的，就聊了起來：

　　“我想到了一個創業 idea……”

　　“啥？”

　　“能不能把人工智能跟心理諮詢結合起來”

　　“哈哈，可以啊，這是大產業”

　　我心想真是英雄所見略同啊，興緻也來了，於是接着說：

　　“改進現在的智能對話機器人，訓練像諮詢師那樣說話……普通人情緒不好的時候跟他聊天就開心啦！”

　　“產生像大白那樣的機器人”

　　“是啊，你來做吧！” 我很興奮地向他建議道，我心想這可是個大生意啊，發財的機會來了！

　　海賢開始表態：“這個未來肯定會有，不過呢，它有點像是 se4 情行業里的充氣娃娃，我還是想做真人版的……”

　　“……”

　　為什麼，為什麼啊，我心裏有點抓狂，有點想不通。還沒等我問，海賢又來了一句：

　　“因為和機器打交道會讓人陷入無可遏止的孤獨。”

　　聽到這句話的時候，我虎軀一震，眼冒金星，陷入了尷尬的沉默。我知道再多的勸說已經多餘，因為這句話是無法辯駁的。它就像一塊巨石轟然而至，壓在了這個時代的胸口。

　　我心裏堵得慌，因為海賢說得真對。這傢伙一點都不想創業，他只想死心眼地做一個足夠好的心理諮詢師。

　　今天翻翻朋友圈，到處有人在發三款新的社交軟件同時發布的消息，非常的熱鬧，議論紛紛。我基本上沒看這些無謂的討論，而是開始回想我的人生經歷中，那些讓自己難忘的時刻，我發現它們都不是出現在網絡上。

　　有一次，一位書友約我吃飯，地點是在一家不錯的日料店，這位書友是餐飲界人士，跟那家店的老闆認識，所以叮囑讓主廚親自操弄。其中有一份壽司是店裡的招牌，我一口吞在嘴裏，頓覺香氣漫溢，無法自持。後來我看了一些美食書，才知道這叫“鼻后嗅覺”。

　　這位書友故作神秘的問我：“你剛才吃下去的這口，我給它取了個菜名，你知道是什麼嗎？”

　　我一臉疑惑，搖了搖頭。

　　“幸福感。它的名字就叫幸福感。”

　　聽罷我又頓覺語塞。我想他說得真對。

　　我又想起一件小事，有一天我寫稿寫得很壓抑，從咖啡廳走出來散散心。走到一家大超市的門口，聽見一個有點蒼老的聲音傳來：“小伙子，小伙子！”

　　我扭頭尋聲，看見一位老婆婆正看着我，手裡推着一個購物車，前面就是一截下坡路。

　　老婆婆說：“小伙子，你能不能幫幫我，我腿腳不靈便，我買了些東西，比較重，我把它推下坡擔心拉不住，你能不能幫我推一下……”

　　“好啊，沒問題”

　　举手之勞。我幫老婆婆推了購物車，安然無恙，然後我就走了。走的時候我的腳步非常輕快，心裏別提有多高興。已經很久沒有做過好事了，雖然只是十秒鐘的事情，卻讓我開心了一整天。

　　我回想這件事，老婆婆之所以叫我幫忙，是因為她心裏打了個賭，料定我不會一把拿走購物車裡的東西，逃之夭夭。被人信任的感覺真好。

　　然後我又想起去年夏天的世界杯，我被海賢叫到他家裡看球。海賢是真球迷，我是偽球迷，還有幾個朋友是半真半偽的球迷，我們聚在一起，開了很多啤酒，啃了很多鴨脖，吃了很多西瓜，坐在地上沙发上，橫七豎八地看着比賽。真是人生中特別美好的回憶。

　　這些都不是手機或者 App 所能給我的。

　　有時候我會想，為什麼我們的時代會變成這樣。當我坐在咖啡廳里碼字的時候，我看到鄰桌的情侶，他們並排坐着，手裡拿着手機，打着遊戲。他們似乎是一個戰隊里的戰友，並肩戰鬥着，但是他們沒有說話，沒有接吻，沒有含情脈脈地四目相對。而是各自抱着手機過了一個下午。

　　也許再過幾年，他們就會戴着虛擬現實頭盔並肩而坐了。

　　這是我們原本希望的樣子嗎？

　　的確，手機、社交軟件是讓我們結識了更多的人，看到了更大的世界，但是並沒有絲毫緩解我們的孤獨。有可能，當我們沉迷於網絡世界而忽略周遭的現實時，我們變得更孤獨了。

　　誰要看那些錐子臉網紅啊，誰要看一些P出來的假美女搔首弄姿啊，誰要隨隨便便跟一個陌生人撩騷啊，誰喜歡在網上吵來吵去當鍵盤俠啊，有意思嗎？有個鬼意思哦！

　　當然我知道，喜歡這些的人成千上萬，但是我打賭，其實，他們也已經疲勞了。

　　如果我是想在網上尋求刺激，那麼刺激的閾限會越來越高，直至最終再也無法滿足。

　　如果我是想通過手機派遣寂寞，最後還是會發現，這終歸是一個機器，而不是一個實實在在、有血有肉的人。

　　“和機器打交道會讓人陷入無可遏止的孤獨。”

　　上面的兩張圖片來自一幅裝置藝術作品，名字叫《隔離的鍵盤》。作者是熊超，當今中國最頂尖的廣告創意人之一，戛納創意節金獅獎得主，曾任上海奧美創意群總監，現為獨立創意機構”The Nine“的創始人。

　　為了創作這個作品里，熊超採訪了 20 多個家庭，把這些家庭的一百多個成員做成了人偶，封裝在一個個玻璃瓶中，這些玻璃瓶整齊地擺放在一起，變成了一個五米多長的大鍵盤。

　　當大鍵盤放在城市的街頭，行人經過駐足觀望。他們看到的是一個個隔離的人，在這個鍵盤裡。這些人原本是親人、朋友、戀人，但是因為隔絕，而沒有任何交流，他們沉默着，變成了網絡世界的一座座孤島。

　　我知道，在這個時代，注意力本身是一種寶貴的資源。但由於每個人的這種資源都極為有限，所以層出不窮的網絡應用對它的爭奪已經堪稱白熱化。這是一個沒有硝煙但是刺刀見紅的戰場。在這個戰場里，你，我，他，既有可能是受益者，也有可能是戰利品。

　　科技帶給我們的影響在大多數時候當然是利大於弊的，我們的生活總是在越來越好。但是有些獨屬於人的東西不應該改變，比如面對面交流時情感和信任的傳遞遠非網絡所能比擬。當我和朋友促膝長談，或者一起做一些事的時候，才是我真正快樂的時刻，才是我忘記孤獨的高光時刻。這樣的時光在我們的生命里方才是最寶貴的。

　　所以歸根結底，沒有一款社交軟件可以治癒孤獨。

　　如果可能的話，去找回你所在意的人，放下手機，在他們的身邊把時光揮霍，才是最美妙的事了。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!