膨脹、驕傲,程序員轉項目經理的原罪

目錄

  • 一、前言:謙卑與狂妄
  • 二、尊重:遠與近
  • 三、原罪:膨脹與驕傲

作者簡介:妖生。 坐標合肥,一個普通程序員。十年職業生涯,8年編程。經歷了許多事,也有點想法,現在將它們變成文字,書於紙上。如果能幫助到你,那將不勝榮幸。

膨脹、驕傲,程序員轉項目經理的原罪

一、前言:謙卑與狂妄

突然就想到這麼個主題,回想我在2016下、2017上的時候,確實好像有那麼一段時間,有點膨脹,感覺自己無所不能,又太過驕傲,表面謙虛、內心傲氣,似乎誰都不放在眼裡。

做管理的沒我技術好,做技術的沒我會管理。

現在想想,真是可笑啊。

由己及彼,會不會也有不少做了三五年程序員,做了小組長,突然成為管理者,有了團隊里的一些話語權,然後膨脹的呢?

那麼我這樣去總結下,能不能給一些正在經歷這個階段的程序員們,甚至非程序員們的小夥伴們,予以一點點啟發呢?

嗯,晚上想就這個話題寫篇長文,回憶下我當年的情景,復盤當年,說一說我一些錯誤的做法,和之後怎樣警醒與走出來的。

二、尊重:遠與近

2.1 近之則不遜

2015年,金三大潮席捲而來,全國的稅務系統都要升級,我也有幸參與了這樣的歷史性進程。

我代表安徽的大集中征管稅務系統承建商,與金三征管中標商中軟公司進行系統對接。趕赴深圳南海,在國家稅務總局的信息中心進行征管數據的遷移工作。

在深圳南海的時候,我帶領的小組負責為數據遷移工作作數據校驗、數據確認、遷移腳本編寫等工作。

在這樣的時刻,安徽基地突然打電話過來,也是當時的項目經理——老趙,打電話對我說,要我負責金三本地保留系統的改造工作。

我當時一頭霧水,滿心不爽,不知道為什麼這樣的工作就落到了我的頭上。並且人在深圳,有心無力。所以說話有點沖,說我不知道怎麼做,直接就懟了幾句。

老趙忽然說了一句:“如果是XX你會這樣跟他說嗎?”XX是我們的項目總監。

我腦子里突然有一道電閃了一下。

是啊,如果是XX這樣跟我說,給我安排這樣的任務。我會這樣去懟嗎?
我是不是就默默接受了?

我突然想起來,2014年,我與老趙坐在一塊,因為某件事,我引用了孔子的一句話:“女子與小人難養也。遠之則怨,近之則不遜”。

老趙讚賞地說,很有道理。

可是這樣的話,我為何說了,卻不記得,做不到,無法知行合一呢?

我對老趙,就是近之則不遜了。

我沉默了大概十秒鐘,隨後對他說:“你放心,我肯定完成任務。沒有什麼完不成的。”
在轉變態度與思路后,我對怎麼解決金三本地保留的改造有了切實可行的思路與方法。

我在電話中將我的想法與老趙溝通后,老趙對我表示了讚賞,“就是要有這種舍我其誰的氣勢。除了你,沒人能搞定。”

這通電話很長,也在我以後的職業生涯中,對我做事做人的方法進行了一次很大的改造。

但是在這個故事里我卻還是有一點沒學到,也是我最近在反思的一個問題。

我為什麼對於別人,總是吝嗇於讚賞?

老趙在與我的相處中,一直對我進行鼓勵、讚賞,讓我有了一次次面對問題的自信,得到了極大的成長。

遇到這樣一個半師半友的領導,何其之幸也。

這段往事我總結了兩個點:

一是與上級相處時可以開玩笑、插科打諢,但是在工作上應該把上級當做上級,給予應有的尊重。

二是在與下級相處時,應該不吝嗇表揚,尤其在現在85后、90后當家的年代,表揚會比批評更能激發他們的工作激情,賦予他們超出當前能力的創造力。

2.2 遠之則怨

在2016年的時候,老趙罹患重疾,在長時間病情反覆、無法工作的情況下,拿了公司的補償金,主動離職。

誰來接替這個項目經理的位置?

當時其實是有三個人選,一個是運維經理Y,一個是技術經理H,還有一個就是我這個開發經理。

在H主動退出的情況下,我與Y開始競爭這個職位。

怎麼說呢?我其實一開始並不care這個項目經理的職位。我只想安安靜靜地做開發,不願意去做什麼項目管理。因為有權利的同時,意味着麻煩。

如果是技術經理H,也就是我在电子稅務局的老搭檔坐了項目經理這個職位,我是不想去競爭的。

但是現在是他退出,我倆競爭,而令我萬分不爽的是,在一開始,項目總監X便帶了濃烈的主觀傾向,他是屬意運維經理來坐這個職位的,這樣的傾向我後來的判斷是八二。

我直接去找了總監X,說出了這樣的話:“他何德何能,憑什麼做項目經理,拿什麼來領導我?”

我後來才知道,就在這個競爭的過程中,X找了項目組運維、開發的骨幹同事們,一一諮詢了對於項目經理這個職位人選的意見。

或許結果令他大失所望,90%的人都對他屬意的人選投了反對票。

真的是我牛逼?我人緣好嗎?我當時真的是這麼覺得。

後來細想,恐怕並不是如此。開發投我可以理解,為什麼運維的同事也投我呢?

我想,是因為這位Y先生不得手下人心吧。在對待客戶、對待上級方面,這位運維負責人把自己的工作幹得很出色,客戶關係維繫的很好。

但是在對待下屬方面,我則聽到了好幾次關於Y的抱怨。

一位同事說某個工作是他來解決的,處理的很出色,結果Y卻跟客戶說是Y來解決的,讓他心生怨懟。

另一位同事說他在處理某個線上的緊急問題,一時沒解決,結果總監X將Y調了過來,看着他處理,後來事情解決了,而Y在這個過程中什麼都沒幹。導致這位同事覺得 總監X 是不是太信任 Y 了,反而對 Y 敬謝不敏。

這兩位同事在16年已經成長為項目組的骨幹員工,也在這次競爭事件中投了 Y 的反對票。

有時候,其實不是你成功,而是對手打敗了自己。用現在流行的話來說,叫 同行襯托 吧。

我舉這兩個例子,是覺得這裏面有兩個點需要去反思和總結的。

一是遠之則怨,在對待下屬時如果為了保持上級的威嚴,而拉開了距離,則導致互相不了解,很容易產生芥蒂。

二是攬功諉過是領導者的大忌,其實團隊做好了事情就是你的功勞,至於是不是你個人解決的有什麼關係呢?作為領導者,個人成功,團隊失敗,其實都是失敗者。

在這裏面還有一點是我想提出的,就是在職場工作中,如果競爭的機會,要敢於競爭,競爭說明了你的決心。

我當時找 總監X 的談話中,還說了這樣一段話:

“我覺得如果我來選,我選自己做項目經理。”
“相比他,我肯定會做的更好。”
“如果他來帶這個團隊,那不用多久,這個團隊就要人心散了。”

是不是很狂妄?然而真的就是我內心的想法。你要麼空降一個項目經理過來,要麼就選我。

有時候在與上級的溝通中,沒必要遮掩自己內心的想法。當然,如果你的上級只愛聽阿諛諂媚的話,便保留意見,默默前行吧。

幸而,我覺得我一路遇到的都是貴人。從第一家公司的保總,到神碼的斌哥、蔡總、曹工、老趙、總監X,我覺得無比幸運,總是能遇到眼界比你高、願意提點你的老闆、導師、同事與朋友。

那麼回過頭來,我對 總監X 說的這番話到底有多大的影響呢?我相信在八二的傾向比重中,得到了兩分吧。再加上同事們的支持,最終是我勝出,成了【代】項目經理。

至於為什麼是【代】,呵呵,那便是另外一個故事了。

三、原罪:膨脹與驕傲

3.1 驕傲:無所不能與一天十會

在成為【代】項目經理后,我開始了馬不停蹄的開會生涯。最多的時候,一天十會,感覺什麼都要我來拍板。

2017年,政府開始提出“互聯網+”的概念,這便開始了我們開發項目爆發的一年。

智能辦公、大數據、移動APP、數據質量、統一門戶、短信平台、外部交換等等。

從需求到架構,全都是我來主導,業務人才的極度缺乏,導致我陷入了局方的會議大海。

後來有一位從別的區調過來幫助我的資深業務專家說了一句:

從技術人升上來的管理者可能都有一個毛病,凡事都要親力親為。何不放手讓下面的人乾乾呢?說不定干出的效果會超過你想象。

但是當時的我,並沒有把這話聽進去。

在前幾天看到雷軍的一篇文章,說為什麼小米手機干不過華為,甚至遠遜於OV呢?一是待遇問題,導致招不到行業最頂尖的人才;二是雷軍凡事親力親為,哪裡的業務不行了,就自己出山擼起袖子干。

很有感觸,何其相似。雷軍也是干技術出身的啊。同樣做技術出身,還是馬化騰夠瀟灑。

當然,我自然是比不了大佬的。可是反思下,我真的是這麼無所不能嗎?

或許只是我所在的位置,導致我接收的信息足夠多,而無法被下面的同事所取代?

或許並非我的能力太強,只是我的眼界、層次還不夠,還沒有做好一個管理者的轉變。

一個好的管理者,應該是大音希聲、大象無形,讓團隊在沒有你的情況下,也能按照預定計劃穩步前行。

3.2 膨脹:程序員的原罪

在無所不能的這一段時間中,因為開發項目的過多,還有大數據這樣新興技術的項目,從公司層面協調來了一位技術總監,也是我們安徽項目組以前出去的一位同事。暫且叫他 L 吧。

因為以前共在一個項目組,也算是半熟不生。而我並沒有充分意識到怎樣去尊敬這樣一位技術達人、前輩。

因為在這個公司,實行的是項目負責制,項目經理掌握着一票否決權。而我,這樣一位剛剛上任,新鮮熱乎着的【代】項目經理,開始膨脹了。

在這位 L 前輩研究spark + strom 解決實時倉庫問題時,我總是時不時打斷了他,喊他去參與大數據的需求會議、去解決APP的流量高峰問題、去參與統一門戶的架構設計。

誠然這一切,都應是技術總負責人應該去參與負責的事情。但是我在請求 L 去解決的時候,未免有些不夠尊重。

有時候,你外在不經意的一些表現其實正是你內心想法的一種體現。而人與人的相處,是奇妙而玄幻的。這種看不見、摸不着的氣氛是真的會影響彼此的心情與態度。

更何況,L 更是將技術人簡單、直接的性格放大到極致。

在某次赴地市的會議上,我與L一起討論確定了辦公系統與外部系統的對接與集成方式后,便借口項目組有事先走了,讓 L 留下參與後續與另一家公司的對接。

這件事直接導致 L 的不滿爆發,在幾天後的一次微信群的工作安排上直接懟了我,將我拉黑。

當然,這樣的過程都是我後來回憶、反思得出的結論,而我當時是懵逼的。

為什麼?會有這麼激烈的回應?我一臉懵逼地請求項目總監X的幫助,才讓 L 重新恢復參與了後續的工作。

我後來想想,這一切好像是偶然發生的,但卻也是必然會產生的,如果不是 L ,可能事情不會這麼激烈。然而其他沒有拉黑我的下屬和同事們,是不是其實心裏也在怨懟我呢?

在升上了項目經理之後,我是不是也開始遠離初心,“遠之則怨”了呢?

特別是在並非管理序列的上升通道中,突然從技術崗轉為了管理崗,從單純的管事變成了管人,有了財政、生殺大權,怎樣消去產生的膨脹與浮躁感呢?

有時候能力與眼界是位置帶來的,但是位置帶來的能力不是天生就來的,而是慢慢培養、逐漸形成的。

我回憶、反思這段往事的時候,覺得我在坐上項目經理的時候,缺失了一名老趙這樣的導師,想起他說的一句話:“扶上馬,再送一程”。

在很多公司,其實包括我當時所在的這家公司,也都有項目經理的培養與彙報機制,但是很多時候都淪為了背景色、走過程,是不是哪怕再忙,也該有這麼一課呢?

當然,有可能也並沒有什麼鳥用。因為紙上得來終覺淺,絕知此事要躬行。

我從這件事後,開始反思,重新整理人事,縮減彙報對象與被彙報對象。分離主要事務、次要事務。有意培養各開發組長的全棧能力。

當然,這一切其實都是不夠的,甚至在2017下2018上的時候,我開始怠惰,徹底放權,走入了另一個極端。

而在環境的演變下與艱難的掙扎中,我在2018下半年選擇重新投入了技術崗,但是在兩年已經極少碰代碼的情況下,我能重新拾起,並引領項目組前行嗎?

這是另一個故事了,但是最後想說的是:

沒做到技術總監、架構師,以後還想做技術,別去碰項目經理這個職位,繁雜瑣事,耗費精力,徒增煩惱。

嗯,這又可以寫篇文章了,下一篇就叫《技術人,別做項目經理,有毒!》,哈哈哈。

歡迎加入我的知識星球,掃一掃下方二維碼,目前免費哦。

【精選推薦文章】

智慧手機時代的來臨,RWD網頁設計已成為網頁設計推薦首選

想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計

帶您來看台北網站建置台北網頁設計,各種案例分享

廣告預算用在刀口上,網站設計公司幫您達到更多曝光效益

Linux下Jenkins與GitHub自動構建NetCore與部署

今天我們來談談NetCore在Linux底下的持續集成與部署。NetCore我就不多介紹了,持續集成用的是Jenkins,源代碼管理器用的是GitHub。我們就跟着博文往下走吧。

        • 1.Linux環境
        • 2.Jenkins自動構建
          • 定時構建
          • 觸發構建
        • 3.NetCore部署
        • 4.總結一下

1.Linux環境

在進行自動構建之前,我們需要一個可以運行的Linux環境,並保證環境安裝了NetCoreSDK,Git,Jenkins等環境,那在這邊就不多說環境的安裝,提供相對應的安裝教程,大家按照安裝就可以,不過對Jenkins的安裝,我會多啰嗦一句。

環境 地址
NetCore https://dotnet.microsoft.com/download/linux-package-manager/centos/sdk-current
Git https://www.cnblogs.com/imyalost/p/8715688.html
Jenkins https://www.cnblogs.com/loveyouyou616/p/8714544.html
Supervisor https://www.cnblogs.com/miskis/p/6026452.html

啰嗦的那一句
我在安裝Jenkins成功的時候進入網頁,網頁會一直保持在下面圖這個狀態,沒辦法進入到開始頁面,那解決辦法是:

Jenkins等待

  1. 進入到Jenkins的工作目錄/var/lib/jenkins/修改hudson.model.UpdateCenter.xml文件
  2. http://updates.jenkins-ci.org/update-center.json修改為http://mirror.xmission.com/jenkins/updates/update-center.json
  3. 重啟下Jenkins

2.Jenkins自動構建

  • 定時構建
    1. 創建Jenkins項目

    2. 配置好自定義工作目錄

    3. 填寫源代碼路徑

    4. 配置定時任務

      字段 * * * * *
      含義 分鐘 小時 日期 月份 星期
      取值範圍 0-59 0-23 1-31 1-12 0-7
      示例
      每隔15分鐘執行一次 H/15 * * * *
      每隔2個小時執行一次 H H/2 * * *
      每隔3天執行一次 H H H/3 * *
      每隔3天執行一次(每月的1-15號) H H 1-15/3 * *
      每周1,3,5執行一次 H H * * 1,3,5
      規則
      指定時間範圍 a-b
      指定時間間隔 /
      指定變量取值 a,b,c
    5. 配置構建命令

      1. dotnet restore 
      2. dotnet build 
      3. dotnet publish 
    6. 查看構建,並運行NetCore
      注意:
      因為你建立的自定義工作目錄,對於”jenkins”沒有讀寫權限,所以可能就會導致構建失敗,執行下面命令,給Jenkins賦予讀寫權限。

      1. chown jenkins /ftpfile -R  
      2. chmod 777 /ftpfile -R 

  • 觸發構建
    1. 配置GitHub
      針對我們的項目,我們要在自己的項目內添加webhook,並配置好webhook的地址。

      1. 在項目設置中找到webhook

      2. 設置Jenkins的hook地址到剛才添加的webhook中,

        Jenkins的hook地址為:http://你的地址(端口)/github-webhook當然這個地址應該是外網可以訪問的

    2. Personal access tokens
      對於任何第三方訪問GitHub的項目,是需要授權的,Jenkins也是一樣的,所以我們需要先獲取一個accessToken

      1. 進入Settings頁面,找到左邊列表的Developer settings,點擊進入,可以看到如下:
      2. 點擊生成,然後勾選,,保存即可,就可以獲得token,順便說下,token要記下來,不然關閉頁面就看不到了。
    3. Jenkins配置
      上面的配置完成之後,我們需要返回Jenkins,進行再次設置。為Jenkins添加GitHub服務器。

      1. 添加GitHub服務器

        2.添加GitHub的憑據,也就我們剛才拿到得accessToken

    4. Jenkins任務配置
      因為我們已經將觸發構建的前置步驟都做完了,那接着我們就要去修改之前的定時構建的配置了

      1. 切換成觸發構建
      2. 使用密文模式,並添加綁定,選擇剛才添加的憑據
    5. 修改代碼,上傳GitHub
      終於我們將之前的定時構建改成了觸發構建,也就是我們每次Push代碼都會觸發構建,接下來我們試下。

      1. 提交代碼
      2. 查看Jenkins

3.NetCore部署

終於的終於,我們把構建這個步驟做好了,那麼接下來當然就是要部署我們網站咯。

  • 運行NetCore
    運行NetCore最簡單了,我們只需要在發布后的目錄運行dotnet ***.dll就可以了,當然,前提,你要裝CoreSDK。

  • nginx託管
    雖然說上面那樣已經運行起來,但是由於我們的環境在騰旭雲上,要訪問可以用nginx進行方向代理下,下面就簡單貼下配置就可以了。

    1. server { 
    2. listen 80; 
    3. location / { 
    4. proxy_pass http://localhost:5000; 
    5. proxy_http_version 1.1; 
    6. proxy_set_header Upgrade $http_upgrade; 
    7. proxy_set_header Connection keep-alive; 
    8. proxy_set_header Host $host; 
    9. proxy_cache_bypass $http_upgrade; 
    10. } 
    11. } 
  • 守護進程
    我們已經知道要運行Core,需要使用命令在控制台運行,但是一旦退出了,Core自然就退出了,所以我們在Linux底下需要一個類似IIS的,來託管我們運行Core的進程,守護進程,讓其在後台運行,自動重啟等等功能,這個就是supervisor

    supervisors是C/S架構的進程控制系統,可使用戶在類UNIX系統中監控、管理進程。常用於管理與某個用戶或項目相關的進程。

    安裝教程可以參考開始表格supervisor的鏈接,同樣怎麼對於怎麼對Core進行守護進程,文章內也有講,一步一步按照教程來就可以了。不過我這邊還是會講下我在使用supervisor中遇到的坑。

    1. 一開始,我百度了挺多的,發現百度中的文章,對於supervisor的日誌文件,很多都說在/etc/log/supervisor/supervisord.log這個文件內,但其實我去找的時候,發現並沒有,查看配置文檔,發現默認是在tmp中,我不知道是centeros 的版本問題,還是supervisor版本問題。

    2. 還有一個就是,在根據教程走完,配置后,要進行啟動時,可能會出現Unlinking stale socket /tmp/supervisor.sock 這個錯誤,我們只需要解鎖下就可以了unlink /tmp/supervisor.sock

4.總結一下

該篇文章簡單介紹了下Linux下Jenkins與GitHub自動構建NetCore與部署,很多細點我可能沒講出來,我把大大的教程貼出來,按照教程走起,就可以了,這也是我實踐過了的,肯定可以用的,非常感謝大大們,然後呢,我也想拋磚引玉下,在我Jenkins構建時有兩個問題,不知道誰可以幫我解答下。

  1. 比如我們的解決方案文件.sln並沒有在git項目的根目錄下,我們要指定需要構建的解決方案呢?

  2. 還有一個就是,在命令dotnet publish我們怎麼指定發布到另一個文件夾內呢,我知道有個參數-o|--output <OUTPUT_DIRECTORY>,我試了下,發現不行 dotnet publish -o /ftpfile/netCore/netCoreJenkins/JenkinsNetCore,會有以下的錯誤。

最後的最後,我的下一篇文章是《Linux下Jenkins與GitHub自動構建Node項目(Vue)》,期待0.5下吧。

【精選推薦文章】

如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!!

想要讓你的商品在網路上成為最夯、最多人討論的話題?

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

不管是台北網頁設計公司台中網頁設計公司,全省皆有專員為您服務

想知道最厲害的台北網頁設計公司推薦台中網頁設計公司推薦專業設計師"嚨底家"!!

Akka-CQRS(13)- SSL/TLS for gRPC and HTTPS:自簽名證書產生和使用

  到現在,我們已經完成了POS平台和前端的網絡集成。不過,還是那句話:平台系統的網絡安全是至關重要的。前一篇博客里我們嘗試實現了gRPC ssl/tls網絡連接,但測試時用的證書如何產生始終沒有搞清楚。現在akka-http開發的ws同樣面臨HTTPS的設置和使用問題。所以,特別抽出這篇博文討論一下数字證書的問題。

在正式的生產環境里数字證書應該是由第三方公證機構CA簽發的,我們需要向CA提出申請。数字證書的申請、簽發和驗證流程如下:

1) 服務⽅ S 向第三⽅方機構CA提交公鑰、組織信息、個⼈信息(域名)等資料提出認證申請 (不需要提供私鑰) 2) CA 通過各種手段驗證申請者所提供信息的真實性,如組織是否存在、 企業是否合法,是否擁有域名的所有權等 3) 如信息審核通過,CA 會向申請者簽發認證文件-證書。 證書包含以下信息:申請者公鑰、申請者的組織信息和個⼈信息、簽發機構 CA 信息、有效時間、證書序列號等信息的明⽂,同時包含一個簽名的產⽣生算法:首先,使用散列函數計算出證書中公開明文信息的信息摘要,然後, 採用 CA 的私鑰對信息摘要進⾏加密,這個密⽂就是簽名了 4) 客戶端 C 向服務器 S 發出請求時,S 返回證書文件 5) 客戶端 C 讀取證書中的相關的明⽂信息,采⽤相同的散列函數計算得到信息摘要, 然後,利用對應 CA 的公鑰解密簽名數據,對比證書的信息摘要,如果一致,則可以確認證書的合法性,即公鑰合法 6) 客戶端 C 然後檢驗證書相關的域名信息、有效時間等信息 7) 客戶端 C 應內置信任 CA 的證書信息(包含公鑰),如果 CA 不被信任,則找不到對應 CA 的證書,證書也會被判定非法 8) 內置 CA 對應的證書稱為根證書,頒發者和使⽤者相同,用 CA ⾃⼰的私鑰簽名,即⾃簽名證書(此證書中的公鑰即為 CA 的公鑰,可以使用這個公鑰對證書的簽名進行校驗,⽆需另外⼀份證書)

服務器端在通信中建立SSL加密渠道過程如下:

1)客戶端 C 發送請求到服務器端 S 2) 服務器端 S 返回證書和公開密鑰到 C,公開密鑰作為證書的一部分傳送 3)客戶端 C 檢驗證書和公開密鑰的有效性,如果有效,則⽣成共享密鑰並使⽤公開密鑰加密發送到服務器端 S 4) 服務器端 S 使⽤私有密鑰解密數據,並用收到的共享密鑰加密數據,發送到客戶端 C 5) 客戶端 C 使⽤用共享密鑰解密數據 6) SSL 加密通信渠道建立 ...

應該說,需要在客戶端進行認證的應用場景不多。這種情況需要在客戶端存放数字證書。像支付寶和一些銀行客戶端一般都需要安裝證書。

好了,還是回到如何產生自簽名證書示範吧。下面是一個標準的用openssl命令產生自簽名證書流程:

在產生證書和密鑰的過程中所有系統提問回答要一致。我們先假設密碼統一為:123456

1、生成根證書私鑰: rootCA.key:  openssl genrsa -des3 -out rootCA.key 2048 

2、根證書申請 rootCA.csr:openssl req -new -key rootCA.key -out rootCA.csr

3、用申請rootCA.csr生成根證書 rootCA.crt:openssl x509 -req -days 365 -sha256 -extensions v3_ca -signkey rootCA.key -in rootCA.csr -out rootCA.crt

4、pem根證書 rootCA.pem:openssl req -x509 -new -nodes -key rootCA.key -sha256 -days 1024 -out rootCA.pem

5、創建⼀個v3.ext⽂件,目的是產生X509 v3證書,主要目的是指定subjectAltName選項:

  authorityKeyIdentifier=keyid,issuer basicConstraints=CA:FALSE keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment subjectAltName = @alt_names [alt_names] DNS.1 = localhost IP.1 = "192.168.11.189" IP.5 = "192.168.0.189" IP.2 = "132.232.229.60" IP.3 = "118.24.165.225" IP.4 = "129.28.108.238"

注意subjectAltName,這些都是可以信任的域名或地址。

6、構建證書密鑰 server.key:openssl req -new -sha256 -nodes -out server.csr -newkey rsa:2048 -keyout server.key

7、用根證書rootCA產生自簽證書 server.crt:openssl x509 -req -in server.csr -CA rootCA.pem -CAkey rootCA.key -CAcreateserial -out server.crt -days 500 -sha256 -extfile v3.ext

上面這個過程需要不斷重複回答同樣的問題,很煩。可以用配置文件來一次性產生:

先構建一個ssl.cnf文件:

  [req]
  prompt = no
  default_bits = 4096
  default_md = sha256
  distinguished_name = dn
  x509_extensions = v3_req
  [dn]
  C=CN
  ST=GuangDong
  L=ShenZhen
  O=Bayakala
  OU=POS
  CN=www.bayakala.com
  emailAddress=admin@localhost
  [v3_req]
  keyUsage=keyEncipherment, dataEncipherment
  extendedKeyUsage=serverAuth
  subjectAltName=@alt_names
  [alt_names]
  DNS.1 = localhost
  IP.1 = "192.168.11.189"  
  IP.5 = "192.168.0.189"
  IP.2 = "132.232.229.60"
  IP.3 = "118.24.165.225"
  IP.4 = "129.28.108.238"

然後:openssl req -new -newkey rsa:2048 -sha1 -days 3650 -nodes -x509 -keyout server.key -out server.crt -config ssl.cnf

一個指令同時產生需要的server.crt,server.key。

除aubjectAltName外還要關注CN這個字段,它就是我們經常會遇到系統提問:你確定信任“域名”嗎?中這個域名,也就是對外界開放的一個使用了数字證書的域名。

把crt,key抄寫到main/resources目錄下,然後在gRPC服務器配置證書:

trait gRPCServer { val serverCrtFile = new File(getClass.getClassLoader.getResource("server.crt").getPath) val serverKeyFile = new File(getClass.getClassLoader.getResource("server.key").getPath) def runServer(service: ServerServiceDefinition): Unit = { val server = NettyServerBuilder .forPort(50051) .addService(service) .useTransportSecurity(serverCrtFile,serverKeyFile) .build .start // make sure our server is stopped when jvm is shut down
    Runtime.getRuntime.addShutdownHook(new Thread() { override def run(): Unit = { server.shutdown() server.awaitTermination() } }) } }

啟動gRPC服務,運作正常。在看看客戶端代碼:

    val clientCrtFile = new File(getClass.getClassLoader.getResource("server.crt").getPath)
 //或者   val clientCrtFile = new File(getClass.getClassLoader.getResource("rootCA.pem").getPath)

//這樣也行 val clientCrtFile: InputStream = getClass.getClassLoader.getResourceAsStream("rootCA.pem")

    val sslContextBuilder = GrpcSslContexts.forClient().trustManager(clientCrtFile)

    //build connection channel
    val channel = NettyChannelBuilder
      .forAddress("192.168.11.189",50051)
      .negotiationType(NegotiationType.TLS)
      .sslContext(sslContextBuilder.build())
//      .overrideAuthority("192.168.1.3")
      .build()

測試連接,gRPC SSL/TLS成功!

現在開始了解一下https證書的配置使用方法吧。看了一下akka-http關於server端HTTPS設置的例子,證書是嵌在HttpsConnectionContext類型裏面的。還有就是akka-http使用的https證書格式只支持pkcs12,所以需要把上面用openssl產生的自簽名證書server.crt轉成server.p12。這個轉換又需要先產生證書鏈certificate-chain chain.pem:

1)產生certificate-chain:  cat server.crt rootCA.crt > chain.pem

2) server.crt轉換成server.p12: openssl pkcs12 -export -name servercrt -in chain.pem -inkey server.key -out server.p12

https server 測試代碼:

//#imports
import java.io.InputStream import java.security.{ SecureRandom, KeyStore } import javax.net.ssl.{ SSLContext, TrustManagerFactory, KeyManagerFactory } import akka.actor.ActorSystem import akka.http.scaladsl.server.{ Route, Directives } import akka.http.scaladsl.{ ConnectionContext, HttpsConnectionContext, Http } import akka.stream.ActorMaterializer import akka.http.scaladsl.Http import akka.http.scaladsl.server.Directives._ //#imports


object HttpsDemo extends App { implicit val httpSys = ActorSystem("httpSystem") implicit val httpMat = ActorMaterializer() implicit val httpEC = httpSys.dispatcher val password: Array[Char] = "123456".toCharArray // do not store passwords in code, read them from somewhere safe!
 val ks: KeyStore = KeyStore.getInstance("PKCS12") val keystore: InputStream = getClass.getClassLoader.getResourceAsStream("server.p12") ks.load(keystore, password) val keyManagerFactory: KeyManagerFactory = KeyManagerFactory.getInstance("SunX509") keyManagerFactory.init(ks, password) val tmf: TrustManagerFactory = TrustManagerFactory.getInstance("SunX509") tmf.init(ks) val sslContext: SSLContext = SSLContext.getInstance("TLS") sslContext.init(keyManagerFactory.getKeyManagers, tmf.getTrustManagers, new SecureRandom) val https: HttpsConnectionContext = ConnectionContext.https(sslContext) val route = get { complete("Hello world!") } val (port, host) = (50081,"192.168.11.189") val bindingFuture = Http().bindAndHandle(route,host,port,connectionContext = https) println(s"Https Server running at $host $port. Press any key to exit ...") scala.io.StdIn.readLine() bindingFuture.flatMap(_.unbind()) .onComplete(_ => httpSys.terminate()) }

用safari連接https://192.168.11.189:50081/, 彈出窗口一堆廢話后還是成功連接上了。

 

【精選推薦文章】

自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司,幫您輕鬆架站!

評比前十大台北網頁設計台北網站設計公司知名案例作品心得分享

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

SpringBoot啟動流程分析(一):SpringApplication類初始化過程

SpringBoot系列文章簡介

SpringBoot源碼閱讀輔助篇:

  Spring IoC容器與應用上下文的設計與實現

SpringBoot啟動流程源碼分析:

  1. SpringBoot啟動流程分析(一):SpringApplication類初始化過程
  2. SpringBoot啟動流程分析(二):SpringApplication的run方法
  3. SpringBoot啟動流程分析(三):SpringApplication的run方法之prepareContext()方法
  4. SpringBoot啟動流程分析(四):IoC容器的初始化過程
  5. SpringBoot啟動流程分析(五):SpringBoot自動裝配原理實現
  6. SpringBoot啟動流程分析(六):IoC容器依賴注入

筆者註釋版Spring Framework與SpringBoot源碼git傳送門:請不要吝嗇小星星

  1. spring-framework-5.0.8.RELEASE
  2. SpringBoot-2.0.4.RELEASE

一、SpringApplication初始化過程

  1.1、SpringBoot項目的mian函數

  常規的這個主類如下圖所示,我們一般會這樣去寫。

 

  在這個類中需要關注的是

  • @SpringBootApplication
  • SpringApplication.run()

  關於 @SpringBootApplication 註解,在後面分析SpringBoot自動裝配的章節會展開去分析。

  本章節中我們需要關注的就是 SpringApplication.run() 方法。

  查看run()方法的實現,如下面代碼所示,我們發現其實其首先是創建了 SpringApplication 的實例,然後調用了 SpringApplication 的run()方法,那本章我們關注的就是 SpringApplication 創建實例的過程。

/**
     * Static helper that can be used to run a {@link SpringApplication} from the
     * specified sources using default settings and user supplied arguments.
     *
     * @param primarySources the primary sources to load
     * @param args           the application arguments (usually passed from a Java main method)
     * @return the running {@link ApplicationContext}
     */
    public static ConfigurableApplicationContext run(Class<?>[] primarySources,
                                                     String[] args) {
        return new SpringApplication(primarySources).run(args);
    }

   

  1.2、 SpringApplication() 構造方法

  繼續查看源碼, SpringApplication 實例化過程,首先是進入但參數的構造方法,最終回來到兩個參數的構造方法。

 1 public SpringApplication(Class<?>... primarySources) {
 2     this(null, primarySources);
 3 }
 4 
 5 @SuppressWarnings({"unchecked", "rawtypes"})
 6 public SpringApplication(ResourceLoader resourceLoader, Class<?>... primarySources) {
 7     this.resourceLoader = resourceLoader;
 8     Assert.notNull(primarySources, "PrimarySources must not be null");
 9     this.primarySources = new LinkedHashSet<>(Arrays.asList(primarySources));
10     //推斷應用類型,後面會根據類型初始化對應的環境。常用的一般都是servlet環境
11     this.webApplicationType = deduceWebApplicationType();//2.2.1
12     //初始化classpath下 META-INF/spring.factories中已配置的ApplicationContextInitializer
13     setInitializers((Collection) getSpringFactoriesInstances(ApplicationContextInitializer.class));//2.2.2
14     //初始化classpath下所有已配置的 ApplicationListener
15     setListeners((Collection) getSpringFactoriesInstances(ApplicationListener.class));//2.2.3
16     //根據調用棧,推斷出 main 方法的類名
17     this.mainApplicationClass = deduceMainApplicationClass();
18 }

 

   1.2.1、deduceWebApplicationType();該方法推斷應用的類型。 SERVLET REACTIVE NONE 

 1 //常量值
 2 private static final String[] WEB_ENVIRONMENT_CLASSES = {"javax.servlet.Servlet",
 3             "org.springframework.web.context.ConfigurableWebApplicationContext"};
 4 
 5 private static final String REACTIVE_WEB_ENVIRONMENT_CLASS = "org.springframework."
 6         + "web.reactive.DispatcherHandler";
 7 
 8 private static final String MVC_WEB_ENVIRONMENT_CLASS = "org.springframework."
 9         + "web.servlet.DispatcherServlet";
10 
11 private static final String JERSEY_WEB_ENVIRONMENT_CLASS = "org.glassfish.jersey.server.ResourceConfig";
12 
13 /**
14  * 判斷 應用的類型
15  * NONE: 應用程序不是web應用,也不應該用web服務器去啟動
16  * SERVLET: 應用程序應作為基於servlet的web應用程序運行,並應啟動嵌入式servlet web(tomcat)服務器。
17  * REACTIVE: 應用程序應作為 reactive web應用程序運行,並應啟動嵌入式 reactive web服務器。
18  * @return
19  */
20 private WebApplicationType deduceWebApplicationType() {
21     //classpath下必須存在org.springframework.web.reactive.DispatcherHandler
22     if (ClassUtils.isPresent(REACTIVE_WEB_ENVIRONMENT_CLASS, null)
23             && !ClassUtils.isPresent(MVC_WEB_ENVIRONMENT_CLASS, null)
24             && !ClassUtils.isPresent(JERSEY_WEB_ENVIRONMENT_CLASS, null)) {
25         return WebApplicationType.REACTIVE;
26     }
27     for (String className : WEB_ENVIRONMENT_CLASSES) {
28         if (!ClassUtils.isPresent(className, null)) {
29             return WebApplicationType.NONE;
30         }
31     }
32     //classpath環境下存在javax.servlet.Servlet或者org.springframework.web.context.ConfigurableWebApplicationContext
33     return WebApplicationType.SERVLET;
34 }

  返回類型是WebApplicationType的枚舉類型, WebApplicationType 有三個枚舉,三個枚舉的解釋如其中註釋

  具體的判斷邏輯如下:

  • WebApplicationType.REACTIVE  classpath下存在org.springframework.web.reactive.DispatcherHandler

  • WebApplicationType.SERVLET classpath下存在javax.servlet.Servlet或者org.springframework.web.context.ConfigurableWebApplicationContext

  • WebApplicationType.NONE 不滿足以上條件。

  

  1.2.2、 setInitializers((Collection) getSpringFactoriesInstances(ApplicationContextInitializer.class)); 

  初始化classpath下 META-INF/spring.factories中已配置的ApplicationContextInitializer。

 1 private <T> Collection<T> getSpringFactoriesInstances(Class<T> type) {
 2     return getSpringFactoriesInstances(type, new Class<?>[]{});
 3 }
 4 
 5 /**
 6  * 通過指定的classloader 從META-INF/spring.factories獲取指定的Spring的工廠實例
 7  * @param type
 8  * @param parameterTypes
 9  * @param args
10  * @param <T>
11  * @return
12  */
13 private <T> Collection<T> getSpringFactoriesInstances(Class<T> type,
14                                                       Class<?>[] parameterTypes, Object... args) {
15     ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
16     // Use names and ensure unique to protect against duplicates
17     //通過指定的classLoader從 META-INF/spring.factories 的資源文件中,
18     //讀取 key 為 type.getName() 的 value
19     Set<String> names = new LinkedHashSet<>(SpringFactoriesLoader.loadFactoryNames(type, classLoader));
20     //創建Spring工廠實例
21     List<T> instances = createSpringFactoriesInstances(type, parameterTypes,
22             classLoader, args, names);
23     //對Spring工廠實例排序(org.springframework.core.annotation.Order註解指定的順序)
24     AnnotationAwareOrderComparator.sort(instances);
25     return instances;
26 }

 

  看看 getSpringFactoriesInstances 都幹了什麼,看源碼,有一個方法很重要 loadFactoryNames() 這個方法很重要,這個方法是spring-core中提供的從META-INF/spring.factories中獲取指定的類(key)的同一入口方法。

在這裏,獲取的是key為 org.springframework.context.ApplicationContextInitializer 的類。

  debug看看都獲取到了哪些

 

  上面說了,是從classpath下 META-INF/spring.factories中獲取,我們驗證一下:

  發現在上圖所示的兩個工程中找到了debug中看到的6條結果。 ApplicationContextInitializer 是Spring框架的類, 這個類的主要目的就是在   ConfigurableApplicationContext 調用refresh()方法之前,回調這個類的initialize方法。通過  ConfigurableApplicationContext 的實例獲取容器的環境Environment,從而實現對配置文件的修改完善等工作。

  關於怎麼實現自定義的 ApplicationContextInitializer 請看我的另一篇專門介紹該類的博客。

 

  1.2.3、 setListeners((Collection) getSpringFactoriesInstances(ApplicationListener.class)); 

  初始化classpath下 META-INF/spring.factories中已配置的 ApplicationListener。

   ApplicationListener 的加載過程和上面的 ApplicationContextInitializer 類的加載過程是一樣的。不多說了,至於 ApplicationListener 是spring的事件監聽器,典型的觀察者模式,通過 ApplicationEvent 類和 ApplicationListener 接口,可以實現對spring容器全生命周期的監聽,當然也可以自定義監聽事件。為了梳理springboot的啟動流程在這裏先不說這個了。後面有時間的話再介紹。

   關於ApplicationContextInitializer的詳細介紹請看<SpringBoot之ApplicationContextInitializer的理解和使用>

 二、總結

  關於 SpringApplication 類的構造過程,到這裏我們就梳理完了。縱觀 SpringApplication 類的實例化過程,我們可以看到,合理的利用該類,我們能在spring容器創建之前做一些預備工作,和定製化的需求。

比如,自定義SpringBoot的Banner,比如自定義事件監聽器,再比如在容器refresh之前通過自定義 ApplicationContextInitializer 修改配置一些配置或者獲取指定的bean都是可以的。。。

  下一節開始分析SpringBoot容器的構建過程,也就是那個大家多少都看過的run();方法。

   

  原創不易,轉載請註明出處。

  如有錯誤的地方還請留言指正。

【精選推薦文章】

智慧手機時代的來臨,RWD網頁設計已成為網頁設計推薦首選

想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計

帶您來看台北網站建置台北網頁設計,各種案例分享

廣告預算用在刀口上,網站設計公司幫您達到更多曝光效益

進程知多少?

目錄

  • 進程為什麼出現?
  • 進程的組成
  • 如何競爭資源(調度算法)
    • FCFS
    • RR
    • SPN
    • SRT
    • HRRN
    • FB
  • 進程狀態
    • 三態圖
    • 五態圖
    • 七態圖
  • 進程關係
    • 父子關係
    • 殭屍進程
    • 孤兒進程
  • 執行模式
  • 進程間通訊
    • 管道(Pipe)
    • 流管道(Flow Pipe)
    • 有名管道(Named Pipe)
    • 信號量(Semophore)
    • 信號(Signal)
    • 消息隊列(Message Queue)
    • 共享內存(Shared Memory)
    • 套接字(Socket)
  • 總結

文章首發:進程知多少?

Java 多線程系列文章第 1 篇

要講線程,一般都得講一講進程,進程是何方神聖呢?下面來簡單介紹一下。

先通過任務管理器看看 Windows 系統下的進程。

從圖片來看,每一個進程都佔有 CPU、內存、磁盤、網絡等資源。站在操作系統的角度,進程是分配資源的基本單位,也是最小單位

進程為什麼出現?

引入進程的目的:為了使多個程序能併發執行,以提高資源的利用率和系統的吞吐量。怎麼理解這句話呢?一個程序在運行過程中會涉及很多操作,利用 CPU 計算、通過磁盤 IO 進行數據傳輸等等,我們知道當程序在進行磁盤 IO 的時候,因為速度問題,會比較慢,所在在這個過程中 CPU 會空閑下來,這會造成資源的浪費,正因為引入進程,在 A 進程進行磁盤 IO 的時候,會讓出 CPU 給 B 進程,合理地利用了 CPU 資源,使得程序之間可以併發執行。

從 CPU 角度,執行過程是這樣子的:CPU 一直在負責執行指令,進程之間互相競爭 CPU 資源,下圖有 A 和 B 進程,在一個時間點,CPU 只執行一個進程的指令,因為 CPU 運行很快,所以在咱們看起來,像是多個進程在同時跑。這就是進程帶來的好處:提高資源利用率,併發地執行多個程序

當然引入進程也不是有益無害,它增加了系統的時間空間開銷。空間開銷這個好理解,進程有自己的組成部分(下面會講),這個就佔用了空間。時間開銷則是進程切換需要時間。

進程的組成

進程由 3 個部分組成,分別是程序代碼數據集、棧進程控制塊(Process Control Block)

各自的作用如下:

  1. 程序代碼:描述了進程需要完成的功能。
  2. 數據集、棧:程序在執行時所需要的數據和工作區。
  3. 進程控制塊:包含進程的描述信息和控制信息,它是進程存在的唯一標識。

如何競爭資源(調度算法)

進程之間需要競爭資源,一般都是競爭 CPU 資源,因為 CPU 運行速度太快了,其他介質都趕不上。有了競爭就需要有規則,就像遊戲一樣,每個遊戲都需要規則,不同規則會有不同的側重點,這個看過“最強大腦”這個節目的朋友就非常清楚,每道題都有不同的考核側重點,有些是側重空間思維、有些側重邏輯推算等等。下面我們就簡單地一一講解競爭資源的遊戲規則。

FCFS

First In First Out(先來先服務):最先進入就緒隊列的進程,先運行,運行到完成或者阻塞時,再重新調度。一般情況下,這種調度算法會和優先級策略結合,比如每個優先級一條隊列,每條隊列中的調度都使用 FCFS。

特點:簡單、比較偏於長進程、相對於其他調度算法平均周轉時間長

RR

Round Robin(輪轉):進程按提交順序存在就緒隊列,依次輪流佔用 CPU 資源,運行一段固定的時間,時間到后如果還沒執行完,就繼續進入就緒隊列隊尾,排隊等待下次執行。

特點:公平、對進程的響應時間較短

SPN

Shortest Process Next(最短進程優先):將預期佔用運行時間最短的進程優先執行,直到運行完成或阻塞時,再重新調度。

特點:有利於短進程

SRT

Shortest Remaining Time(最短剩餘時間優先):新進程進來時,如果新進程的預計運行時間比當前進程的剩餘運行時間更短,就搶佔當前進程,

特點:有利於短進程,和 SPN 的差別在於搶佔這個一點,因為搶佔,所以效率會比 SPN 好一些。

HRRN

Highest Response Ratio Next(最高響應比優先):當前運行的進程完成或者阻塞時發生調度,每次調度前,計算所有就緒進程的響應比,響應比高的進程優先運行。

響應比公式如下所示:

特點:有利於短進程服務時間相同的進程,先來的服務會優先執行長進程因為在等待的過程中,優先級越來越高,所以不會一直不執行

FB

Feedback (反饋):由多個就緒隊列組成的反饋機制,它有如下規則:

  1. 在同一個隊列的進程,按 FCFS 算法調度,最後一個就緒隊列按 RR 算法調度;
  2. 優先級越高的隊列,時間片越小;
  3. 進程在一個時間片內未運行完,則降到下一個隊列末尾;
  4. 只有上級隊列無就緒進程時,才運行本級就緒隊列,本級就緒隊列無進程時,才運行下級就緒隊列,以此類推

進程執行過程如下圖所示

特點:短進程有非常大的優勢,排在前面的隊列都是時間較短的

以上就是幾個搶佔資源的調度算法的說明。

進程狀態

上面我們講到,進程之間是在競爭資源,得到資源就運行,沒得到就等待,這個需要有狀態來維護,像很多系統一樣,需要一個狀態機。

三態圖

三態圖也是描述進程狀態最簡單最基礎的圖,它包含了進程的最基本的 3 個狀態,分別是:就緒態、運行態和阻塞態。

Read(就緒態):進程已得到除 CPU 以外的其他所需資源。
Running(運行態):進程的指令正被執行。
Blocked(阻塞態):進程正等待資源或某事件發生。

就緒態的進程在被調度的時候,進入了運行態,如果時間片運行完或者有更高級別進程搶佔資源,則變成就緒態等待再次被調度;如果發生事件(比如 IO 事件),則從運行態轉到阻塞態,進入阻塞態的進程只能等待事件解除重新進入就緒態

五態圖

基於三態圖,新增了 2 個狀態,分別是:新建態和退出態。

New(新建態):進程正被創建。分配內存后將被設為就緒態。

Exit(退出態):進程已正常結束或出現異常結束。回收資源。

新進程剛創建還沒有分配資源的時候是新建態,等到分配了資源,被加載后就進入就緒態。當進程運行完后,就從運行態進入退出態

七態圖

基於五態圖,新增了 2 種掛起態,分別是就緒掛起態和阻塞掛起態。

就緒掛起態:另叫外存就緒態。由於內存容量有限,將原位於內存的就緒進程轉存到外存(磁盤)上。

阻塞掛起態:另叫外存阻塞態。一樣因為內存容量有限,將原位於內存的阻塞進程轉存到外存(磁盤)上。

我們可以看出,圖中新增了解除掛起的狀態轉換過程,一般是由於掛起進程優先級比較高或者內存空間足夠,把位於外存(磁盤)的進程轉存到內存中。

進程關係

進程之間其實比較獨立,比如我們在日常使用的 QQ 和微信,它們運行起來的進程有什麼關係么?其實除了互相競爭資源之外,沒有任何關係。

父子關係

雖然上面說的進程之間沒有關係,但是有一個特殊關係需要講,就是父子關係

先做個試驗,驗證進程的父子關係。操作步驟:

  1. 打開 CMD 命令行程序,將當前的窗口設置為 Father,在 Father 窗口通過命令start cmd啟動另一個 CMD 命令行程序;
  2. 將新開的 CMD 命令行程序的窗口設置為 Son,在 Son 窗口通過命令start cmd啟動另一個 CMD 命令行程序;
  3. 將新開的 CMD 命令行程序的窗口設置為 Grandson。

操作過程如下圖所示。

通過 ProcessExplorer 可以很清晰看到這 3 個 CMD 進程之間的關係。(想要 ProcessExplorer 插件可以通過百度網盤下載鏈接:https://pan.baidu.com/s/19531gf5tD_of1CWxpFR9Dg 提取碼:qhc6)

我們看到 Father、Son、Grandson 三個進程呈現出我們預料中的樹形。那麼什麼是父子進程呢?簡單的說就是在進程中創建出新的進程,這個新的進程就是子進程,一個進程可以有多個子進程,但是只能有一個父進程。在 Unix 系統中,父進程通過調用 fork() 創建子進程,父子進程有如下特點:

  1. 父、子進程併發執行;
  2. 父、子進程共享父進程的所有資源;
  3. 子進程複製父進程的地址空間,甚至有相同的正文段和程序計數器 PC 值;
  4. 利用寫時複製(Copy On Write)技術減少不必要的複製:fork 時父子共用父空間,當一方試圖修改時才複製。

這裏重點講一下Copy On Write,使用了這個技術,父進程創建子進程的時候不會複製所有數據到子進程,省了複製的時間以及減少了大量的內存。這個複製不是必要的,因為如果應用程序在進程複製之後立即加載新程序,那之前的複製工作就是浪費時間和內存了。

講了進程父子關係,就免不了提一下殭屍進程孤兒進程,下面分別介紹一下。

殭屍進程

殭屍進程:子進程退出后,父進程沒有調用 wait 或 waitpid 獲取子進程的狀態信息,子進程的進程描述符仍保存在系統中,這種進程叫殭屍進程。

殭屍進程的危害:殭屍進程會一直佔用進程號,系統能使用的進程號又是有限的,如果有大量的殭屍進程,會因為沒有可用進程號導致無法創建新的進程。

孤兒進程

孤兒進程:父進程結束退出,而它的子進程還在運行,這時的子進程就叫做孤兒進程。孤兒進程就被 init 進程(進程號為 1)收養,init 進程將對孤兒進程完成狀態收集工作。

孤兒進程沒有危害,因為被 init 進程託管了,init 進程會處理孤兒進程的收集工作。

執行模式

指令分為特權指令(只能由操作系統內核使用的指令)和非特權指令(只能由用戶程序使用的指令),因為指令有特權和非特權之分,所以 CPU 也分為 2 種執行模式:系統態(可以執行所有指令,使用所有資源以及改變 CPU 狀態)和用戶態(只能執行非特權指令)。

CPU 的系統態和用戶態之間的切換。

進程間通訊

當進程之間需要數據傳輸、共享數據時,進程間就需要互相通訊,通訊方式有如下幾種,這裏只是簡單概括一下,不展開講,咱的重點在於多線程,進程咱們簡單了解一下就可以,感興趣的同學可以根據要點進行深入學習。

管道(Pipe)

管道是半雙工通訊,數據是單向流動,要建立進程間互相通訊,則需要 2 個管道,這種通訊方式只能在親戚關係的進程間使用,比如父子進程。

流管道(Flow Pipe)

流管道是管道進化來的,數據不再是單向流動,可以雙向流動,但是依舊是只能在親戚關係的進程間使用。

有名管道(Named Pipe)

有名管道提供了新的功能,就是給管道設置名字,它改善了上面 2 種管道通訊方式,支持了非親戚關係的進程通訊。

信號量(Semophore)

信號量相當於計數器,利用它來控制多個進程訪問共享資源,當一個進程A在訪問共享資源時,信號量防止其他進程來訪問,只有當進程A不訪問共享資源了,其他進程才能訪問。

信號(Signal)

信號可以在任何時候發給某一進程,不需要知道該進程當前的狀態,如果對方進程未執行,信號會存在內核中,直到進程執行後傳遞給它;如果對方進程是阻塞,則信號會延遲傳遞,等到對方進程阻塞取消后才傳遞給它。

消息隊列(Message Queue)

消息隊列是存放在內核中的鏈表,可以有多個進程對這個鏈表進行寫入和讀取,它解決了信號傳遞信息少、管道只能傳輸無格式字節流和緩衝區大小受限的缺點。目前有 POSIX 消息隊列和 System V 消息隊列。

共享內存(Shared Memory)

共享內存即為一段能被其他進程訪問的內存,多個進程訪問同一個內存,達到了通訊的效果。

套接字(Socket)

套接字就是我們網絡編程裏面的那個套接字,可以通過網絡也可以在本機進行通信,它的好處在於可以跨主機進行通信。

總結

總的來說,進程是程序在一個數據集上的一次執行過程,它就是程序運行起來的表現。這是我們學習多線程的開篇,希望通過這篇文章,讓大家簡單地了解進程是什麼,後面我們再來深入了解多線程。

推薦閱讀

設計模式看了又忘,忘了又看?

公眾號後台回復『設計模式』可以獲取《一故事一設計模式》电子書

覺得文章有用幫忙轉發&點贊,多謝朋友們!

【精選推薦文章】

如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!!

想要讓你的商品在網路上成為最夯、最多人討論的話題?

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

不管是台北網頁設計公司台中網頁設計公司,全省皆有專員為您服務

想知道最厲害的台北網頁設計公司推薦台中網頁設計公司推薦專業設計師"嚨底家"!!

如何從現在開始寫博客?

  • 《構建之法》讀書筆記四-關於寫博客的想法

  在前不久知名博主《純潔的微笑》在博客園分享了他寫博客的心得,獲得了讀者圈的廣泛共鳴,同時也引起了一些老生常談的爭議,這樣的討論在我們長沙.NET技術社區內部也經常發生。

1、寫博客的好處

  在《軟技能·代碼之外的生存指南》這本書中,作者提到作為軟件開發人員,最好的推銷自己的媒介就是博客,他認為每個在乎自己職業生涯的軟件開發人員都應該建立一個博客,他把他職業生涯的大部分成功都歸功於他的博客。

  在我之前寫過的一篇博客中,介紹了長沙.NET技術社區的優秀開發者,全棧工程師《ASP.NET企業級開發實戰》的作者鄒瓊俊老師的成長經歷,在他大學畢業後去找工作屢屢碰壁時,有幸加入了由長沙社區組織者周尹老師開設的學習班,並向老師請教如何才能提高自己的技能時,老師告訴他,你去寫博客,堅持寫博客,堅持五年,一定能獲得成功。果不其然,他筆耕不輟、堅持學習和記錄自己發現的問題,並成為了一位出版了兩本開發技能書籍的暢銷書作者。

  除了他之外,還有我在博客園結識的Java全棧工程師,《Web全棧開發進階之路》的作者,沉默王二,也是一位愛好寫博客的人,多年前他在蘇州的日企工作,偶爾會做一些筆記,但自從回到小城洛陽之後,就開始瘋狂的學習技術和寫博客,多年的堅持沒有白費,終於得以打造這本優秀的Java開發者們值得擁有的寶貴書籍。

  在技術社區有一次的閑談中,有人說起一個故事,說他以前有一次和他的同學一起去面試一份工作,然後面試官問你覺得你平時有什麼比較好的學習習慣么?他說基本上回家之後就是看看書,玩玩遊戲什麼的。而他的同學卻說:回家之後會看看書,逛逛博客園、寫寫博客。於是毫無疑問,他的同學得到了面試官的青睞並獲得了這份Offer。或許他的同學以前並沒有寫博客,但是相信得到這份Offer之後,他一定會開始寫博客、並培養自己寫博客的習慣的。

  在《軟技能》這本書裏面也說了,他去給軟件開發人員做演講,每當他問開發者有多少位開了博客並每周更新的請举手時,一百個開發者,頂多只有一位举手。他認為,堅持寫博客、持之以恆的撰寫優質內容,能讓你輕鬆在開發者中脫穎而出。

2、不要給自己太大的壓力、從小問題開始記錄

  許多人說曾經開過博客賬戶,甚至心血來潮使用wordpress\hexo等博客平台搭建過自己的博客網站,但是最終都無疾而終了,主要原因是不知道寫什麼內容,以及擔心自己寫的內容會被人吐槽說質量不好、自己忙於工作,根本沒有時間寫博客等。

  有時候開發者總是會給自己過大的壓力,其實這樣的壓力毫無必要,坦率而言,在大部分技術網站中活躍的優秀開發者,他們剛剛參加工作時,並非每個人都是學霸、一開始就能寫出優秀的博客,他們善於發現和記錄在工作中自己發現的一些點,並持之以恆,最終讓他們脫穎而出。

  每一位開發者本質上沒有那麼大的區別,並不是所有的開發者都有機會經歷大併發等互聯網的牛逼場景,但是我們總有機會發現或親歷一些只有自己才能看到的場景。在開發者這個包容心最強的社會群體中,只要你勇於寫下自己的博客,一定會獲得其他開發者的認同。(當然,有一些網絡噴子,請不要在意他們的說法)

  例如,我個人認為,我們可以這樣嘗試。

  1、不要擔心自己的文筆不夠好、不要過度在意別人的看法,只要寫博客,讓自己滿意,就是一個開端。

  2、學會記錄,形成素材。想到什麼,就記錄什麼,提前頭腦風暴出不同的想法,隨時更新在自己筆記中記錄的點子、並適當的進行擴展,就是一個非常不錯的話題。

  3、無需花費太多時間,每天花半個小時思考和總結問題,一周就有3個半小時,足夠寫出一篇千字以內的總結了。

  4、通過博客與其他人進行討論。如果遇到想不明白的問題,還可以通過博客的形式,分享出來,邀請大家進行討論,這樣的過程簡直不要太開心。

  在《構建之法》這本書中,將寫博客當成是開發者形成良好習慣的開始,並稱之為“做中學”,我們也可以在edu.cnblogs.com這個站點中,看到許多年輕的未來開發者們,他們通過博客園這個平台,將自己軟件工程學習過程中的問題、解決問題的方法和經驗分享出來,不同學校間還可以互相交流,形成了一個非常積極活躍的技術氛圍,我覺得這是一種令人愉悅的體驗。

  當然,我也很遺憾在我讀書的那些年沒有機會體驗這樣的機會,以至於走了一些彎路,到今天我的博客依然寫得比較少,所以這篇博客其實也是寫給自己的一種警醒,提醒自己應該堅持寫博客,不管年紀多大,只要今天開始堅持,堅持五年,總能取得不錯的成功,雖然不一定能像其他人一樣成功,但至少會比今天的自己成功。

3、寫博客的原則

  我曾經針對寫博客的問題,有幸請教過《構建之法》的作者鄒欣老師,我說我最近也寫了一些博客,但是總感覺都是一些毫無乾貨,讀起來感覺沒什麼意思,請問如何才能寫出有乾貨的內容呢?

  • 老師回答:說清楚一個具體問題,解決一個具體問題。

  這是一個充滿哲理的回答,讓我茅塞頓開。寫博客不是寫小說,不用長篇大論,不用引經據典,不用引用華麗的詞藻,只需講清楚一個問題即可。再簡單的問題,也是一個問題,每個人的理解都不一定相同,只需用鍵盤敲下你的理解,就可以成為一篇博客。

 

  在閱讀《浪潮之巔》第二卷的過程中,我看到了一樁關於博客的軼事,說甲骨文收購了Sun公司之後,甲骨文老闆 Ellison這樣吐槽:

  “Sun的工程師團隊是如此優秀,但是他們獲得的指引方向卻異常糟糕,這是導致他們無法成功的原因。花哨的博客並不能取代優秀的微處理器,也不能取代任何軟件,博客文章多頁無法帶來好的銷售業績。”

  Sun是一家曾經是一家優秀的互聯網公司,開創的許多領域時至今日依然讓開發者們收益,但是為什麼十年前卻突然死亡,最終賣身給Oracle?在《浪潮之巔》中有比較深入的闡述,而在Sun破產之前, Schwartz這位Sun的末代領袖,卻試圖通過博客來治理這麼大的公司,經常使用十餘種語言寫博客,實在是一位有意思的商界領袖。(還有那位喜好用推特治國的川普,也挺有意思的,嗯,川普和Schwartz應該是筆友。)

  ps:我是一位.NET開發者,在過去十年間,大概.NET是受Java衝擊最嚴重的開發技術吧,但是創造出Java如此優秀語言的Sun公司,究竟是什麼原因讓他被歷史的浪潮打翻的?真的只是因為CEO愛寫博客嗎?這是一個很有意思的故事,大家也可以去《浪潮之巔》中看看,正好《浪潮之巔》第四版新書也上市了,我已經買了一套了。哈哈。

【精選推薦文章】

自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司,幫您輕鬆架站!

評比前十大台北網頁設計台北網站設計公司知名案例作品心得分享

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

上周熱點回顧(6.17-6.23)

熱點隨筆:

· 升維打擊,設計之道(Artech)
· 藉助FreeHttp為任意移動端web網頁添加vConsole調試(lulianqi15)
· 你為什麼有那麼多時間寫博客?(純潔的微笑)
· 看完此文,媽媽還會擔心你docker入不了門?(sullivan06)
· 我和 HelloGitHub(削微寒)
· 簡歷上如果出現過於高大上的項目,反而過猶不及:再論如何通過項目引出技術(hsm_computer)
· 程序員與醫生(道友留步`)
· 一個理想主義的程序員(沉默王二)
· 高考完?入門級的開源項目帶你開啟編程之旅(削微寒)
· 短信驗證碼“最佳實踐”(GUOKUN)
· .NET CORE下最快比較兩個文件內容是否相同的方法(WAKU)
· 從CLR GC到CoreCLR GC看.NET Core對雲原生的支持(艾心❤)

熱點新聞:

· “地震波還有61秒到達”,08年籌建的技術,在這次四川地震中立功了
· 微軟,奪回王位
· 我們從未見過它的真面目,直到一群科學家拍了張照片
· 華為自研SSD揭秘:國內唯一殺入全球TOP10
· 無需固態電池,一條假魚靠“血液”續航36小時
· 5G來了,需要更換SIM卡嗎?
· 屠呦呦團隊放“大招”:“青蒿素抗藥性”等研究獲新進展
· 羅永浩再談收購蘋果:還需要一點時間
· 國產最先進X86處理器KX-6000發布:8核3.0GHz 力壓酷睿i5
· 美國欲剝奪華為在美專利權,涉及至少 3195 件專利
· 四川發生強震 成都提前61秒收到預警
· 聯想 ThinkPad P 系列筆記本預裝 Ubuntu 系統

【精選推薦文章】

智慧手機時代的來臨,RWD網頁設計已成為網頁設計推薦首選

想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計

帶您來看台北網站建置台北網頁設計,各種案例分享

廣告預算用在刀口上,網站設計公司幫您達到更多曝光效益

Express:模板引擎深入研究

深入源碼

首先,看下express模板默認配置。

  • view:模板引擎模塊,對應 require(‘./view’),結合 res.render(name) 更好了解些。下面會看下 view 模塊。
  • views:模板路徑,默認在 views 目錄下。
// default configuration
this.set('view', View);
this.set('views', resolve('views'));

騰訊IVWEB前端團隊招前端工程師,2年以上工作經驗,本科以上學歷,有意者可私信、留言,或者郵箱聯繫 2377488447@qq.com,JD可參考這裏

從實例出發

從官方腳手架生成的代碼出發,模板配置如下:

  • views:模板文件在 views 目錄下;
  • view engine:用jade這個模板引擎進行模板渲染;
// view engine setup
app.set('views', path.join(__dirname, 'views'));
app.set('view engine', 'jade');

假設此時有如下代碼調用,內部邏輯是如何實現的?

res.render('index');

res.render(view)

完整的 render 方法代碼如下:

/**
 * Render `view` with the given `options` and optional callback `fn`.
 * When a callback function is given a response will _not_ be made
 * automatically, otherwise a response of _200_ and _text/html_ is given.
 *
 * Options:
 *
 *  - `cache`     boolean hinting to the engine it should cache
 *  - `filename`  filename of the view being rendered
 *
 * @public
 */

res.render = function render(view, options, callback) {
  var app = this.req.app;
  var done = callback;
  var opts = options || {};
  var req = this.req;
  var self = this;

  // support callback function as second arg
  if (typeof options === 'function') {
    done = options;
    opts = {};
  }

  // merge res.locals
  opts._locals = self.locals;

  // default callback to respond
  done = done || function (err, str) {
    if (err) return req.next(err);
    self.send(str);
  };

  // render
  app.render(view, opts, done);
};

核心代碼就一句,調用了 app.render(view) 這個方法。

res.render = function (name, options, callback) {
  var app = this.req.app;
  app.render(view, opts, done);
};

app.render(view)

完整源碼如下:

/**
 * Render the given view `name` name with `options`
 * and a callback accepting an error and the
 * rendered template string.
 *
 * Example:
 *
 *    app.render('email', { name: 'Tobi' }, function(err, html){
 *      // ...
 *    })
 *
 * @param {String} name
 * @param {String|Function} options or fn
 * @param {Function} callback
 * @public
 */

app.render = function render(name, options, callback) {
  var cache = this.cache;
  var done = callback;
  var engines = this.engines;
  var opts = options;
  var renderOptions = {};
  var view;

  // support callback function as second arg
  if (typeof options === 'function') {
    done = options;
    opts = {};
  }

  // merge app.locals
  merge(renderOptions, this.locals);

  // merge options._locals
  if (opts._locals) {
    merge(renderOptions, opts._locals);
  }

  // merge options
  merge(renderOptions, opts);

  // set .cache unless explicitly provided
  if (renderOptions.cache == null) {
    renderOptions.cache = this.enabled('view cache');
  }

  // primed cache
  if (renderOptions.cache) {
    view = cache[name];
  }

  // view
  if (!view) {
    var View = this.get('view');

    view = new View(name, {
      defaultEngine: this.get('view engine'),
      root: this.get('views'),
      engines: engines
    });

    if (!view.path) {
      var dirs = Array.isArray(view.root) && view.root.length > 1
        ? 'directories "' + view.root.slice(0, -1).join('", "') + '" or "' + view.root[view.root.length - 1] + '"'
        : 'directory "' + view.root + '"'
      var err = new Error('Failed to lookup view "' + name + '" in views ' + dirs);
      err.view = view;
      return done(err);
    }

    // prime the cache
    if (renderOptions.cache) {
      cache[name] = view;
    }
  }

  // render
  tryRender(view, renderOptions, done);
};

源碼開頭有 cacheengines 兩個屬性,它們在 app.int() 階段就初始化了。

this.cache = {};
this.engines = {};

View模塊源碼

看下View模塊的源碼:

/**
 * Initialize a new `View` with the given `name`.
 *
 * Options:
 *
 *   - `defaultEngine` the default template engine name
 *   - `engines` template engine require() cache
 *   - `root` root path for view lookup
 *
 * @param {string} name
 * @param {object} options
 * @public
 */

function View(name, options) {
  var opts = options || {};

  this.defaultEngine = opts.defaultEngine;
  this.ext = extname(name);
  this.name = name;
  this.root = opts.root;

  if (!this.ext && !this.defaultEngine) {
    throw new Error('No default engine was specified and no extension was provided.');
  }

  var fileName = name;

  if (!this.ext) {
    // get extension from default engine name
    this.ext = this.defaultEngine[0] !== '.'
      ? '.' + this.defaultEngine
      : this.defaultEngine;

    fileName += this.ext;
  }

  if (!opts.engines[this.ext]) {
    // load engine
    opts.engines[this.ext] = require(this.ext.substr(1)).__express;
  }

  // store loaded engine
  this.engine = opts.engines[this.ext];

  // lookup path
  this.path = this.lookup(fileName);
}

核心概念:模板引擎

模板引擎大家不陌生了,關於express模板引擎的介紹可以參考官方文檔。

下面主要講下使用配置、選型等方面的內容。

可選的模版引擎

包括但不限於如下模板引擎

  • jade
  • ejs
  • dust.js
  • dot
  • mustache
  • handlerbar
  • nunjunks

配置說明

先看代碼。

// view engine setup
app.set('views', path.join(__dirname, 'views'));
app.set('view engine', 'jade');

有兩個關於模版引擎的配置:

  1. views:模版文件放在哪裡,默認是在項目根目錄下。舉個例子:app.set('views', './views')
  2. view engine:使用什麼模版引擎,舉例:app.set('view engine', 'jade')

可以看到,默認是用jade做模版的。如果不想用jade怎麼辦呢?下面會提供一些模板引擎選擇的思路。

選擇標準

需要考慮兩點:實際業務需求、個人偏好。

首先考慮業務需求,需要支持以下幾點特性。

  • 支持模版繼承(extend)
  • 支持模版擴展(block)
  • 支持模版組合(include)
  • 支持預編譯

對比了下,jadenunjunks都滿足要求。個人更習慣nunjunks的風格,於是敲定。那麼,怎麼樣使用呢?

支持nunjucks

首先,安裝依賴

npm install --save nunjucks

然後,添加如下配置

var nunjucks = require('nunjucks');

nunjucks.configure('views', {
    autoescape: true,
    express: app
});

app.set('view engine', 'html');

看下views/layout.html

<!DOCTYPE html>
<html>
<head>
    <title>
        {% block title %}
            layout title
        {% endblock %}
    </title>
</head>
<body>
<h1>
    {% block appTitle %}
        layout app title
    {% endblock %}
</h1>
<p>正文</p>

</body>
</html>

看下views/index.html

{% extends "layout.html" %}
{% block title %}首頁{% endblock %}
{% block appTitle %}首頁{% endblock %}

開發模板引擎

通過app.engine(engineExt, engineFunc)來註冊模板引擎。其中

  • engineExt:模板文件後綴名。比如jade
  • engineFunc:模板引擎核心邏輯的定義,一個帶三個參數的函數(如下)
// filepath: 模板文件的路徑
// options:渲染模板所用的參數
// callback:渲染完成回調
app.engine(engineExt, function(filepath, options, callback){

    // 參數一:渲染過程的錯誤,如成功,則為null
    // 參數二:渲染出來的字符串
    return callback(null, 'Hello World');
});

比如下面例子,註冊模板引擎 + 修改配置一起,於是就可以愉快的使用後綴為tmpl的模板引擎了。

app.engine('tmpl', function(filepath, options, callback){

    // 參數一:渲染過程的錯誤,如成功,則為null
    // 參數二:渲染出來的字符串
    return callback(null, 'Hello World');
});
app.set('views', './views');
app.set('view engine', 'tmpl');

res.render(view [, locals] [, callback])

參數說明:

  • view:模板的路徑。
  • locals:對象類型。渲染模板時傳進去的本地變量。
  • callback:回調函數。如果聲明了的話,當渲染工作完成時被調用,參數為兩個,分別是錯誤(如果出錯的話)、渲染好的字符串。在這種情況下,response不會自動完成。當錯誤發生時,內部會自動調用 next(err)

view參數說明:

  • 可以是相對路徑(相對於views設置的目錄),或者絕對路徑;
  • 如果沒有聲明文件後綴,則以view engine設置為準;
  • 如果聲明了文件後綴,那麼Express會根據文件後綴,通過 require() 加載對應的模板引擎來完成渲染工作(通過模板引擎的 __express 方法完成渲染)。

locals參數說明:

locals.cache 啟動模板緩存。在生產環境中,模板緩存是默認啟用的。在開發環境,可以通過將 locals.cache 設置為true來啟用模板緩存。

例子:

// send the rendered view to the client
res.render('index');

// if a callback is specified, the rendered HTML string has to be sent explicitly
res.render('index', function(err, html) {
  res.send(html);
});

// pass a local variable to the view
res.render('user', { name: 'Tobi' }, function(err, html) {
  // ...
});

關於view cache

The local variable cache enables view caching. Set it to true, to cache the view during development; view caching is enabled in production by default.
render(view, opt, callback) 這個方法調用時,Express會根據 view 的值 ,進行如下操作

  1. 確定模板的路徑
  2. 根據模板的擴展性確定採用哪個渲染引擎
  3. 加載渲染引擎

重複調用render()方法,如果 cache === false 那麼上面的步驟每次都會重新做一遍;如果 cache === true,那麼上面的步驟會跳過;

關鍵源代碼:

if (renderOptions.cache) {
  view = cache[name];
}

此外,在 view.render(options, callback) 里,options 也會作為參數傳入this.engine(this.path, options, callback)。也就是說,渲染引擎(比如jade)也會讀取到options.cache這個配置。根據options.cache的值,渲染引擎內部也可能會進行緩存操作。(比如為true時,jade讀取模板後會緩存起來,如果為false,每次都會重新從文件系統讀取)

View.prototype.render = function render(options, callback) {
  debug('render "%s"', this.path);
  this.engine(this.path, options, callback);
};

備註:cache配置對渲染引擎的影響是不確定的,因此實際需要用到某個渲染引擎時,需確保對渲染引擎足夠了解。

以jade為例,在開發階段,NODE_ENV !== 'production',cahce默認是false。因此每次都會從文件系統讀取模板,再進行渲染。因此,在開發階段,可以動態修改模板內容來查看效果。

NODE_ENV === 'production' ,cache 默認是true,此時會緩存模板,提升性能。

混合使用多種模板引擎

根據對源碼的分析,實現很簡單。只要帶上文件擴展名,Express就會根據擴展名加載相應的模板引擎。比如:

  1. index.jade:加載引擎jade
  2. index.ejs:加載引擎ejss
// 混合使用多種模板引擎
var express = require('express');
var app = express();

app.get('/index.jade', function (req, res, next) {
  res.render('index.jade', {title: 'jade'});
});

app.get('/index.ejs', function (req, res, next) {
  res.render('index.ejs', {title: 'ejs'});
});

app.listen(3000);

同樣的模板引擎,不同的文件擴展名

比如模板引擎是jade,但是因為一些原因,擴展名需要採用.tpl

// 同樣的模板引擎,不同的擴展名
var express = require('express');
var app = express();

// 模板採用 tpl 擴展名
app.set('view engine', 'tpl');
// 對於以 tpl 擴展名結尾的模板,採用 jade 引擎
app.engine('tpl', require('jade').__express);

app.get('/index', function (req, res, next) {
  res.render('index', {title: 'tpl'});
});

app.listen(3000);

相關鏈接

Using template engines with Express
http://expressjs.com/en/guide/using-template-engines.html

res.render 方法使用說明
http://expressjs.com/en/4x/api.html#res.render

騰訊IVWEB前端團隊招前端工程師,2年以上工作經驗,本科以上學歷,有意者可私信、留言,或者郵箱聯繫 2377488447@qq.com,JD可參考這裏

【精選推薦文章】

如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!!

想要讓你的商品在網路上成為最夯、最多人討論的話題?

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

不管是台北網頁設計公司台中網頁設計公司,全省皆有專員為您服務

想知道最厲害的台北網頁設計公司推薦台中網頁設計公司推薦專業設計師"嚨底家"!!

[WPF自定義控件庫]排序、篩選以及高亮

1. 如何讓列表的內容更容易查找

假設有這麼一個列表(數據源在本地),由於內容太多,要查找到其中某個想要的數據會比較困難。要優化這個列表,無非就是排序、篩選和高亮。

改造過的結果如上。

2. 排序

在WPF中要實現數據排序的功能有很多種,例如用Linq,但這種場景的標準做法是使用CollectionViewSource。

CollectionViewSource是一種數據集合的代理類。它有兩個很重要的屬性:

  • Source 是數據源的集合;

  • View 是經過處理后的數據視圖。

看上去感覺是不是很像數據庫里的Table和View的關係?

在這個例子里使用CollectionViewSource排序的代碼如下:

private readonly CollectionViewSource _viewSource;

public HighlightSample()
{
    InitializeComponent();
    _viewSource = new CollectionViewSource
    {
        Source = Employee.AllExecutives
    };

    _viewSource.View.Culture = new System.Globalization.CultureInfo("zh-CN");
    _viewSource.View.SortDescriptions.Add(new SortDescription(nameof(Employee.FirstName), ListSortDirection.Ascending));
    EmployeeElement.ItemsSource = _viewSource.View;
}

這段代碼為CollectionViewSource的Source賦值后,把CollectionViewSource的View作為ListBox的數據源。其中SortDescriptions用於描述View的排序方式。如果包含中文,別忘記將Culture設置為zh-cn

至此排序的功能就實現了。文檔中還提到CollectionViewSource的其它信息:

您可以將集合視圖作為綁定源集合,可用於導航和显示集合中基於排序、 篩選和分組查詢,而無需操作基礎源集合本身的所有頂層。 如果Source實現INotifyCollectionChanged接口,所做的更改引起CollectionChanged事件傳播到View。

由於View不會更改Source,因此每個Source都可以有多個關聯的View。 使用View,可以通過不同方式显示相同數據。 例如,可能希望在頁面左側显示按優先級排序的任務,而在頁面右側显示按區域分組的任務。

3. 篩選

CollectionViewSource的View屬性類型為ICollectionView接口,它提供了Filter屬性用於實現數據的過濾。在這個例子里實現如下:

_viewSource.View.Filter = (obj) => (obj as Employee).DisplayName.ToLower().Contains(FilterElement.Text);

private void OnFilterTextChanged(object sender, TextChangedEventArgs e)
{
    if (_viewSource != null)
        _viewSource.View.Refresh();
}

這段代碼實現了當輸入框的文字改變時刷新View的功能。其中Refresh方法用於重新創建View,也就是刷新視圖。

ICollectionView還提供了一個DeferRefresh函數,這個函數用於進入延遲循環,該循環可用於將更改合併到視圖並延遲自動刷新,在需要多次操作並刷新數據量大的集合時可以用這個函數。

4. 高亮

<TextBox x:Name="FilterElement"
         TextChanged="OnFilterTextChanged"/>
<ListBox Name="EmployeeElement"
         Grid.Row="1"
         Height="200"
         Margin="0,8,0,0">
    <ListBox.ItemTemplate>
        <DataTemplate>
            <StackPanel Orientation="Horizontal">
                <TextBlock Text="{Binding DisplayName}"
                           kino:TextBlockService.HighlightText="{Binding ElementName=FilterElement,Path=Text}" />
            </StackPanel>
        </DataTemplate>
    </ListBox.ItemTemplate>
</ListBox>

UWP的高亮可以使用TextHighlighter這個類,實現起來很簡單。WPF中的高亮則是使用自定義的TextBlockService.HighlightText附加屬性聲明要高亮的文字,然後將TextBlock的Text替換為處理過的Inlines,使用方式如上。

private static void MarkHighlight(TextBlock target, string highlightText)
{
    var text = target.Text;
    target.Inlines.Clear();
    if (string.IsNullOrWhiteSpace(text))
        return;

    if (string.IsNullOrWhiteSpace(highlightText))
    {
        target.Inlines.Add(new Run { Text = text });
        return;
    }

    while (text.Length > 0)
    {
        var runText = string.Empty;
        var index = text.IndexOf(highlightText, StringComparison.InvariantCultureIgnoreCase);
        if (index > 0)
        {
            runText = text.Substring(0, index);
            target.Inlines.Add(new Run { Text = runText, Foreground = _noHighlightBrush });
        }
        else if (index == 0)
        {
            runText = text.Substring(0, highlightText.Length);
            target.Inlines.Add(new Run { Text = runText });
        }
        else if (index == -1)
        {
            runText = text;
            target.Inlines.Add(new Run { Text = runText, Foreground = _noHighlightBrush });
        }

        text = text.Substring(runText.Length);
    }
}

這是實現代碼。其實用Regex.Split代碼會好看很多,但懶得改了。
本來應該是高亮匹配的文字,但實際使用中發覺把未匹配的文字置灰更好看,就這樣實現了。

5. 結語

這篇文章介紹了使用CollectionViewSource實現的排序、篩選功能,以及使用附加屬性和Inlines實現高亮功能。

不過這樣實現的高亮功能有個問題:不能定義高亮(或者低亮)的顏色,不管在代碼中還是在XAML中。一種可行的方法是參考ToolTipService定義一大堆附加屬性,例如這樣:

<TextBox x:Name="FilterElement" 
         ToolTipService.ToolTip="Filter Text"
         ToolTipService.HorizontalOffset="10"
         ToolTipService.VerticalOffset="10"
         TextChanged="OnFilterTextChanged"/>

這種方式的缺點是這一大堆附加屬性會導致代碼變得很複雜,難以維護。ToolTipService還可以創建一個ToolTip類,把這個類設置為附加屬性的值:

<TextBox x:Name="FilterElement" 
         TextChanged="OnFilterTextChanged">
    <ToolTipService.ToolTip>
        <ToolTip Content="Filter Text"
                 HorizontalOffset="10" 
                 VerticalOffset="10"/>
    </ToolTipService.ToolTip>
</TextBox>

這種方式比較容易維護,但有人可能不明白ToolTipService.ToolTip屬性的值為什麼既可以是文本(或圖片等其它內容),又可以是ToolTip類型,XAML如何識別。關於這一點我在下一篇文章會講解,並且重新實現高亮的功能以支持Style等功能。

也可以參考SearchableTextBlock寫一個高亮的文本框,一了百了,但我希望通過這個有趣的功能多介紹幾種知識。

6. 參考

CollectionViewSource Class (System.Windows.Data) Microsoft Docs

TextBlock.Inlines Property (System.Windows.Controls) Microsoft Docs

A WPF Searchable TextBlock Control with Highlighting WPF

7. 源碼

TextBlockService.cs at master

【精選推薦文章】

自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司,幫您輕鬆架站!

評比前十大台北網頁設計台北網站設計公司知名案例作品心得分享

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

Jest — ElasticSearch Java 客戶端

1. 介紹

任何使用過Elasticsearch的人都知道,使用基於rest的搜索API構建查詢可能是單調乏味且容易出錯的。

在本教程中,我們將研究Jest,一個用於Elasticsearch的HTTP Java客戶端。Elasticsearch提供了自己原生的Java客戶端,然而 Jest提供了更流暢的API和更容易使用的接口。

2. Maven 依賴

我們需要做的第一件事是導入Jest庫到我們的POM文件中:

<dependency> <groupId>io.searchbox</groupId> <artifactId>jest</artifactId> <version>6.3.1</version> </dependency> 

Jest的版本是遵循Elasticsearch的主版本號的。
這將確保客戶端和服務端之間的兼容性。

通過包含Jest依賴項,相應的[Elasticsearch庫](https://search.maven.org/search?q=g:org.elasticsearch a:elasticsearch)將被包含為傳遞依賴項。

3. 使用Jest Client

在本節中,我們將研究如何使用Jest client執行Elasticsearch中的常見任務。

要使用Jest client,我們只需使用 JestClientFactory 創建一個 JestClient 對象。這些對象的創建開銷很高,而且是線程安全的,因此我們將創建一個可以在整個應用程序中共享的單例實例:

public JestClient jestClient() { JestClientFactory factory = new JestClientFactory(); factory.setHttpClientConfig( new HttpClientConfig.Builder("http://localhost:9200") .multiThreaded(true) .defaultMaxTotalConnectionPerRoute(2) .maxTotalConnection(10) .build()); return factory.getObject(); } 

這裏將創建一個Jest client,該客戶端連接到本地運行的Elasticsearch。雖然這個連接示例很簡單,但是Jest還完全支持代理、SSL、身份驗證,甚至節點發現。

JestClient 類是通用類,只有少數公共方法。我們將使用的一個主要方法是execute,它接受Action接口的一個實例。Jest客戶端提供了幾個構建器類來幫助創建與Elasticsearch交互的不同操作。

所有Jest調用的結果都是JestResult的一個實例。 我們可以通過調用 issucceeded 方法來檢查是否成功。對於失敗的操作,我們可以調用GetErrorMessage方法來獲取更多詳細信息:

JestResult jestResult = jestClient.execute(new Delete.Builder("1").index("employees").build()); if (jestResult.isSucceeded()) { System.out.println("Success!"); } else { System.out.println("Error: " + jestResult.getErrorMessage()); } 

3.1. 管理索引

檢查索引是否存在,我們使用IndicatesExists操作:

JestResult result = jestClient.execute(new IndicesExists.Builder("employees").build()) 

創建一個索引,我們使用CreateIndex操作:

jestClient.execute(new CreateIndex.Builder("employees").build()); 

這將創建一個具有默認設置的索引。我們可以在創建索引時覆蓋特定的設置:

Map<String, Object> settings = new HashMap<>(); settings.put("number_of_shards", 11); settings.put("number_of_replicas", 2); jestClient.execute(new CreateIndex.Builder("employees").settings(settings).build()); 

使用ModifyAliases操作創建或更改別名也很簡單:

jestClient.execute(new ModifyAliases.Builder( new AddAliasMapping.Builder("employees", "e").build()).build()); jestClient.execute(new ModifyAliases.Builder( new RemoveAliasMapping.Builder("employees", "e").build()).build()); 

3.2. 創建文檔

Jest client使用索引操作類索引或創建新文檔變得容易。Elasticsearch中的文檔只是JSON數據,有多種方法可以將JSON數據傳遞給Jest client 進行索引。

對於這個例子,讓我們使用一個虛構的僱員文檔:

{ "name": "Michael Pratt", "title": "Java Developer", "skills": ["java", "spring", "elasticsearch"], "yearsOfService": 2 } 

表示JSON文檔的第一種方法是使用Java字符串。雖然我們可以手動創建JSON字符串,但我們必須注意正確的格式、大括號和轉義引號字符。因此,更容易的方式是使用一個JSON庫(如Jackson)來構建我們的JSON結構,然後將其轉換為字符串:

ObjectMapper mapper = new ObjectMapper(); JsonNode employeeJsonNode = mapper.createObjectNode() .put("name", "Michael Pratt") .put("title", "Java Developer") .put("yearsOfService", 2) .set("skills", mapper.createArrayNode() .add("java") .add("spring") .add("elasticsearch")); jestClient.execute(new Index.Builder(employeeJsonNode.toString()).index("employees").build()); 

我們還可以使用Java Map 來表示JSON數據,並將其傳遞給索引操作:

Map<String, Object> employeeHashMap = new LinkedHashMap<>(); employeeHashMap.put("name", "Michael Pratt"); employeeHashMap.put("title", "Java Developer"); employeeHashMap.put("yearsOfService", 2); employeeHashMap.put("skills", Arrays.asList("java", "spring", "elasticsearch")); jestClient.execute(new Index.Builder(employeeHashMap).index("employees").build()); 

最後,Jest client 可以接受表示要索引的文檔的任何POJO。假設我們有一個Employee類:

public class Employee { String name; String title; List<String> skills; int yearsOfService; } 

我們可以把這個類的一個實例直接傳遞給Index builder:

Employee employee = new Employee(); employee.setName("Michael Pratt"); employee.setTitle("Java Developer"); employee.setYearsOfService(2); employee.setSkills(Arrays.asList("java", "spring", "elasticsearch")); jestClient.execute(new Index.Builder(employee).index("employees").build()); 

3.3. 讀取文檔

使用Jest client從Elasticsearch訪問文檔有兩種主要方法。首先,如果我們知道文檔ID,我們可以使用get操作直接訪問它:

jestClient.execute(new Get.Builder("employees", "17").build()); 

要訪問返回的文檔,我們必須調用其中一個getSource方法。我們可以將結果作為原始JSON獲取,或者將其反序列化為DTO:

Employee getResult = jestClient.execute(new Get.Builder("employees", "1").build()) .getSourceAsObject(Employee.class); 

訪問文檔的其他方法是使用搜索查詢,這種方式在Jest中是通過搜索操作實現的。

Jest client 支持全部的 Elasticsearch query DSL。 與索引操作一樣,查詢被表示為JSON文檔,並且有多種執行搜索的方法。

首先,我們可以傳遞一個表示搜索查詢的JSON字符串。提醒一下,我們必須確保字符串是正確轉義的,並且是有效的JSON:

String search = "{" + " \"query\": {" + " \"bool\": {" + " \"must\": [" + " { \"match\": { \"name\": \"Michael Pratt\" }}" + " ]" + " }" + " }" + "}"; jestClient.execute(new Search.Builder(search).build()); 

與上面的索引操作一樣,我們可以使用Jackson之類的庫來構建JSON查詢字符串。此外,我們還可以使用原生的Elasticsearch查詢操作API。這樣做的一個缺點是,我們的應用程序必須依賴於完整的Elasticsearch庫。

我們可以使用 getSource 方法來訪問搜索操作中匹配的文檔。然而,Jest還提供了Hit類,它包裝了匹配的文檔並提供有關結果的元數據。 使用Hit類,我們可以訪問每個結果的附加元數據:得分、路由和解釋結果,舉幾個例子:

List<SearchResult.Hit<Employee, Void>> searchResults = jestClient.execute(new Search.Builder(search).build()) .getHits(Employee.class); searchResults.forEach(hit -> { System.out.println(String.format("Document %s has score %s", hit.id, hit.score)); }); 

3.4. 更新文檔

Jest為更新文檔提供了一個簡單的Update操作:

employee.setYearOfService(3); jestClient.execute(new Update.Builder(employee).index("employees").id("1").build()); 

它接受與我們前面看到的索引操作相同的JSON表示,這使得在兩個操作之間共享代碼變得很容易。

3.5. 刪除文檔

從索引中刪除文檔是使用Delete操作完成的。它只需要索引名和文檔ID:

jestClient.execute(new Delete.Builder("17") .index("employees") .build()); 

4. 批量操作

Jest client 同樣支持批量操作。 這意味着我們可以通過同時發送多個操作來節省時間和帶寬。

使用批量操作,我們可以將任意數量的請求組合成單個調用。我們甚至可以將不同類型的請求組合在一起:

jestClient.execute(new Bulk.Builder() .defaultIndex("employees") .addAction(new Index.Builder(employeeObject1).build()) .addAction(new Index.Builder(employeeObject2).build()) .addAction(new Delete.Builder("17").build()) .build()); 

5. 異步操作

Jest client 同樣支持異步操作。 這意味着我們可以使用非阻塞I/O執行上述任何操作。

要異步調用操作,只需使用客戶端的executeAsync方法:

jestClient.executeAsync( new Index.Builder(employeeObject1).build(), new JestResultHandler<JestResult>() { @Override public void completed(JestResult result) { // handle result } @Override public void failed(Exception ex) { // handle exception } }); 

注意,除了(本例中是索引)操作之外,異步流還需要一個JestResultHandler。當操作完成時,Jest client 將調用該對象。該接口有兩個方法—完成和失敗—分別允許處理操作的成功或失敗。

6. 結論

在本教程中,我們簡要介紹了Jest client,一個用於Elasticsearch的RESTful Java客戶端。雖然我們只介紹了它的一小部分功能,但很明顯Jest是一個健壯的Elasticsearch客戶端。它的流暢的構建器類和RESTful接口使其易於學習,並且它對Elasticsearch接口的完全支持使其成為原生客戶端的一個有力的替代方案。

和往常一樣,本教程中的所有代碼示例都在我們的Github頁面上。

原文:https://www.baeldung.com/elasticsearch-jest

作者:Michael Pratt

譯者:huowolf/

【精選推薦文章】

智慧手機時代的來臨,RWD網頁設計已成為網頁設計推薦首選

想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計

帶您來看台北網站建置台北網頁設計,各種案例分享

廣告預算用在刀口上,網站設計公司幫您達到更多曝光效益