計算二進制形式中1的數量這種問題，在各種刷題網站上比較常見，以往都是選擇最笨的遍歷方法“矇混”過關。在了解Redis的過程中接觸到了variable precision SWAR算法（以下簡稱VP-SWAR算法），算法異常簡潔，是目前已知的同類方法中最快的。但如果對於位運算不是很熟悉的話，卻不一定容易理解，所以有必要記錄一下。

      下面先看看VP-SWAR算法的完整實現，然後再逐行解釋。

  public int vpSWAR(int i){
    i = (i & 0x55555555) + ((i>>1) & 0x55555555);
    i = (i & 0x33333333) + ((i>>2) & 0x33333333);
    i = (i & 0x0F0F0F0F) + ((i>>4) & 0x0F0F0F0F);
    i = (i * 0x01010101) >> 24;
    return i;
  }

      VP-SWAR算法分為四步，第一步

i = (i & 0x55555555) + ((i>>1) & 0x55555555);

      第一步的作用是計算每兩位為一組的二進制形式包含1的個數。要理解這句話，我們需要從二進制的角度看看到底發生了什麼。首先， 0x55555555 的二進製表示為 0101 0101 0101 0101 0101 0101 0101 0101 ，這個数字的規律是基數位為1，偶數位為0。為簡單起見，我們只考慮兩位，總共有四種情況，即：

       觀察發現， i & (0b01) 是i的基數位對應b的1位，i的偶數位對應着b的0位， i & (0b01) 的結果會將I的偶數位置為0，而基數位保持不變，得到的結果就是i的基數位包含1的個數。 (i >> 1) & 0x55555555 先將i右移一位，也就是將i的基數位對應b的0位，i的偶數位對應着b的1位，然後再與 0x55555555 按位與，計算出來的是i的偶數位包含1的個數。兩個計算結果相加就得到i每兩位為一組中包含的1的數量，我們最後需要的就是這每兩位一組的和。

      第二步是在第一步的基礎上，計算每四位為一組包含1的個數。按照每2位為一組分組用到了 0x55555555 這個數，那麼自然的，按照每4位為一組分組自然就需要 0b0011 這種形式，這就是使用 0x33333333 的原因。理論上， i & (0b0011) 總共有16種情況，但是四位二進制位最多包含4個1，用二進製表示為 0b0100 ，所以經過第一步之後，i最多有5種取值，如下：

      觀察發現， i & (0b0011) 得到的是i的低兩位包含的1的個數，  (i >> 2) & 0b0011 )得到的是i的高兩位包含的1的個數，兩個結果相加得到每四位包含的1的個數。注意，這裏並不是說任何數與 0b0011 按位與得到的都是低兩位包含的1的個數，這裏的前提是第一步的計算，因為經過第一步計算之後，每兩位包含多少個1已經記錄了下來，再和 0b0011 按位與才得到正確的結果。例如， 0x0010 & 0x 0011=0x0010 ，但是我們不能說 0x0010 包含兩個1，但是如果 0x0010 是經過第一步的計算得來，那才說明 0x0010 記錄原始數據低兩位有兩個1。

      第三步在第二步基礎上，計算每8位有多少個1，由 0x01 和 0x0011 ，很自然想到 0x00001111 ，其對應的32位的十六進制數就是 0x0F0F0F0F 。

      第四步就很有意思了，它不再是計算每16位包含1的個數，而是直接計算32位包含1的個數。對於32位的數來說，可以將其按每8位一組分為4組，分別用ABCD表示，例如 0x01020304 用這種形式表示為：

      假設 0x01020304 是經過前三步計算之後得到的結果，那麼要計算其總共包含多少個1，只需計算A+B+C+D。而ABCD表示的是不同的位區間範圍，不能直接相加，該如何快速計算A+B+C+D的值呢？這裏又用到了移位運算，將B、C、D分別左移8位、16位、24位，使其分別與A對齊：

       我們發現，將数字i分別左移0位、8位、16位、24位然後相加的結果，就是 i * 0x01010101 ，因為 i + (i << 8) + (i << 16) + (i << 24) = i * (1 + 1 << 8 + 1 << 16 + 1 << 24) = i * 0x01010101 。對於32位数字來說，左移之後超過32位的部分會被捨棄，低位補0，將左移之後得到的四個数字相加，結果的高8位的值就是原32位數包含的1的個數，要得到這個值，只需要將結果右移24位，將值放在低8位即可。

      到這裏，整個算法就結束了，右移的結果就是1的數量。在Redis中，BITCOUNT命令同時使用了查表法和VP-SWAR這兩種方法。當要計算的位數小於128位時，使用查表法，否則使用VP-SWAR算法。其中查表法的做法是，程序先存一個256長度的表，按順序記錄從0-255（即 0b00000000 – 0b11111111） 數中二進制1的個數，然後對於輸入參數每8位查一次表。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

計算機相關專業初識–對於計算機相關專業我們在迷茫什麼

前言

由於種種原因，迫使我寫下這篇博客，我相信，初入計算機相關專業的萌新肯定很迷茫，我該學什麼，我該如何去學，我該如何學好等等問題纏繞心頭。有很多學弟學妹問我該如何去學計算機相關專業，作為過來人，我決定將我的所知所得寫下來，讓初入計算機相關專業的萌新的學習之路走得更順暢一些。

一、什麼是計算機

對於剛學習計算機相關專業的萌新來說，了解一下計算機的工作原理是十分必要的，但是在這裏我們不過多闡述，讓大家簡單了解一下就好。

讓我們先來看一下對於計算機名詞的解釋：

計算機（computer）俗稱電腦，是現代一種用於高速計算的电子計算機器，可以進行數值計算，又可以進行邏輯計算，還具有存儲記憶功能。是能夠按照程序運行，自動、高速處理海量數據的現代化智能电子設備。

划重點：

• 我們注意到，計算機就是一種用於進行數值計算的現代化智能电子設備。需要理解的是為什麼是進行數值計算，在這裏，你會疑惑，為什麼是數值計算呢，我輸入的明明不是数字呀？這個問題很容易解釋清楚，因為計算機只是一種电子設備，它不具有人類獨立思考和不斷學習的能力，它的所有功能都是事先設定好的，所以當計算機面對輸入字符的時候，會將它統一按照ASCII（計算機編碼系統）規則轉換為數值“0”和“1”（二進制數值），所以，在計算機里，數據存儲都是用“0”和“1”（即二進制數值）來實現。

• 還有一點值得注意，按照程序運行，那麼問題來了，程序是什麼？程序就是一組計算機能識別和執行的指令， 它以某些程序設計語言編寫，運行於某種目標結構體繫上 。舉個例子，程序就像是用英語（程序設計語言，例如c，c++）寫的文章，要讓一個懂的英語的人（編譯器，如C的編譯器gcc，這裏要注意編譯器和IDE的區別，通常IDE包含編譯器）同時也會閱讀這篇文章的人（結構體系）來閱讀、理解、標記這篇文章。

有學妹問過我，為什麼簡單的代碼，能實現豐富的效果。其實這取決於編譯器的強大能力。下面來簡單介紹一下，編輯器，編譯器，IDE（集成開發環境）的區別。

• 編輯器：編輯器就是用來編輯的軟件，比如windows自帶的記事本就是一個編輯器， 記事本沒有語法高亮，不显示行號，當一段可執行代碼寫完后無法通過內置環境執行，必須手動輸入命令執行編譯等等一些弊端，所以很少有程序員會用記事本去寫代碼 ， 寫代碼比較好用的編輯器軟件有vscode，vim，sublime，notepad++，emacs，atom等等 ，雖然編輯器原始功能不足，但是開發人員為了使編輯器更加友好，所以有很多內置插件可供使用，完全可以手動打造一個IDE。
• 編譯器：簡單來說，編譯器就是將“一種語言（一般為高級語言，如c,c++,java,python等，計算機不可直接識別和執行）”翻譯為“另一種語言（一般為低級語言，低級語言即機器語言，機器語言是用二進制代碼錶示的計算機能直接識別和執行的一種機器指令的集合）”的程序。舉個例子，用Dev-C++寫好一段可執行"hello,world!"C語言代碼之後，我們要讓它在屏幕打印出來我們想要它輸出的"hello,world!"，就需要通過gcc編譯器執行編譯后才能显示。其他語言同理。
• IDE：集成開發環境，用於程序開發環境的應用程序，一般包含代碼編輯器、編譯器、調試器、圖像用戶界面等工具。集成了代碼編寫、程序分析、程序編譯、程序調試等功能。如 jetbrains 的用於Java開發的 IntelliJ IDEA 、用於JavaScript開發的WebStorm、用於Python開發Pycharm，微軟的 Visual Studio系列 ，IBM的Eclipse。

二、我們該學什麼

很多初入計算機相關專業的萌新，總是很迷茫，不知道自己該學什麼，通常是他們知道如何去學好學校開設的每一門課程，就是不知道自己該向哪些方向學習，這些方向指的是專業技能和就業方向，諸如web開發、Android/IOS開發、數據分析、人工智能、網絡安全、遊戲開發、軟件測試等等。有這種疑惑很正常，迷茫也是正常的，但我們總要讓自己了解自己所需，然後腳踏實地，一步一步去充實自己的能力。而我想做的也很簡單，就是幫助大家解除心裏的疑惑。那麼，我們開始進入正題。

1. 我們該如何選擇適合自己的方向

對於這個問題，其實是很難回答清楚的，因為每個人的興趣都不相同，所以就很難去站在自己的角度去回答疑問者的問題。但是，原理都是想通的，我相信我的經驗會幫助到你們。

• 通常，學校每學期都會開設一門或多門語言（程序設計語言，下文同），那麼，喜歡一門語言，首先要愛上它的語言風格，諸如Java的嚴謹，Python的自由，總有一款適合你；其次，在學習語言的過程中，一定要了解它能幹什麼，市場環境如何，工作崗位多少等綜合因素，再決定要不要去深入這門語言，並且主攻自己感興趣的那個方向。

• 對於學校沒有開設，但是自己又想學習的語言而言，該如何去選擇。首先，學校開設的語言基本是市場比較流行的語言，也符合市場需求，所以，完全可以在學校開設的語言中去選擇自己想要了解並學習的語言。此外，我們可以藉助 TIOBE （ TIOBE 編程社區指數是編程語言流行度的指標，該榜單每月更新一次，指數基於全球技術工程師、課程和第三方供應商的數量。包括流行的搜索引擎，如谷歌、必應、雅虎、維基百科、亞馬遜、YouTube 和百度都用於指數計算。 ）去了解語言的流行程度，流行程度決定市場需求，以此來參考自己想要了解並學習的語言，在此附上2019年11月語言排名。

2. 主流編程語言主要應用場景

• Java

  1. 企業級應用開發： 大到全國聯網的系統，小到中小企業的應用解決方案，Java都佔有極為重要的地位 。
  2. web後端開發： JSP+Servlet+JavaBean 是一種比較流行的開發模式。
  3. 移動領域：手機遊戲。
  4. Android App開發： android 開發只用到了JAVA的語法和JAVA SE的一小部分API。

• C

  C語言是一門基礎語言，是其他一些語言的基礎，例如MATLAB，Object-C，Lua等.同時也是學習來比較難的語言，達到精通的程度沒有3-10年左右很難，C語言沒有比較完善的開發框架，是面向過程的一門語言，講究算法跟邏輯。

  1. 科研
  2. 服務器： 網絡核心設備，如路由器、交換機、防火牆。
  3. 操作系統：類unix系統（Linux/freebsd）
  4. 嵌入式開發： 在一個特定的硬件環境上開發與構建特定的可編程軟件系統的綜合技術。
  5. 自動化控制

• Python

  1. 圖形處理
  2. 數學處理
  3. 文本處理
  4. 數據庫編程
  5. 網絡編程
  6. 多媒體應用
  7. pymo引擎： 運行於Symbian S60V3,Symbian S60V5,Symbian 3,Android，Windows，Linux，Mac Os，Maemo,MeeGo系統上的AVG遊戲引擎。
  8. 黑客編程
  9. 網絡安全

• C++

  1. 遊戲開發
  2. 科學計算
  3. 網絡軟件
  4. 操作系統
  5. 設備驅動程序
  6. 移動設備
  7. 嵌入式開發
  8. 科研
  9. 編譯器

• C#

  1. web後端開發
  2. 桌面軟件開發
  3. 人工智能
  4. 遊戲開發
• JavaScript
  唯一能用於前後端開發的語言web前端開發
  1. web前端開發
  2. node web後端開發
  3. 操作系統
  4. 後台
  5. 桌面軟件開發
  6. 混合App
  7. 小程序

• PHP

  1. web後端開發
  2. 桌面軟件開發
  3. 命令行腳本

• SQL

  1. 操作數據庫

• Swift

  1. 蘋果生態系統應用開發

• Ruby

  1. web開發

• R

  數據科學闖天下，左手Python右手R

  1. 機器學習
  2. 數據分析
  3. 科學計算

• Go

  1. web後端開發
  2. 高性能服務器應用

3. 主流編程語言學習路徑（將持續更新，僅供參考）

• JavaScript

4. 主流編程語言入門學習書籍推薦

5. 編程學習網站推薦

三、總結

通篇寫完，感覺自己也重新學到了很多，學習就是一個反覆複習的過程，每次學習都能帶給自己不一樣的收穫。希望以上內容可以給初入計算機相關專業的萌新帶來一些幫助，後面我會不斷更新和優化本文，請大家持續關注。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計

※不管是台北網頁設計公司、台中網頁設計公司，全省皆有專員為您服務

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※帶您來看台北網站建置，台北網頁設計，各種案例分享

首先是讀取數據集，並將csv中ExtractedBodyText為空的給去除掉

import pandas as pd
import re
import os

dir_path=os.path.dirname(os.path.abspath(__file__))
data_path=dir_path+"/Database/HillaryEmails.csv"
df=pd.read_csv(data_path)
df=df[['Id','ExtractedBodyText']].dropna()

對於這些郵件信息，並不是所有的詞都是有意義的，也就是先要去除掉一些噪聲數據：

def clean_email_text(text):
    text = text.replace('\n'," ") #新行，我們是不需要的
    text = re.sub(r"-", " ", text) #把 "-" 的兩個單詞，分開。（比如：july-edu ==> july edu）
    text = re.sub(r"\d+/\d+/\d+", "", text) #日期，對主體模型沒什麼意義
    text = re.sub(r"[0-2]?[0-9]:[0-6][0-9]", "", text) #時間，沒意義
    text = re.sub(r"[\w]+@[\.\w]+", "", text) #郵件地址，沒意義
    text = re.sub(r"/[a-zA-Z]*[:\//\]*[A-Za-z0-9\-_]+\.+[A-Za-z0-9\.\/%&=\?\-_]+/i", "", text) #網址，沒意義
    pure_text = ''
    # 以防還有其他特殊字符（数字）等等，我們直接把他們loop一遍，過濾掉
    for letter in text:
        # 只留下字母和空格
        if letter.isalpha() or letter==' ':
            pure_text += letter
    # 再把那些去除特殊字符后落單的單詞，直接排除。
    # 我們就只剩下有意義的單詞了。
    text = ' '.join(word for word in pure_text.split() if len(word)>1)
    return text

然後取出ExtractedBodyText的那一列，對每一行email進行噪聲過濾，並返回一個對象：

docs = df['ExtractedBodyText']
docs = docs.apply(lambda s: clean_email_text(s))  

然後我們呢把裏面的email提取出來：

doclist=docs.values

接下來，我們使用gensim庫來進行LDA模型的構建，gensim可用指令pip install -U gensim安裝。但是，要注意輸入到模型中的數據的格式。例如：將[[一條郵件字符串]，[另一條郵件字符串], ...]轉換成[[一，條，郵件，在，這裏],[第，二，條，郵件，在，這裏],[今天，天氣，腫么，樣],...]。對於英文的分詞，只需要對空白處分割即可。同時，有些詞語（不同於噪聲）是沒有意義的，我們要過濾掉那些沒有意義的詞語，這裏簡單的寫一個停止詞列表：

stoplist = ['very', 'ourselves', 'am', 'doesn', 'through', 'me', 'against', 'up', 'just', 'her', 'ours',
            'couldn', 'because', 'is', 'isn', 'it', 'only', 'in', 'such', 'too', 'mustn', 'under', 'their',
            'if', 'to', 'my', 'himself', 'after', 'why', 'while', 'can', 'each', 'itself', 'his', 'all', 'once',
            'herself', 'more', 'our', 'they', 'hasn', 'on', 'ma', 'them', 'its', 'where', 'did', 'll', 'you',
            'didn', 'nor', 'as', 'now', 'before', 'those', 'yours', 'from', 'who', 'was', 'm', 'been', 'will',
            'into', 'same', 'how', 'some', 'of', 'out', 'with', 's', 'being', 't', 'mightn', 'she', 'again', 'be',
            'by', 'shan', 'have', 'yourselves', 'needn', 'and', 'are', 'o', 'these', 'further', 'most', 'yourself',
            'having', 'aren', 'here', 'he', 'were', 'but', 'this', 'myself', 'own', 'we', 'so', 'i', 'does', 'both',
            'when', 'between', 'd', 'had', 'the', 'y', 'has', 'down', 'off', 'than', 'haven', 'whom', 'wouldn',
            'should', 've', 'over', 'themselves', 'few', 'then', 'hadn', 'what', 'until', 'won', 'no', 'about',
            'any', 'that', 'for', 'shouldn', 'don', 'do', 'there', 'doing', 'an', 'or', 'ain', 'hers', 'wasn',
            'weren', 'above', 'a', 'at', 'your', 'theirs', 'below', 'other', 'not', 're', 'him', 'during', 'which']

然後我們將輸入轉換成gensim所需的格式，並過濾掉停用詞：

texts = [[word for word in doc.lower().split() if word not in stoplist] for doc in doclist]

再將這所有的單詞放入到一個詞袋中，把每個單詞用一個数字index指代：

from gensim import corpora, models, similarities
import gensim
dictionary = corpora.Dictionary(texts)

再分別統計每一篇email中每個詞語在這個詞袋中出現的次數，並返回一個列表：

corpus = [dictionary.doc2bow(text) for text in texts]

 這個列表告訴我們，第14（從0開始是第一）個郵件中，一共6個有意義的單詞（經過我們的文本預處理，並去除了停止詞后）其中，51號單詞出現1次，505號單詞出現1次，以此類推。。。

最後，就可以開始構建我們的模型了：

lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20)
print(lda.print_topic(10, topn=5))

 可以看到，第11個主題最常用的單詞，接下來，我們看下所有的主題：

for i in lda.print_topics(num_topics=20, num_words=5):
    print(i)

 我們再看下第一篇email屬於哪一個主題：

print(lda.get_document_topics(corpus[0]))

 屬於第四個主題的概率是0.95

相關代碼和數據：鏈接: https://pan.baidu.com/s/1sl1I5IeQFDHjVwf2a0C89g 提取碼: xqqf 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※南投搬家前需注意的眉眉角角，別等搬了再說!