數據工程師需要掌握的18個Python庫
目錄
- 數據獲取
- Selenium
- Scrapy
- Beautiful Soup
- 數據清洗
- Spacy
- NumPy
- Pandas
- 數據可視化
- Matplotlib
- Pyecharts
- 數據建模
- Scikit-learn
- PyTorch
- TensorFlow
- 模型檢查
- Lime
- 音頻數據處理
- Librosa
- 圖像數據處理
- OpenCV-Python
- Scikit-image
- 數據通信
- Pymongo
- 數據分析結果web部署
- Flask
- Django
數據獲取
Selenium
Selenium是一個Web測試自動化框架，最初是為軟件測試人員創建的。它提供了Web驅動程序API，供瀏覽器與用戶操作交互并返回響應。它運行時會直接實例化出一個瀏覽器，完全模擬用戶的操作，比如點擊鏈接、輸入表單，點擊按鈕提交等。所以我們使用它可以很方便的來登錄網站和爬取數據。
可以使用 brew install selenium 的方式來快速安裝selenium。
數據獲取
Scrapy
Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結構化的數據。其吸引人的地方在于任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支持。我們可以啟用選擇器（例如XPath，CSS）從網頁中提取數據。
我們需要先安裝Twisted，因為直接安裝scrapy的話，安裝會失敗。所以使用 pip install Twisted-18.9.0-cp37-cp37m-win32.whl 來安裝，然后使用pip install scrapy 來安裝scrapy就可以了
數據獲取
Beautiful Soup
Beautiful Soup也是一個從網站爬取數據的庫，他提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數據，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。
可以使用 brew install beautifulsoup4 的方式來快速安裝bf4。
數據清洗
Spacy
spacy可以用于進行分詞，命名實體識別，詞性識別等等，最核心的數據結構是Doc和Vocab。Doc對象包含Token的序列和Token的注釋，Vocab對象是spaCy使用的詞匯表，用于存儲語言中共享的數據，spaCy通過集中存儲字符串，單詞向量和詞匯屬性等，避免存儲數據的多個副本。
數據清洗
NumPy
NumPy(Numerical Python) 是 Python 語言的一個擴展程序庫，支持大量的維度數組與矩陣運算，此外也針對數組運算提供大量的數學函數庫。對數組執行數學運算和邏輯運算時，NumPy 是非常有用的。在用 Python 對 n 維數組和矩陣進行運算時，NumPy 提供了大量有用特征。
數據清洗
Pandas
pandas 是基于NumPy 的一種工具，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。pandas提供了大量能使我們快速便捷地處理數據的函數和方法。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。
數據可視化
Matplotlib
matplotlib是受MATLAB的啟發構建的。MATLAB是數據繪圖領域廣泛使用的語言和工具。MATLAB語言是面向過程的。利用函數的調用，MATLAB中可以輕松的利用一行命令來繪制，然后再用一系列的函數調整結果。它有一套完全仿照MATLAB的函數形式的繪圖接口，在matplotlib.pyplot模塊中。這套函數接口方便MATLAB用戶過度到matplotlib。
數據可視化
Pyecharts
Echarts 是一個由百度開源的數據可視化工具，憑借著良好的交互性，精巧的圖表設計，得到了眾多開發者的認可，當 Python 遇到了 Echarts，就變成了 PyEcharts，目的就是為了與 Python 進行對接，方便在 Python 中直接使用數據生成圖。
數據建模
Scikit-learn
scikit-learn包含眾多頂級機器學習算法，主要有六大基本功能，分別是分類、回歸、聚類、數據降維、模型選擇和數據預處理。scikit-learn擁有非常活躍的用戶社區，基本上其所有的功能都有非常詳盡的文檔供用戶查閱。可以研讀scikit-learn的用戶指南及文檔，對其算法的使用有更充分的了解。
數據建模
Pytorch
PyTorch是美國互聯網巨頭Facebook在深度學習框架Torch的基礎上使用Python重寫的一個全新的深度學習框架，它更像NumPy的替代產物，不僅繼承了NumPy的眾多優點，還支持GPUs計算，在計算效率上要比NumPy有更明顯的優勢；不僅如此，PyTorch還有許多高級功能，比如擁有豐富的API，可以快速完成深度神經網絡模型的搭建和訓練。
數據建模
Tensorflow
TensorFlow是一個采用數據流圖（data flow graphs），用于數值計算、機器學習、神經網絡的開源軟件庫。節點（Nodes）在圖中表示數學操作，圖中的線（edges）則表示在節點間相互聯系的多維數據數組，即張量（tensor）。它靈活的架構讓你可以在多種平臺上展開計算，例如臺式計算機中的一個或多個CPU（或GPU），服務器，移動設備等等。
模型檢查
Lime
LIME能夠解釋所有我們可以獲得預測概率的模型(在R中，也就是每一個與預測(type=“prob”)一起工作的模型)。它利用了這樣一個事實，即線性模型很容易解釋，因為它們基于特征和類標簽之間的線性關系：將復模型函數用局部擬合線性模型逼近原訓練集的排列。
音頻數據處理
Librosa
librosa是一個非常強大的python語音信號處理的第三方庫，用于音頻、音樂分析、處理和些常見的時頻處理、特征提取、繪制聲音圖形等功能應有盡有，功能十分強大。學會librosa后再也不用用python去實現那些復雜的算法了，只需要一句語句就能輕松實現。
圖像數據處理
OpenCV
OpenCV是計算機視覺領域應用最廣泛的開源工具包，基于C/C++，支持Linux/Windows/MacOS/Android/iOS，并提供了Python，Matlab和Java等語言的接口，因為其豐富的接口，優秀的性能和商業友好的使用許可，不管是學術界還是業界中都非常受歡迎。
可以在 anaconda 中來安裝OpenCV
圖像數據處理
Scikit-imag
scikit-image 是一種開源的用于圖像處理的 Python 包。它包括分割，幾何變換，色彩操作，分析，過濾等算法。它用作集成到python運算環境結合一些科學運算庫（Numpy，Scipy)
安裝sudo apt-get install python-skimage
源碼 git clone https://github.com/scikit-image/scikit-image.git
數據庫相關
Pymongo
MongoDB是由C++語言編寫的非關系型數據庫，是一個基于分布式文件存儲的開源數據庫系統，其內容存儲形式類似JSON對象，它的字段值可以包含其他文檔、數組及文檔數組，非常靈活。而要使用python進行操作就需要pymongo。
安裝pip3 install pymongo
連接client = pymongo.MongoClient(host='localhost', port='ip')
數據分析結果可視化部署
Flask
Flask是一個輕量級的可定制框架，使用Python語言編寫，較其他同類型框架更為靈活、輕便、安全且容易上手。另外，Flask還有很強的定制性，用戶可以根據自己的需求來添加相應的功能，在保持核心功能簡單的同時實現功能的豐富與擴展，其強大的插件庫可以讓用戶實現個性化的網站定制，開發出功能強大的網站。
數據分析結果可視化部署
Django
Django是高水準的Python編程語言驅動的一個開源模型．視圖，控制器風格的Web應用程序框架，它起源于開源社區。使用這種架構，程序員可以方便、快捷地創建高品質、易維護、數據庫驅動的應用程序。另外，在Django框架中，還包含許多功能強大的第三方插件，使得Django具有較強的可擴展性。
安裝pip install Django
文檔 https://docs.djangoproject.com/en/3.0/
