首頁 > Python教程 > Python應用 > Python開發教程:7個技巧的助力你的數據分析工作之路

Python開發教程:7個技巧的助力你的數據分析工作之路

時間:2019-10-29    作者:Perter Nistrup   來源:機器之心公眾號

如何提升數據分析能力?Peter Nistrup 根據自身經驗列出了 7 個有用工具。

本文列舉了一些提升或加速日常數據分析工作的技巧,包括:

1. Pandas Profiling

2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數據

3. IPython 魔術命令

4. Jupyter 中的格式編排

5. Jupyter 快捷鍵

6. 在 Jupyter(或 IPython)中使一個單元同時有多個輸出

7. 為 Jupyter Notebook 即時創建幻燈片

1. Pandas Profiling

該工具效果明顯。下圖展示了調用 df.profile_report() 這一簡單方法的結果:

使用該工具只需安裝和導入 Pandas Profiling 包。

本文不再詳述這一工具,如欲了解更多,請閱讀:

https://towardsdatascience.com/exploring-your-data-with-just-1-line-of-python-4b35ce21a82d

2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數據

「經驗豐富的」數據科學家或數據分析師大多對 matplotlib 和 pandas 很熟悉。也就是說,你只需調用 .plot() 方法,即可快速繪制簡單的 pd.DataFrame 或 pd.Series:

有點無聊?

這已經很好了,不過是否可以繪制一個交互式、可縮放、可擴展的全景圖呢?是時候讓 Cufflinks* *出馬了!(Cufflinks 基于 Plotly 做了進一步的包裝。)

在環境中安裝 Cufflinks,只需在終端中運行! pip install cufflinks --upgrade 即可。查看下圖:

效果好多了!

注意,上圖唯一改變的是 Cufflinks cf.go_offline() 的導入和設置,它將 .plot() 方法變為 .iplot()。

其他方法如 .scatter_matrix() 也可以提供非常棒的可視化結果:

需要做大量數據可視化工作的朋友,可以閱讀 Cufflinks 和 Plotly 的文檔,發現更多方法。

  • Cufflinks 文檔:https://plot.ly/ipython-notebooks/cufflinks/

  • Plotly 文檔:https://plot.ly/

3. IPython 魔術命令

IPython 的「魔術」是 IPython 基于 Python 標準語法的一系列提升。魔術命令包括兩種方法:行魔術命令(line magics):以 % 為前綴,在單個輸入行上運行;單元格魔術命令(cell magics):以 %% 為前綴,在多個輸入行上運行。下面列舉了 IPython 魔術命令提供的一些有用功能:

%lsmagic:找出全部命令

如果你只記得一個魔術命令,那必須得是這一個。執行 %lsmagic 命令將提供所有可用魔術命令的列表:

%debug:交互式 debug

這可能是我最常使用的魔術命令了。

大部分數據科學家都遇到過這種情況:執行的代碼塊一直 break,你絕望地寫了 20 個 print() 語句,想輸出每個變量的內容。然后,當你最終修復問題后,你還得返回并再次刪除所有 print() 語句。

不過以后再也不用這樣了。遇到問題后只需執行 %debug 命令,即可執行想要運行的任意代碼部分:

上圖中發生了什么?

  1. 我們有一個函數,它以列表為輸入,并對所有的偶數取平方值。

  2. 我們運行函數,但是出了些問題。但是我們并不知道怎么回事!

  3. 對該函數使用%debug 命令。

  4. 讓調試器告訴我們 x 和 type(x) 的值。

  5. 問題顯而易見:我們把'6'作為字符串輸入到函數中了!

這對于更復雜的函數非常有用。

%store:在 notebook 之間傳遞變量

這個命令也很酷。假設你花了一些時間清洗 notebook 中的數據,現在你想在另一個 notebook 中測試一些功能,那么你是在同一個 notebook 中實現該功能,還是保存數據并在另一個 notebook 中加載數據呢?使用%store 命令后,這些操作都不需要!該命令將存儲變量,你可以在其他任意 notebook 中檢索該變量:

  • %store [variable] 存儲變量。

  • %store -r [variable] 讀取/檢索存儲變量。

%who:列出所有全局變量。

你是否遇到過,為變量賦值后卻忘記變量名的情況?或者不小心刪掉了負責為變量賦值的單元格?使用%who 命令,你可以得到所有全局變量的列表:

%%time:計時魔法命令

使用該命令可以獲取所有計時信息。只需對任意可執行代碼應用%%time 命令,你就可以得到如下輸出:

%%writefile:向文件寫入單元格內容

在 notebook 中寫復雜函數或類,且想將其保存到專屬文件中時,該魔法命令非常有用。只需為函數或類的單元格添加 %%writefile 前綴和想要保存到的文件名即可:

如上所示,我們可以將創建的函數保存到 utils.py 文件中,然后就可以隨意導入了。在其他 notebook 中也可以這樣,只要與 utils.py 文件屬于同一個目錄即可。

4. Jupyter 中的格式編排

這個工具很酷!Jupyter 考慮到 markdown 中存在 HTML / CSS 格式。以下是我最經常使用的功能:

藍色、時尚:

    <div class="alert alert-block alert-info">   This is <b>fancy</b>!</div>

    紅色、輕微慌張:

      <div class="alert alert-block alert-danger"> This is <b>baaaaad</b>!</div>

      綠色、平靜:

        <div class="alert alert-block alert-success"> This is <b>gooood</b>!</div>

        下圖展示了它們的運行過程:

        當你想以 Notebook 格式呈現一些發現時,這非常有用!

        5. Jupyter 快捷鍵

        想了解和學習鍵盤快捷鍵,你可以使用命令面板:Ctrl + Shift + P,獲取 notebook 所有功能的列表。下面選取了幾個最基礎的命令:

        • Esc:進入命令模式。在命令模式內,你可以使用方向鍵在 notebook 內進行導航。

        在命令模式內:

        • A 和 B:在當前單元格上方(Above)或下方(Below)插入新的單元格。

        • M:當前單元格轉入 Markdown 狀態。

        • Y:當前單元格轉入 code 狀態。

        • D,D:刪除當前單元格。

        • Enter:當前單元格回到編輯模式。

           

        在編輯模式內:

        • Shift + Tab:為你在當前單元格中鍵入的對象提供文檔字符串(文檔),持續使用該快捷鍵,可循環使用文檔模式。

        • Ctrl + Shift + -:在光標所在處分割當前單元格。

        • Esc + F:查找并替換代碼(不包括輸出)。

        • Esc + O:切換單元格輸出。

        選擇多個單元格:

        • Shift + Down 和 Shift + Up:選中下方或上方的單元格。

        • Shift + M:合并選中單元格。

        注意,選中多個單元格后,你可以批量執行刪除/復制/剪切/粘貼/運行操作。

        6. 在 Jupyter(或 IPython)中使一個單元同時有多個輸出

        想展示 pandas DataFrame 的 .head() 和 .tail(),但由于創建運行 .tail() 方法的額外代碼單元過于麻煩而不得不中途放棄,你是否有過這樣的經歷?現在不用怕了,你可以使用以下代碼行展示你想展示的輸出:

          from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"

          下圖展現了多個輸出的結果:

          7. 為 Jupyter Notebook 即時創建幻燈片

          使用 RISE,你可以僅通過一次按鍵將 Jupyter Notebook 即時轉變為幻燈片。而且 notebook 仍然處于活躍狀態,你可以在展示幻燈片的同時執行實時編碼!

          要想使用該工具,你只需通過 conda 或 pip 安裝 RISE 即可。

            conda install -c conda-forge rise

            或者

              pip install RISE

              現在,你可以點擊新按鈕,為 notebook 創建不錯的幻燈片了:

              相關推薦
              Python數據分析:利用Flask動態展示 Pyecharts 圖表數據方法
              Python教程:數據分析模塊pandas用法詳解
              我用Python紀念了那些被爛片收割的智商稅!
              用Python爬取B站5000 條視頻,揭秘為何千萬人為它流淚!
              Python教程:如何用xlrd和xlwt庫讀和寫Excel表格?
              Python安裝MySQL-python:EnvironmentError的解決辦法
              分享:Python2和Python3有那些差異?
              Python 的內置對象都藏了哪些小秘密?
              實戰干貨!用案例讓你一文搞懂python網絡爬蟲
              Python教程:圖像處理模塊ndimage用法實例分析
              Python教程:代理IP爬蟲的使用方法
              Python教程:如何使用scipy模塊實現一維卷積運算示例?
              Python:關于內存分配時的那些小秘密分享
              python技巧:global關鍵字的用法詳解
              Python教程:深入了解python在HDA中的應用
              python技巧:SSLerror的requests證書問題解決方法
              PyCharm教程:搭建Spark開發環境的幾個步驟
              Python開發技巧:openpyxl讀取單元格字體顏色過程解析
              Python教程:面向對象之Web靜態服務器
              Python教程:如何為終端提供持久性歷史記錄
              Python技巧分享:自動登錄淘寶并保存登錄信息的方法
              python3教程:如何搭建微型的web服務器?
              python技巧:xlwt如何設置單元格的自定義背景顏色
              如何解決Python字符串和正則表達式中的反斜杠('\')問題?
              Python開發技巧:編寫一個簡單登錄功能過程解析
              Python編程:postman傳遞當前時間戳實例詳解
              Python爬蟲教程:使用beautifulSoup4爬取名言網案例代碼分享
              python開發:動態遷移solr數據過程分享
              python數據分析:用線性回歸預測股票價格的代碼分析
              Python3教程:pandas.merge用法詳解
              Python爬蟲案例:如何爬取豆瓣電影信息?附代碼實例
              python開發:如何編寫簡單端口掃描器?
              Django框架教程:Pagination分頁實現代碼實例
              python爬蟲實例:貓眼電影和電影天堂數據csv和mysql存儲過程

              精彩推薦

              熱門教程

              重庆时时开奖直播app 宁夏十一选五走势图宁 全天北京pk计划数据 北京时时彩的官网 江苏十一选五前组选 微信红包可以赚钱吗 杏彩首页 永利游戏app 迅雷赚钱宝 审核 360彩票网是正规的吗 贵州十一选五任五遗漏 合肥最赚钱的上市公司 名门彩票苹果 怎样利用niche赚钱 怎样写网文的赚钱 虚拟狗赚钱吗 彩票赚钱 q6170-7458盈