最近在學習機器學習的過程中,常常需要將本地寫的代碼傳到GPU服務器中,然后在服務器上運行。之前的做法一直是先在本地寫好代碼,然后通過FileZilla這樣的文件傳輸工具來將寫好的文件傳到服務器,再通過ssh工具遠程連接到服務器,執行相應的python腳本。這樣的方式十分繁瑣,效率很低。今天聽到朋友提到了配置遠程解釋器
使用場景
先說說自己的使用場景,我是在什么情況下,需要將IDE配置成這樣的環境來方便我的工作。
首先,我需要在本地機子上寫python代碼,但是因為是機器學習相關的一些代碼,有時候本機跑可能會很慢,或者根本跑不下來。而此時,我還有一臺可用的服務器,上面配置了相應的python3環境和相應的機器學習庫,比如tensorflow,keras,tflearn等等。因此通常需要將本地寫好的代碼上傳到服務器上,在服務器上運行。由于代碼能力渣渣,所以常常需要反復修改代碼,而直接在服務器上修改代碼不是很方便。因此,我希望可以像下面一樣操作:
- 我在服務器上有一個工作目錄,我希望可以直接在我本地機子上修改工作目錄下面的代碼文件
- 因為Pycharm可以配置遠程python解釋器,所以我希望可以直接在本地的機子上運行修改的代碼,并且直接在本地機子查看運行的結果,而不用ssh到遠程服務器在執行代碼。
- 具體來說就是,我可以直接在本地上編寫代碼,然后直接點擊pycharm的綠色小三角執行代碼,并且這個執行是由遠程服務器的python解釋器執行的,而不是在我本地機子上配置的python環境下執行。
配置過程
本機環境
操作系統:win10
IDE:Pycharm
遠程服務器
操作系統:ubuntu14.04
配置了ssh,可以使用ssh進行遠程登陸
配置Deployment
首先,在pycharm的菜單欄依次找到:Tools > Deployment > Configuration.
然后可以看到如下的配置頁面,具體各配置在圖片中說明:
然后打開Deployment的Mapping選項卡:
這樣,Deployment的配置就完成了。這個配置完成了之后,其實是相當于配置了一個ftp工具可以連接到服務器上,從而可以查看和修改服務器上的文件。你可以通過Tools > Deplotment > Browse Remote Host來打開相應的RemoteHost面板,這個面板顯示的就是服務器上的文件,顯示的范圍是你在Deployment中的Connection選項卡下配置的Root path路徑下的文件及文件夾。
你可以直接在RemoteHost面板里雙擊某個文件并且直接進行編輯。雙擊某個文件后你可以看到編輯區域的頂部有一個橫條,并且橫條的右邊有三各按鈕,分別是比較,撤銷和上傳操作。你在這里面編輯文件之后,可以直接點擊上傳按鈕,就會提交到服務器了。但是其實不推薦直接在這里修改代碼,后面的使用流程會說到。
以上的配置,就可以直接在PyCharm里看到服務器上的文件,我感覺就像是直接在IDE里集成了一個FTP傳輸工具。
配置遠程python解釋器
這里主要講的是如何配置遠程python解釋器。
首先,通過File > Settings,打開設置選項卡。
在設置選項卡里,點擊"Project:項目名"這個按鈕,在展開的小項里再點擊Project Interpreter,右邊就會變成Interpreter的配置頁面。
點擊Interpreter配置頁面的小此輪按鈕,然后再選擇add Remote。
彈出如下彈窗并配置相應的信息。
經過以上步驟,你的遠程解釋器就配置好了。這時,你就可以直接點擊小三角按鈕,調用遠程服務器上的python解釋器來運行代碼。但是在此,你還需要看看下面的使用流程。如果你直接雙擊RemoteHost面板里的文件,然后點擊小三角運行是會報錯的,可能會提示:
No such file or directory
在配置中也參考了很多其他文章,但是有些文章還是沒有講清楚具體的流程,因此我把自己認為可能“正確”的流程記錄一下。
在介紹Deployment配置的時候,我們講到了Mapping選項卡的配置。這個配置將本地的一個路徑映射成了服務器上的一個路徑,因此,在這個文件夾下的文件和服務器上的文件是同步的,當然,需要你在本地修改的時候upload到服務器或者設置自動upload。
在這里,我的mapping配置如下:
local path | Deployment path on server |
---|---|
E:\workspace\remotespace | xxxx/workspacexhh |
首先,我們在pycharm中通過 File > open... 來打開一個新的項目,項目路徑就選擇上面的local path路徑。
在Project窗口中就可以看到打開了這個項目,當前這個項目還是空的,里面什么也沒有。
然后,我們打開RemoteHost小窗口,在test.py文件上右鍵,再選擇Download from Here,文件就會下載到本地了。返回到Project小窗口,就可以看到test.py。其他的文件類似,如果有父目錄,他會將父目錄也一起下載下來,所以文件和路徑都會和服務器保持一致。
這樣,你就可以在本地編輯test.py文件。
在編輯完成后,你可以在文件上右鍵或者直接在編輯區域右鍵,選擇upload to... 將文件上傳到服務器,這樣就可以更新服務器端的代碼了,并且保持了和本地代碼一致。
此時,點擊綠色小三角運行代碼,可以看到相應的輸出。但是看看控制臺的輸出,可以發現,python解釋器不是本地的,而跑的文件也不是本地。
上面就是整個從服務器下載文件至本地,在本地修改文件,將文件上傳至服務器,然后直接在本地運行的整個過程。
在這個過程中,也可以發現,經過這樣的配置,我們的代碼現在一共有三個版本:一個是本地代碼,一個是服務器上的代碼,還有一個是RemoteHost面板中的代碼(這個地方的代碼如果直接編輯了,其實也可以提交到服務器,但是不能直接運行)
所以,如果通過上面的配置進行遠程調試的話,我認為大致流程應該是下面這樣:
- 在RemoteHost面板中,選中想要修改的代碼,然后右鍵點擊Download from here將內容下載至本地(這個本地是你在配置Deployment時設置的本地文件夾)。
- 在本地(這個本地是你在配置Deployment時設置的本地文件夾)修改你的代碼,修改完成后在編輯區域或者文件名上右鍵,選擇upload to...來提交到服務器。
- 在提交之后,你可以像普通調用本地解釋器一樣的直接運行本地的這個文件(但其實運行的是服務器的文件)
在這里,雖然RemoteHost里的文件可以直接編輯,但是并不建議這么做,因為這里編輯之后并不能直接運行。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
