亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

caffe安裝2

系統 1682 0

? 洋洋灑灑一大篇,就沒截圖了,這幾天一直在折騰這個東西,實在沒辦法,不想用Linux但是,為了Caffe,只能如此了,安裝這些東西,遇到很多問題,每個問題都要折磨很久,大概第一次就是這樣的。想想,之后應用,應該還會遇到很多問題吧,不過沒辦法了,騎虎難下!!這里有個建議是,如果將來要做大數據集,最好事先給Linux留多點空間,比如Imagenet,估計500G都不為過。另外,請閱讀完,至少一個部分再進行動手操作,避免多余的工作,寫作能力有限,盡請見諒。
??????? 這篇安裝指南,適合零基礎,新手操作,請高手勿要吐槽!??
??????? 簡單介紹一下: Caffe ,一種Convolutional Neural Network的工具包,和Alex的 cuda-convnet 功能類似,但各有特點。都是使用C++?CUDA進行底層編輯,Python進行實現,原作不屬于Ubuntu 12,也有大神發布了Windows版,但其他相關資料較少,不適合新手使用,所以還是Ubuntu的比較適合新手。(相對而言)

?????? 本文主要包含5個部分,包括:
第一部分 Linux安裝
第二部分 nVidia驅動和CUDA Toolkit的安裝和調試
第三部分 Caffe的安裝和測試
第四部分 Python安裝和調試
第五部分 Matlab安裝和調試?????

  • 第一部分 Linux安裝
? ? ?Linux的安裝,如果不是Linux粉,只是必須,被迫要用它來作作科研什么的,建議安裝成雙系統,網上方法很多,這里我就不詳細寫了,安裝還算是傻瓜式的,和windows的過程類似,至于語言,如果覺得難度還不夠大的話,完全可以裝E文版的,甚至日文,德文~~~,我是裝的簡體中文版,我總共用分出的100G的空間來安裝Ubuntu 14.04,這個版本是最新的版本,有個好處是,可以直接訪問Windows8.1的NTFS分區,不用做額外的操作,而且支持中文,例如:$ cd /media/yourname/分區名字/文件夾名,當然GUI就更方便了
我的分區設置如下:
根分區: \ ?50G,
Swap交換分區:16G ,這里,我設置和我的內存一樣,據說小于16G的內存,就設置成內存的1.5-2倍
Home分區:剩余的34G
? ? ? ?裝好之后,重啟電腦,有的人會直接進Linux,有的會直接Windows,谷歌或者百度解決方法吧,因為我也說不清這個具體怎么搞定。
我的臺式機,搞定了,可是筆記本,把Windows分區也給破壞了,最后只能重裝Windows 8.1,但因為筆記本沒有nVidia的GPU所以不想再折騰了。
PS: 其實到現在感覺空間可能小了, 想想Imagenet 137G的訓練文件,覺得應該把Home設置成300-500G以上,會更合適吧。下次安裝的時候,再改了,現在暫時不想動了。
PS:今天還是重新裝了,把home分區擴大到500G。所以建議真的要大數據實驗的小伙伴,也趁早考慮。
?
PS: Ubuntu下訪問網頁總是很慢,讓我深感它和Windows的差距,可是為什么還是有那么多人向往它呢?下面的辦法可以解決部分訪問的問題,特別是國外的網站,但是遇到一些調用了被墻的網站的東西,比如google的字體,還是沒辦法,仍然會在哪里轉圈圈。這里似乎是操作系統的機制引起,Windows的瀏覽器會忽略那些錯誤,而Ubuntu下的瀏覽器會不停嘗試。廢話少說,部分問題的解決辦法:
$ sudo apt-get install dnsmasq
$ ?sudo?gedit?/etc/dnsmasq.conf
找到?# resolv-file=
修改為:resolv-file=/etc/resolv.dnsmasq.conf
$ ?sudo?cp?/etc/resolv.conf?/etc/resolv.dnsmasq.conf ?
$? sudo?gedit?/etc/resolv.conf
刪除所有域名服務器,保留:nameserver?127.0.0.1
?
?
  • 第二部分:nVidia驅動和CUDA Toolkit的安裝和調試
PS:這里其實可以參考nVidia 官方提供的CUDA安裝手冊,非常相近,32頁的,不過是全英文的,我就是參考這個文檔完成后面的配置和驗證工作。 https://developer.nvidia.com/rdp/cuda-65-rc-toolkit-download#linux 。一般要輸入你的用戶名和密碼,就是下載6.5的那個賬號。
一、Verify You Have a CUDA-Capable GPU
執行下面的操作,然后驗證硬件支持GPU CUDA,只要型號存在于 https://developer.nvidia.com/cuda-gpus ,就沒問題了
$ lspci | grep -i nvidia

二、Verify You Have a Supported Version of Linux
$ uname -m && cat /etc/*release
重點是“x86_64”這一項,保證是x86架構,64bit系統

三、Verify the System Has gcc Installed
$ gcc --version
沒有的話就先安裝吧,這個是必須的用來編譯CUDA Toolkit,不過Ubuntu 14.04是默認有的

四、Download the NVIDIA CUDA Toolkit
$ md5sum <filename>
例如: md5sum cuda_6.5.11_rc_linux_64.run ?,這個文件的正確?md5 = a47b0be83dea0323fab24ca642346351
這個感覺蠻重要,我第一次安裝的時候md5就沒通過,強制安裝,結果就有問題,后面重新下載了再安裝了一次

五、Handle Conflicting Installation Methods
根據官網介紹,之前安裝的版本都會有沖突的嫌疑
所以,之前安裝的Toolkit和Drievers就得卸載,屏蔽,等等

六、Graphical Interface Shutdown
退出GUI,也就是X-Win界面,操作方法是:同時按:CTRL+ALT+F1(F2-F6),切換到TTY1-6命令行模式。
關閉桌面服務:
$ sudo stop lightdm

七、Interaction with Nouveau
Nouveau是一個開源的顯卡驅動,Ubuntu 14.04 默認安裝了,但是它會影響nVidia驅動的安裝,所以只有請他回老家了,sorry!

1. 將nouveau添加到黑名單,防止它啟動

$ cd /etc/modprobe.d
$ sudo vi nvidia-graphics-drivers.conf
?
寫入:blacklist nouveau
保存并退出: wq!
檢查:$ cat nvidia-graphics-drivers.conf
?

2. 對于:/etc/default/grub,添加到末尾。
$ sudo vi? /etc/default/grub
末尾寫入:rdblacklist=nouveau nouveau.modeset=0
保存并退出: wq!
檢查:$ cat /etc/default/grub
?

3. 官網提供的操作:
$ sudo mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img
然后重新生成initrd文件
$?sudo dracut /boot/initramfs-$(uname -r).img $(uname -r)
$?sudo update-initramfs -u?
?
上面那條是nVidia官方提供的命令,不知道為什么在我這里會提示dracut是不存在的命令,也許是版本問題,或者少了什么包,不過無所謂,第二條命令也可以搞定,應該是一樣的功能。(如果我理解錯誤,歡迎小朋友們指教,我會改正)
PS:其實,這一連串的工作,有點沒搞懂,因為有的命令和文件不存在。原理理解了,但是步驟還是有點模糊,不過,我是照上面的操作完成了,后面的也沒出問題,應該應付過去了吧。

八、Installation
鑒于安裝過程中遇到的一些問題和啟示,建議先安裝官方最新版的顯卡驅動,然后再安裝CUDA,這里可能是CUDA內置的驅動不太完整,或者適應性差了一點。GTX顯卡驅動的下載地址如下(Tesla版的驅動,請大家自己去nVidia的官網下載):
下載地址: http://www.geforce.cn/drivers
$ sudo sh? ./ NVIDIA-Linux-x86_64-340.24.run
?

切換到cuda_6.5.11_rc_linux_64.run 所在的目錄,然后執行安裝命令:
$ sudo sh cuda_6.5.11_rc_linux_64.run
再次提醒,安裝前一定要執行 md5sum ,我第一次安裝就是執行了,發現不一樣,然后沒有理它直接安裝,導致安裝的Sumary里顯示Driver成功,Toolkit和Samples失敗,第二次在裝就好了。

至于如果發現md5檢測不一致,怎么辦?別逗了,去nVidia重新下載就行了,地球人都知道,別無限循環就好^_^!

這里會一路問你各種問題,基本上就是Accept-yes-Enter-yes-Enter-yes-Enter, ?其實就是讓你接受協議,然后安裝的默認位置確認等等,recruit就別自定義安裝位置了,默認才是天堂。
安裝完會提示丟失了四個庫:libGLU.so, libx11.so, libxmu.so, libxi.so 這個木有關系,下一步就是解決這個問題的。
?
九、Extra Libraries
安裝一些必要的庫文件,譬如:OpenGL (e.g., Mesa), GLU, GLUT, and X11 (including Xi, Xmu, and GLX).
$ sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
這個可以切換到GUI界面在操作,要不然那些提示信息,都是亂碼,什么都看不懂,不過如果你的系統是E文的,這句話忽略。
這里,保證網絡不要中斷就行了,吐槽一下:該死的銳捷認證,這Ubuntu都出到14.04了,你12版本的客戶端還沒出來,害我之前折騰了1整天網絡,現在被迫淪落到蹭網族,有點想吐的感覺!!!!

十、驅動裝完了,可以回到GUI界面了,也可以繼續留這里玩文本。。。
$ sudo start lightdm
?

十一、POST-INSTALLATION ACTIONS
這一步就是驗證一下安裝是否正確,編譯和完成以下CUDA自帶的程序,建議做一下~
1. Environment Setup
$ export PATH=/usr/local/cuda-6.5/bin:$PATH
$ export LD_LIBRARY_PATH=/usr/local/cuda-6.5/lib64:$LD_LIBRARY_PATH

2. (Optional) Install Writable Samples
$ cuda-install-samples-6.5.sh <dir>
安裝到Home下,搞定了之后可以在GUI下調整一下,主要是前面的要求,會有一個Sample的文件夾 NVIDIA_CUDA-6.5_Samples在Home的根目錄下就ok了。因為后面編譯測試各方面什么的方便。其實如果之前安裝CUDA驅動和Toolkit一切正常,這一步基本可以省略,應該會自動建立,但檢查一下無妨。

3. Verify the Installation
a. 驗證驅動的版本,其實主要是保證驅動程序已經安裝正常了
$ cat /proc/driver/nvidia/version
b. Compiling the Examples
$ nvcc -V
不出意外的話應該會提示,nvcc沒有安裝,其實就是,nvidia-cuda-toolkit的編譯器沒有安裝完整,總之,根據提示繼續就好了
$ sudo apt-get install nvidia-cuda-toolkit
我這里還差接近400MB的文件要下載,它是全自動的,所以只要保證網絡暢通,一杯咖啡在手,然后就可以XXX了。可悲的是,我這里天色已晚,隔壁的Wifi也斷了,筆記本的360隨身Wifi連上一會也斷了,只有收東西回宿舍,明天再繼續了。看看表,靠,00:03,今天打卡時間又錯過了。

次日,這里安裝完,就可以編譯了,切換目錄到~/NVIDIA_CUDA-6.5_Samples,記性沒問題的話,應該還記得它是安裝在Home文件夾的,穿越過去就好了,然后執行:
$ cd /home/username/NVIDIA_CUDA-6.5_Samples
$ make
?

c. Running the Binaries
運行編譯好的文件,看看設備的基本信息和帶寬信息:
$ cd /bin/x86_64/linux/release
$ ./deviceQuery
$?./bandwidthTest

?PS:如果測試的時候出現說運行版驅動和實際驅動不符(英文原文不記得了,沒記下來),原因可能是因為后面安裝的nvidia-cuda-toolkit更新了配置文件,所以和原始的Cuda-Samples的配置或者是驅動程序有變化,所以檢測無法編譯通過。考慮下面的解決方法:
1. 卸載現有驅動
$ sudo nvidia-installer --uninstall?
2. 下載合適版本的驅動,并安裝:
下載地址: http://www.geforce.cn/drivers
$ sudo sh? ./ NVIDIA-Linux-x86_64-340.24.run
3. 重裝CUDA Toolkit
$ ?sudo sh cuda_6.5.11_rc_linux_64.run
?好了,到這里所有nVidia CUDA的安裝就結束了,下面看看Caffe如何安裝
  • 第三部分 Caffe的安裝和測試
對于Caffe的安裝嚴格遵照官網的要求來: http://caffe.berkeleyvision.org/installation.html

一、安裝BLAS,這里可以選擇(ATLAS,MKL或者OpenBLAS),我這里使用MKL,首先下載并安裝英特爾? 數學內核庫 Linux* 版MKL,下載鏈接是: https://software.intel.com/en-us/intel-education-offerings ,可以下載Student版的,先申請,然后會立馬收到一個郵件(里面有安裝序列號),打開照著下載就行了。下載完之后,要把文件解壓到home文件夾(或直接把tar.gz文件拷貝到home文件夾,為了節省空間,安裝完記得把壓縮文件給刪除喔~),或者其他的ext4的文件系統中。
接下來是安裝過程,先授權,然后安裝:
$ tar zxvf cpp_studio_xe_2013_sp1_update3.tar.gz ? (如果你是直接拷貝壓縮文件過來的)
$ chmod a+x /home/username/cpp_studio_xe_2013_sp1_update3 -R
$ sudo ./install_GUI.sh
PS: 這里安裝的時候,我遇到一些插曲,先在這里特別提醒大家一下,避免在犯錯,這些都是我安裝的時候,遇到的"little bug"。
1. 一個很2的問題,在啟動linux的時候,手賤點了一下系統自動更新,可能正好更新到某個關鍵組件,授權的時候,始終無效,這個大概解決就是記得更新完,重啟,然后關機,我弄的時候,重啟也沒用。
2. 記得把解壓后的studio_xe軟件包丟到home下,或者干脆直接在home里解壓,注意這里它是保存在home/ username , 這里的 username 是你的用戶名。這一步主要是,讓安裝程序處于linux的文件系統中,為了修改權限做保證。
3. 使用chmod對文件夾及其子文件進行授權,安裝程序是install_GUI.sh,它調用了install.sh,接下來又調用了一連串的文件,這些文件都必須具有可執行的權限,所以,你懂了~照著上面的步驟就好了
4. 安裝的時候,可以安裝到root權限下,或者sudo權限,我是裝在root權限下,避免麻煩,這時就必須確保已經為root設置過密碼了,然后會讓你輸入你申請的時候發給你的序列號。沒設置的話,執行:

$?sudo passwd root

5. Everything is OK!
PS2:我不會告訴你,我第一次安裝的時候,不僅僅裝了Studio XE,還裝了MKL,也裝了OpenBLAS,為了裝OpenBLAS還裝來gFortran編譯器,因為一直編譯Caffe不通過,其實這都是白費功夫,都是沒有認真讀官網的說明導致的。至于這集中庫的性能,應該是MKL>OpenBLAS>ATLAS,官網的介紹也提到。在裝完MKL,需要做的一件事是:SET BLAS := open in Makefile.config,這個我在后面安裝Caffe到時候會寫。

二、MKL與CUDA的環境設置
文件夾切換到/etc/ld.so.conf.d,并進行如下操作
1. 新建intel_mkl.conf, 并編輯之:
$ cd /etc/ld.so.conf.d
$ sudo vi intel_mkl.conf
/opt/intel/lib/intel64
/opt/intel/mkl/lib/intel64

2. 新建cuda.conf,并編輯之:
$ sudo vi cuda.conf
/usr/local/cuda/lib64
/lib

3. 完成lib文件的鏈接操作,執行:
$ sudo ldconfig -v

三、安裝OpenCV
1. 下載地址: https://github.com/jayrambhia/Install-OpenCV ,如果覺得難度不夠的話,可以選擇官網的安裝包: http://opencv.org/ ,我這里是根據大神編譯過的版本進行安裝的。

2. 切換到文件保存的文件夾,然后安裝依賴項:
sudo ./dependencies.sh

3. 安裝openCV,因為不知道有什么區別,所以就安裝最新版opencv2_4_8吧,有偏好可以根據自己的要求進行設置:?
sudo ./opencv2_4_8.sh
保證網絡暢通,因為軟件需要聯網這里時間較長,請耐心等待。。。,所以就安四、安裝其他依賴項
?
1. Google Logging Library(glog),下載地址: https://code.google.com/p/google-glog/ ,然后解壓安裝:
$ tar zxvf glog-0.3.3.tar.gz
$ ./ configure
$ make
$ sudo make install

2. 其他依賴項,確保都成功
$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev
?
???????如果安裝過程中出現錯誤,E: Sub-process /usr/bin/dpkg returned an error code (1),可能是因為sudo apt-get install出現到意外,不用著急,可以試試這個解決辦法:
$ cd /var/lib/dpkg
$ sudo mv info info.bak
$ sudo mkdir info

$ sudo apt-get --reinstall install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev

五、安裝Caffe并測試
1. 切換到Caffe的下載文件夾,然后執行:
$ cp Makefile.config.example Makefile.config
修改新生成的Makefile.config文件,修改“BLAS := mkl”,這個非常重要。
$ make all
$ make test
$ make runtest?
錯誤Fixed:
1. 如果提示:?make: protoc: 命令未找到,那是因為protoc沒有安裝,安裝一下就好了。
$ sudo?apt-get?install?protobuf-c-compiler protobuf-compiler

2. 提示“src/caffe/util/math_functions.cu(140): error: calling a? host ?function("std::signbit ") from a? global function("caffe::sgnbit_kernel ") is not allowed”

解決辦法:
修改??./include/caffe/util/math_functions.hpp 224行
刪除(注釋):using std::signbit;
修改:DEFINE_CAFFE_CPU_UNARY_FUNC(sgnbit, y[i] = signbit(x[i]));
為:DEFINE_CAFFE_CPU_UNARY_FUNC(sgnbit, y[i] = std::signbit(x[i]));
這個方法感謝網友:嗆熱DJ$998。
得到作者,大神 Yangqing Jia 的回復,解決方法如上,沒有二致。

六、使用MNIST數據集進行測試
Caffe默認情況會安裝在$CAFFE_ROOT,就是解壓到那個目錄,例如:$ home/username/caffe-master,所以下面的工作,默認已經切換到了該工作目錄。 下面的工作主要是,用于測試Caffe是否工作正常,不做詳細評估。具體設置請參考官網: http://caffe.berkeleyvision.org/gathered/examples/mnist.html
1. 數據預處理
可以用下載好的數據集,也可以重新下載,我網速快,這里就偷懶直接下載了,具體操作如下:
$ cd data/mnist
$?
sudo sh? ./get_mnist.sh

2. 重建LDB文件,就是處理二進制數據集為Caffe識別的數據集,以后所有的數據,包括jpe文件都要處理成這個格式
$ cd examples/mnist
$?
sudo sh? ./create_mnist.sh
生成mnist-train-leveldb/ 和 mnist-test-leveldb/文件夾,這里包含了LDB格式的數據集

3. 訓練mnist
$ cd examples/mnist
$?
sudo sh? ./train_lenet.sh

?????? 至此,Caffe安裝的所有步驟完結,下面是一組簡單的數據對比,實驗來源于MNIST數據集,主要是考察一下不同系統下CPU和GPU的性能。可以看到明顯的差別了,雖然MNIST數據集很簡單,相信復雜得數據集,差別會更大,Ubuntu+GPU是唯一的選擇了。
測試平臺:i7-4770K/16G/GTX 770/CUDA 6.5
Windows8.1 on CPU:620s
Windows8.1 on GPU:190s
Ubuntu 14.04 on CPU:270s?
Ubuntu 14.04 on GPU:160s
?
  • 第四部分 Python安裝和調試
1.?安裝caffe必須的一些依賴項:
$ sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython?
?
2. 配置路徑,編輯Makefile.config
PYTHON_INCLUDE := /usr/include/python2.7 \
????????????????????????????????????/usr/lib/python2.7/dist-packages/numpy/core/include
PYTHON_LIB := /usr/local/lib

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib

3. 這里非常重要的是,為了確保支持Caffe Notebook里的程序,需要使用到IDE環境,并且支持iPython輸出。 ?
?
  • 第五部分 Matlab安裝和調試
1.下載
由于該軟件為商業軟件,請大家自行尋找,安裝學習,并確保不使用做商業目的,下載24小時刪除......
?
2. 預準備
?選擇Mathworks.Matlab.R2014a.Unix.iso - 右鍵 - 使用磁盤映像掛載器打開”?
進入裝載的虛擬光盤,拷貝全部文件至home/Matlab 文件夾?
(PS:我的原則是能GUI就GUI,喜歡CMD的可以參照執行)?
復制Crack/install.jar至 home/Matlab/java/jar/ 并覆蓋源文件
?
3. 授權安裝文件夾
$ chmod a+x Matlab -R

4. 安裝
$ sudo ./instal l?
選項:不使用Internet安裝
序列號: 12345-67890-12345-67890 ?
默認路徑:/usr/local/MATLAB/R2014a?
激活文件:license_405329_R2014a.lic
拷貝?libmwservices.so?至?/usr/local/MATLAB/R2014a/bin/glnxa64?
安裝完畢,程序默認啟動路徑:
$?sudo MATLAB/R2014a/bin/matlab? ?

5.創建快捷方式
1. 軟件中心搜索matlab?
2. 選擇安裝目錄:/usr/local/MATLAB/R2014a

6.配置Caffe
修改文件:Makefile.config
MATLAB_DIR := /usr/local/MATLAB/R2014a

7.編譯Matlab用到的caffe文件
$ make matcaffe

caffe安裝2


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 中午字幕在线观看 | 色欧美在线 | 欧美日韩中文字幕在线观看 | 久久婷婷人人澡人人爱91 | 国产激情一区二区三区在线观看 | 久久久精品久久视频只有精品 | 国产美女在线免费观看 | 狠狠色欧美亚洲综合色黑a 狠狠色视频 | 黄色片免费在线观看视频 | 中国一级全黄的免费观看 | 九九草在线观看 | 中国一级毛片在线观看 | 国产第一区二区三区在线观看 | 欧美极品福利视频在线播放 | 久久新网址 | 2021天天干| 久久黄色视屏 | 不卡国产 | 高清在线不卡 | 伊人精品在线视频 | 国产美女视频做爰 | 亚洲a网| 国产无毛 | 亚洲欧美日韩国产综合专区 | 日韩不卡一区二区三区 | 一区二区三区四区在线观看视频 | 久久天天躁狠狠躁夜夜中文字幕 | 国产精品国产三级国产无毒 | 青草91视频免费观看 | 亚洲欧美日产综合一区二区三区 | 视频免费1区二区三区 | 奇米影视亚洲狠狠色 | 我想看一级黄色毛片 | 香蕉久久夜色精品国产2020 | 最近中文字幕在线视频1 | 成人在线免费 | 国产成人精品久久免费动漫 | 久久天天躁狠狠躁夜夜躁综合 | 一级色 | 99精品视频在线这里只有 | 日本黄色免费网址 |