安裝GROMACS-2018.1在Ubuntu 16.04

GROMACS 2018出了更新版2018.1，參考《安裝GROMACS-2018在Ubuntu 16.04》，這邊是安裝gmx2018.1到Ubuntu 16.04上，使用cuda-9.1來加速。以下是安裝紀錄

GROMACS mdrun平行處理與GPU加速

GROMACS執行分子模擬的程式叫做mdrun，要加速模擬速度除了平行處理（parallelization）還可以用GPU加速，官方的參考資料如下：

• Getting good performance from mdrun：
      給5.x版本之後與2016、2018版本用的說明文件
• Useful mdrun features：也是GROMACS-5.x版本之後，mdrun的一些例子
• Acceleration and parallelization：版本4.6之後，但不到5.x的加速方式

AMBER 16用GPU加速分子模擬

AMBER是一套分子模擬的系統，購買的金額隨著身份不同：

• 學術/非營利/政府單位：$500美金
• 營利事業：$20,000美金買，若是從AMBER 14升上來則是$15,000美金

網頁《AMBER 16 GPU ACCELERATION SUPPORT》專門介紹用GPU加速的成果

DRBL client使用支援GPU加速卡的核心

當DRBL server安裝好了GPU加速卡的modules後，client端也要設定成相同的核心編號，這樣client開機以後才能夠使用GPU來加速。DRBL預設幫client做的核心會是系統最新的那個核心，但如果modules安裝的核心不是最新的，那麼client開機後就會因為 /lib/modules/KERNELNAME/ 下面沒有GPU的kernel module導致無法使用GPU，解法如下

假設server上面安裝了GPU modules的核心編號是4.10.0-42-generic，使用下面指令來指定DRBL client使用還有GPU加速卡的模組的核心：

• /usr/sbin/mknic-nbi -a -k 4.10.0-42-generic.nptl 

安裝GROMACS-2018在Ubuntu 16.04

GROMACS 2018於2018年1月10日釋出，新增的功能參考《GROMACS 2018》。由於安裝的版本有用GPU加速，參考了下面幾篇文章：

• Ubuntu 16.04裝GROMACS-2016.3
• Ubuntu 16.04上安裝CUDA 9.1 Toolkit
• Ubuntu 16.04固定開機GRUB選單

以下詳細說明安裝的過程

Ubuntu 16.04上安裝CUDA 9.1 Toolkit

Ubuntu 16.04會自動更新，之前安裝的Nvidia驅動與CUDA工具包不能使用：

• Ubuntu 16.04上安裝CUDA-8.0：工具包的版本是8.0
• Ubuntu 16.04只用內顯而不用獨顯：驅動的版本是375

Ubuntu 16.04更新完的驅動是384，在安裝CUDA Toolkit 9.1的時候，安裝程式會自動把Nvidia驅動更新成387版本。安裝過程如下

CentOS 7更新Nvidia驅動程式

之前根據《CentOS 7上安裝Nvidia驅動程式》後，經歷了數次CentOS 7系統自動更新。在最近一次更新後，就進不了圖形界面了。。更新方式很簡單，首先到Nvidia驅動程式下載網頁，下載最新的驅動程式，由於硬體一樣是Intel i7-930配Nvidia GTX 650，下載的驅動是：

• NVIDIA-Linux-x86_64-387.34.run

用root登入後，依序執行下面指令：

1. chmod +x NVIDIA-Linux-x86_64-387.34.run
2. ./NVIDIA-Linux-x86_64-387.34.run
3. systemctl enable gdm && reboot

藍色指令即是更新成387.34這個動程式，在命令列下，根據說明安裝來安裝（基本上就是統統都同意）。重新開機後，圖形界面就又回來了
注意！這個方式只適用系統本來就已經安裝的是Nvidia出的專屬驅動程式，如果是剛安裝安裝好的系統，請參考《CentOS 7上安裝Nvidia驅動程式》重新安裝專屬驅動程式

_EOF_

The version ('80100') of the host compiler ('Apple clang') is not supported

之前《安裝CUDA到Mac上》，後來更新了Xcode版本以後再度編譯Nvidia samples，出現了下面的錯誤訊息：

/Developer/NVIDIA/CUDA-8.0/bin/nvcc -ccbin clang++ -I../../common/inc  -m64  -Xcompiler -arch -Xcompiler x86_64  -gencode arch=compute_20,code=sm_20 -gencode arch=compute_30,code=sm_30 -gencode arch=compute_35,code=sm_35 -gencode arch=compute_37,code=sm_37 -gencode arch=compute_50,code=sm_50 -gencode arch=compute_52,code=sm_52 -gencode arch=compute_60,code=sm_60 -gencode arch=compute_60,code=compute_60 -o deviceQuery.o -c deviceQuery.cppnvcc warning : The 'compute_20', 'sm_20', and 'sm_21' architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).nvcc fatal   : The version ('80100') of the host compiler ('Apple clang') is not supported make: *** [deviceQuery.o] Error 1

看起來是新版的Xcode裡面的Apple clang版本相沖Nvidia CUDA Toolkit：

• Xcode 8.3.3 配上 Command Line Tools (macOS 10.12) for Xcode 8.3
• CUDA Driver Version: 8.0.90（從8.0.61安裝patch升級上來）

測試過Xcode 9 beta版與各種不同版本的Command Line Tools以後，終於找到可以互相配合正常工作的版本：

• Xcode 8.0 (8A218a) 配上 Command_Line_Tools_macOS_10.12_for_Xcode_8 (8.0)
• CUDA Driver Version: 8.0.90（從8.0.61安裝patch升級上來）

安裝CUDA-8.0工具包在Debian8.8

Debian 8.8上安裝Nvidia驅動程式後，再來安裝CUDA toolkit。到官方網站上面下載：

1. Operation System選Linux
2. Architecture選x86_64
3. Distribution選Ubuntu（這邊沒有Debian可選，所以選從Debian改出來的Ubuntu）
4. Version選16.04
5. Installer Type選runfile (local)

測試過用deb套件安裝，但無法成功故在此採改成用runfile安裝。下載後會有兩個檔案：

• Base Installer：cuda_8.0.61_375.26_linux.run
• cuBLAS Patch 2：cuda_8.0.61.2_linux.run

上面是需要的檔案，以下是安裝步驟，請用root權限做

Debian 8.8上安裝Nvidia驅動程式

在Debian 8.8 (Jessie) 上面安裝Nvidia提供的顯示卡驅動程式，版本381.09。
不使用APT方式安裝是因為提供的driver太舊了，不好搭配CUDA使用。下面的安裝方式是在系統在下面幾個條件下完成的安裝：

1. 將Debian Jessie升級到目前最新版本 8.8
2. 讓Debian Jessie開機直接進入文字模式。這點很重要，因為要是圖形模式如果安裝了顯卡驅動失敗以後，就什麼畫面都看不到了~

GROMACS無法用CUDA加速

系統是Ubuntu 16.04，在跑mdrun的時候出現下面問題

NOTE: Error occurred during GPU detection:

CUDA driver version is insufficient for CUDA runtime version 

Can not use GPU acceleration, will fall back to CPU kernels.

用/usr/local/cuda/samples/1_Utilities/deviceQuery測./deviceQuery出現

./deviceQuery Starting... 

CUDA Device Query (Runtime API) version (CUDART static linking) 

cudaGetDeviceCount returned 35 -> CUDA driver version is insufficient for CUDA runtime version Result = FAIL

原本以為是CUDA driver與CUDA runtime version（也就是CUDA toolkit version）搭配不起來（搭配的列表看這裡），測試的指令如下：

• nvcc --version    （看Cuda compiler driver、CUDA toolkit的版本）
• nvidia-smi      （看系統安裝的硬體與driver的版本）
• cat /proc/driver/nvidia/version    （同上，會顯示NVRM version）

但不管怎樣檢查，通通都是可以配合的版本。最後才想到，當初希望機器的顯示用內顯而不要用獨顯，因為這個緣故，造成程式無法去找到GPU來跑。所以下完下面的指令：

• prime-select nvidia

這樣之後，機器就可以順利用CUDA加速了

安裝GROMACS-2016.3在Ubuntu 16.04

前面已經有五篇關於編譯GROMACS的文章：

• Debian上安裝GROMACS 4.6
• CentOS 7上編譯GROMACS-2016.2
• Fedora25上編譯GROMACS-2016.2
• Linux上安裝GROMACS-5.1.2
• 用Intel compiler安裝GROMACS-4.5.5

這次除了加入GPU加速外，先編譯完安裝後，再做測試。

Ubuntu 16.04上安裝CUDA-8.0

前一篇《Ubuntu 16.04只用內顯而不用獨顯》裝好了nvidia顯卡驅動程式，然後設定顯示用內部顯示而不是nvidia顯卡，這一篇則是繼續安裝CUDA-8.0

首先去CUDA下載頁面，找到所需的deb套件包，然後在virtual console內依序執行：

1. sudo service lightdm stop
2. sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb
3. sudo apt-get update
4. sudo apt-get install cuda
5. sudo service lightdm start

注意第2步的套件包名稱請修改成自己下載的那個。
下載完成以後，新增一個 /etc/profile.d/cuda.sh 的檔案，加入下面三行：

• export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
• export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
• export LD_PRELOAD=/usr/lib/nvidia-375/libnvidia-ml.so

Ubuntu 16.04只用內顯而不用獨顯

在一台同時有intel內顯與nvidia獨立顯卡的ubuntu 16.04主機上，希望僅僅只用內顯來顯示畫面，獨顯是要用來做GPU加速。先用下面指令安裝nvidia顯卡驅動（這邊找到此顯卡的驅動版本是375.39，請依照自己的顯卡型號去找對應的）：

• sapt-get install libcuda1-375 nvidia-375 nvidia-375-dev nvidia-libopencl1-375 

安裝完之後，會發現登入畫面還在，但是輸完帳號密碼之後不會直接進入圖形介面，而是直接跳回登入畫面。這是因為系統目前把顯示的工作直接丟給獨顯，而不是內顯。
解決方式：先按 Ctrl-Alt-F1 跳到virtual console，輸入：

1. prime-select intel
2. service lightdm restart

第一個指令是要求系統的顯示用intel的內顯，第二個指令則是重新啟動登入畫面。都做完以後，應該就可以登入到圖形介面了。

CentOS 7上安裝CUDA-8.0

在CentOS 7上安裝CUDA toolkit，參考《CentOS 7上安裝Nvidia驅動程式 》一文安裝驅動程式。安裝好驅動後到Nvidia官網下載安裝檔案 cuda-repo-rhel7-8-0-local-ga2-8.0.61-1.x86_64.rpm。執行下面的指令：

• sudo rpm -i cuda-repo-rhel7-8-0-local-ga2-8.0.61-1.x86_64.rpm
• sudo yum clean all
• sudo yum install cuda

監控Nvidia顯示卡

監控Nvidia顯示卡用nvidia-smi（NVIDIA System Management Interface）這個指令：

1. nvidia-smi
2. nvidia-smi -L
3. nvidia-smi -q -i 0
4. nvidia-smi -q -i 0 -x  
5. nvidia-smi -l 1

安裝CUDA Toolkit到Fedora25上

安裝CUDA toolkit到Fedora 25上，首先要安裝驅動程式（參考Fedora上安裝Nvidia的驅動程式 ），之後再安裝CUDA Toolket，編譯後即可執行。本文參考《Fedora 24 install CUDA》與《安裝CUDA到Mac上》

先到Nvidia的官方網站上下載安裝程式 cuda-repo-fedora23-8-0-local-8.0.44-1.x86_64.rpm。目前只有Fedora23的版本，但還是可以安裝在Fedora25上面。下載後依序執行：

• sudo rpm -i cuda-repo-fedora23-8-0-local-8.0.44-1.x86_64.rpm
• sudo dnf clean all
• sudo dnf install cuda

裝好以後CUDA會安裝在 /user/local/cuda-8.0/ 這個資料夾中。另外要下三個指令，或是放在 ~/.bashrc 裡面

• export PATH=/usr/local/cuda/bin:$PATH
• export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
• export CPLUS_INCLUDE_PATH=$/usr/local/cuda-8.0/samples/common/inc:$CPLUS_INCLUDE_PATH

這樣就安裝好CUDA Toolkit了

安裝CUDA到Mac上

安裝CUDA到Mac上，首先要安裝CUDA driver，再來安裝CUDA toolkit，接著編譯CUDA samples看是否有正常安裝，最後就可以觀賞CUDA的範例～

步驟1：安裝CUDA驅動程式

到Nvidia的網站去下載CUDA driver for Mac。目前最新的版本是8.0.57，下載回來的映像檔名會類似 cudadriver-8.0.63-macos.dmg 這樣。點開按照說明安裝即可，裝完以後在系統設定（System Perferences）裡面會出現CUDA的選單，如下圖：