阿就操場啊~: RAID磁碟陣列

# dmesg -T | tail
[Thu Mar 26 22:59:14 2020] EXT4-fs (sdf): error count: 622
[Thu Mar 26 22:59:14 2020] EXT4-fs (sdf): initial error at 1580290899: ext4_mb_generate_buddy:739
[Thu Mar 26 22:59:14 2020] EXT4-fs (sdf): last error at 1582988391: ext4_mb_generate_buddy:739
[Fri Mar 27 23:00:42 2020] EXT4-fs (sdf): error count: 622
[Fri Mar 27 23:00:42 2020] EXT4-fs (sdf): initial error at 1580290899: ext4_mb_generate_buddy:739
[Fri Mar 27 23:00:42 2020] EXT4-fs (sdf): last error at 1582988391: ext4_mb_generate_buddy:739
[Sat Mar 28 23:02:10 2020] EXT4-fs (sdf): error count: 622
[Sat Mar 28 23:02:10 2020] EXT4-fs (sdf): initial error at 1580290899: ext4_mb_generate_buddy:739
[Sat Mar 28 23:02:10 2020] EXT4-fs (sdf): last error at 1582988391: ext4_mb_generate_buddy:739
[Sun Mar 29 16:02:14 2020] arcmsr 0000:04:00.0: vpd r/w failed.  This is likely a firmware bug on this device.  Contact the card vendor for a firmware update.

雖然這個網頁說是下了指令lspci -vv導致的錯誤，但實際上這張RAID card上面的磁碟陣列還是作動不正常。

Ubuntu開機卡在init-bottom ... done.

Ubuntu 12.04雖然有正常使用shutdown指令關機，且關機前也有用sync;sync;sync把資料都寫入到硬碟上面 force competion of pending disk writes (flush cache)。但開機到下面後就卡住了：

Begin: Running /scripts/init-premount ... done.
Begin: Mounting root file system ...
Begin: Running /scripts/local-top ... done.
Begin: Running /scripts/local-premount ... done.
[10.367590] EXT4-fs (md1): mounted filesystem with ordered data mode. Opts: (null)
Begin: Running /scripts/local-bottom ... done.
done.
Begin: Running /scripts/init-bottom ... done.

用最後一行當關鍵字搜尋，加上Ubuntu 12.04這個關聯性找到這個連結，看到下一行是：

Mac刪除磁碟無法退出的視窗

有時候在Mac在退出外接硬碟的時候會失敗，會彈出一個永遠都關不掉的視窗，欲刪除此視窗只要輸入下面的指令：

killall UnmountAssistantAgent

用MegaCli監控磁碟陣列卡

MegaCli是用來監控與操作RegaRAID控制器的指令，通常在Dell上面這些卡都叫做PERCx。使用方式如下，輸出的內容很多在此不解釋：

一、系統上面看控制器與驅動程式

dmesg | grep -i raid
lspci | grep -i raid
lsmod | grep mega

二、MegaCli指令又臭又長，縮短叫mc後順便看陣列卡數量

alias sudo='sudo '
alias mc='/opt/MegaRAID/MegaCli/MegaCli64'
sudo mc -v
sudo mc -adpcount

用mdadm掃描硬碟上的磁碟陣列磁區

mdadm這隻程式會去找/etc/mdadm.conf來看哪些硬碟有做磁碟陣列，但當拿到一個含有磁碟陣列的外接硬碟，可以用下面指令來自動掃描並啟動磁碟陣列：

mdadm --assemble --scan

若只是要看有哪些磁碟陣列，則是用指令：

mdadm --detail --scan

若只是開啟某外接硬碟分割區的磁碟陣列，用下面指令：

mdadm --assemble /dev/md1 /dev/sda1 /dev/sdb1

顯示硬碟某分割區的檔案系統

在還沒掛載硬碟（這邊以/dev/sda為例子）之前想要知道分割區（partition）的檔案系統（file system）是那一種，可以用下面兩個指令來做：

sudo lsblk -f /dev/sda2
sudo file -s /dev/sda

用mdadm做RAID-0（striping）

機器q141的硬碟壞掉了，原本兩個是做RAID-0。更換兩個硬碟上去後，用dmesg看分別是/dev/sda與/dev/sdb，下面是換上硬碟做RAID-0與xfs檔案系統的步驟：

用fdisk與sfdisk分割硬碟，第1個分割區給swap，第2個分割區給RAID
製作swap交換區

mkswap /dev/sda /dev/sdb：製作swap
swapon -a：開啟swap
swapon --summary：看用在swap上面的硬碟分割區

用mdadm做RAID-0（striping）

mdadm -C /dev/md0 -l 0 -n 2 -c 8192 /dev/sd{a,b}2：製作RAID-0

打開HBA硬碟卡上面的指示燈LED

若硬碟裝在HBA卡上（參閱《硬碟用HBA（Host bus adapter）卡》），那故障的時候就無法用一般磁碟陣列卡的控制程式來顯示故障的硬碟。取而代之的方法是用第三方軟體來控制故障硬碟的指示燈。下面的指令教學使用：

dmesg -T
smartctl -a /dev/sdk
wget http://www.supermicro.com/support/faqs/data_lib/FAQ_9633_SAS2IRCU_Phase_5.0-5.00.00.00.zip && unzip FAQ_9633_SAS2IRCU_Phase_5.0-5.00.00.00.zip && cd sas2ircu_linux_x86_rel/
./sas2ircu --help
./sas2ircu 0 DISPLAY
./sas2ircu 0 locate 1:9 on
./sas2ircu 0 locate 1:9 off

上述指令的意思是：

硬碟用HBA（Host bus adapter）卡

HBA卡與一般的磁碟陣列卡（RAID card）不同的地方在於，RAID卡上面的晶片可以直接做磁碟陣列的運算，而硬碟用的HBA卡只讓主機可接更多的硬碟但不做磁碟陣列運算

HBA卡的使用方式：

磁碟陣列為software RAID
software RAID的運算要靠主機的CPU
可以直接用系統指令如hdparm, smartctl看硬碟狀態

Waiting for F/W to become ready.

Areca ARC-1880磁碟陣列卡，開機卡在下面的錯誤訊息

Waiting for F/W to become ready.

027/300 seconds elapsed..

就過不去了，之後系統會再重開機，繼續卡在一樣的地方
解決方法是... 把電源線都拔掉，可能這樣就清空了RAID card上面一些舊的訊息。插上電源後重開就順利通過。下面是參考的文章與網站：

_EOF_

2018年7月18日星期三

3ware卡用tw_cli加入硬碟

3ware的磁碟陣列卡可用tw_cli command-line tool來控制，下面的指令介紹當接上一個硬碟到3ware卡上時，如何用tw_cli讓系統可以看到這個硬碟：

./tw_cli show
./tw_cli /c4 show
./tw_cli /c4 add type=single disk=7 nocache
dmesg | tail

上面指令的意思是

過磁碟陣列卡看硬碟SMART資訊

磁碟陣列卡可能是LSI SAS 9201-16i，MegaCli的版本是v8.07.10。使用下面的指令來看有什麼硬碟與其編號：

megacli64 -pdlist -aall
megacli64 -pdlist -aall | grep -e 'Enclosure Device ID' -e 'Slot Number' -e 'Device Id' -e 'Inquiry Data'
megacli64 -pdlist -aall | grep 'Device Id'

上面最後一個指令可以看到Device Id，這樣才能夠用後面的smartctl來看硬碟的smart資訊

DAS × NAS × SAN × iSCSI

儲存資料的方式有很多種，常見的如下：

DAS：Direct Attached Storage。直接存取硬碟

一台伺服器透過SATA或eSATA或NVMe或SCSI或光纖或HBA卡（Host Bus Adapter）直接連接儲存裝置，儲存裝置上面有許多硬碟

NAS：Network Attached Storage。透過網路檔案系統存取硬碟

一台伺服器上面放很多硬碟，使用乙太網路連接上網路
伺服器與計算節點的連接方式為一般的乙太網路交換機（Ethernet switch）
其他計算節點想要資料，需要用乙太網卡（Ethernet adapter）連接那台伺服器透過乙太網路來分享。分享的方式有Samba（SMB/CIFS/網路芳鄰）、NFS、AFS等

SAN：Storage Attachment Network、FC-SAN。透過光纖網路直接存取硬碟

一台或多台儲存裝置，儲存裝置上面有許多硬碟，用FC-HBA卡透過光纖連上線
計算節點與伺服器連接方式為光纖交換機（Fiber switch）
其他計算節點也要有FC-HBA光纖卡，直接存取儲存裝置上的資料。在計算節點上面看到的就像是直接接硬碟在計算節點上

iSCSI：Internet SCSI、IP-SAN。透過乙太網路直接存取硬碟

一台或多台儲存裝置，儲存裝置上面有許多硬碟，用iSCSI HBA卡透過網路連上線
計算節點與伺服器連接方式為支援iSCSI的網路交換機
其他計算節點也要有iSCSI-HBA卡（RJ-45街頭），直接存取儲存裝置上的資料。在計算節點上面看到的就像是直接接硬碟在計算節點上

這張DAS、NAS和SAN的比較圖片說明的很清楚
或是What is the difference between SAN, NAS and DAS?裡面的圖片也很清楚

Fedora 20將開機硬碟放到RAID-1

某機器系統是Fedora 20（Heisenbug）都安裝在一個硬碟/dev/sda上，分割區是：

/dev/sda6：掛載到/
/dev/sda1：掛載到/boot
/dev/sda7：掛載到/home

現在想把此開機碟做成RAID-1，而此RAID-1由/dev/sdc與/dev/sdd兩個硬碟組成。步驟與《Ubuntu 16.04將開機硬碟變成RAID-1》一樣的指令請參考前一篇，在Fedora上面不同的指令用紅色標記：

訂閱：文章 (Atom)

2023年7月30日 星期日

2022年2月11日 星期五

2021年11月22日 星期一

2020年8月20日 星期四

2020年5月29日 星期五

2020年4月17日 星期五

2020年3月30日 星期一

2020年1月19日 星期日

2019年10月21日 星期一

2019年10月18日 星期五

2019年6月18日 星期二

2019年2月6日 星期三

2018年12月3日 星期一

2018年9月12日 星期三

2018年9月11日 星期二

2018年7月19日 星期四

2018年7月18日 星期三

2018年2月5日 星期一

2017年12月18日 星期一

2017年12月12日 星期二

2023年7月30日星期日

2022年2月11日星期五

2021年11月22日星期一

2020年8月20日星期四

2020年5月29日星期五

2020年4月17日星期五

2020年3月30日星期一

2020年1月19日星期日

2019年10月21日星期一

2019年10月18日星期五

2019年6月18日星期二

2019年2月6日星期三

2018年12月3日星期一

2018年9月12日星期三

2018年9月11日星期二

2018年7月19日星期四

2018年7月18日星期三

2018年2月5日星期一

2017年12月18日星期一

2017年12月12日星期二