Проверка состояния RAID-массива на аппаратном LSI

[ALEXX]

Управление дисковым массивом работающего на аппаратном контроллере LSI MegaRAID, мы рекомендуем производить с помощью консольного клиента MegaCLI

Установка MegaCLI:

Код: Выделить всё

wget http://www.lsi.com/downloads/Public/RAID%20Controllers/RAID%20Controllers%20Common%20Files/.zip
unzip 8.07.07_MegaCLI.zip
cd 8.07.07_MegaCLI/
chmod +x MegaCli

Основные команды для работы:

Получить статус и конфигурацию всех адаптеров

Код: Выделить всё

megacli -AdpAllInfo -aAll

Cтатус и параметры всех логических дисков

Код: Выделить всё

megacli -LDInfo -LAll -aAll

Статус и параметры физических устройств

Код: Выделить всё

megacli -PDList -a0

Статус и параметры диска в 4-м слоте

Код: Выделить всё

megacli -pdInfo -PhysDrv[252:4] -a0

Создание RAID6 массив MegaCLI

Давайте предположим, что у нас есть сервер с MegaRAID SAS

Получим список физических дисков:

Код: Выделить всё

megacli -PDlist -a0 | grep -e '^Enclosure Device ID:' -e '^Slot Number:'
Enclosure Device ID: 29
Slot Number: 0
Enclosure Device ID: 29
Slot Number: 1
Enclosure Device ID: 29
Slot Number: 2
Enclosure Device ID: 29
Slot Number: 3
Enclosure Device ID: 29
Slot Number: 4
Enclosure Device ID: 29
Slot Number: 5
Enclosure Device ID: 29
Slot Number: 6
Enclosure Device ID: 29
Slot Number: 7
Enclosure Device ID: 29
Slot Number: 8
Enclosure Device ID: 245
Slot Number: 12

Пример конфигурирования JBOD на LSI 2208 (Supermicro X9DRH-7TF) При загрузке BIOS эти команды можно выполнить если зайти в preboot CLI по комбинации клавиш Ctrl+Y

Команды megacli и preboot CLI различаются по виду.

Например команда проверки поддержки JBOD для BIOS preboot CLI будет выглядеть так:

Код: Выделить всё

AdpGetProp enablejbod -aALL

А для megacli это используется как набор опций и параметров:

Код: Выделить всё

megacli -AdpGetProp enablejbod -aALL

Включить поддержку JBOB

Код: Выделить всё

megacli -AdpSetProp EnableJBOD 1 -aALL

Список доступных физических устройств:

Код: Выделить всё

megacli -PDList -aALL -page24

В списке надо найти значения полей Enclosure Device ID (например 252), Slot Number и Firmware state
Нужно отметить каждое из устройств которое надо сделать JBOD, как Good в поле Firmware state .

Код: Выделить всё

megacli -PDMakeGood -PhysDrv[252:0] -Force -a0

Или сразу много устройств:

Код: Выделить всё

megacli -PDMakeGood -PhysDrv[252:1,252:2,252:3,252:4,252:5,252:6,252:7] -Force -a0

Теперь можно создавать JBOD

Код: Выделить всё

megacli -PDMakeJBOD -PhysDrv[252:0] -a0
megacli -PDMakeJBOD -PhysDrv[252:1,252:2,252:3,252:4,252:5,252:6,252:7] -a0

Создать виртуальный диск RAID

Перед настройкой массива, возможно, потребуется удалить использованную ранее конфигурацию. Для того чтобы просто удалить логические устройства используйте CfgLdDel

Код: Выделить всё

megacli -CfgLdDel -Lall -aAll

Для того чтобы удалить всё (в том числе политику кэша) используйте «Очистку конфигурации»

Код: Выделить всё

megacli -CfgClr -aAll

Настройка RAID-0, 1 или 5. Вместо «r0» введите соответственно «r1» или «r5» (диски находятся в Enclosure 29, на портах 0 и 1, WriteBack включен, ReadCache адаптивный, Cache также включен без BBU)

Код: Выделить всё

megacli -CfgLdAdd -r0 [29:0,29:1] WB ADRA Cached CachedBadBBU -sz196GB -a0

Создать RAID10 Получить список дисков

Код: Выделить всё

megacli -PDList -aAll | egrep «Enclosure Device ID:|Slot Number:|Inquiry Data:|Error Count:|state»

Создать массив из 6 дисков

Код: Выделить всё

megacli -CfgSpanAdd -r10 -Array0[252:0,252:1] -Array1[252:2,252:4] [-Array2[252:5,252:6] -a0

Показать как диски были определены в RAID-массиве:

Код: Выделить всё

megacli -CfgDsply -a0

Удалить массив с ID=2

Код: Выделить всё

MegaCli –CfgLDDel -L2 -a0

Инициализация массива Начать полную инициализацию для массива с ID=0

Код: Выделить всё

MegaCli -LDInit -Start -full -L0 -a0

Проверить текущий статус инициализации:

Код: Выделить всё

MegaCli -LDInit -ShowProg -L0 -a0

Управление CacheCade

Создать и назначить CacheCade для массива 0 (-L0) из зеркала (-r1) в режиме обратной записи (WB) на основе SSD дисков в слотах 6 и 7 (-Physdrv[252:6,252:7])

Код: Выделить всё

megacli -CfgCacheCadeAdd -r1 -Physdrv[252:6,252:7] WB -assign -L0 -a0

Включить

Код: Выделить всё

megacli -Cachecade -assign -L0 -a0

Отключить

Код: Выделить всё

megacli -Cachecade -remove -L0 -a0
Successfully removed VD from Cache

Просмотреть состояние:

Код: Выделить всё

megacli -CfgCacheCadeDsply -a0
megacli -LDInfo -LAll -a0

Замена неисправного диска

Отключить писк:

Код: Выделить всё

megacli -AdpSetProp -AlarmSilence -a0

Обратите внимание, что это не навсегда отключает сигнализацию, а просто выключает сигнал по текущей аварии.

Просмотреть состояние диска (подставьте нужное значение [E:S]):

Код: Выделить всё

megacli -pdInfo -PhysDrv [29:8] -a0

Пометить диск требующий замены как потерянный (если контроллер не сделал этого сам)

Код: Выделить всё

megacli -PDMarkMissing -PhysDrv [E:S] -aN

Получить параметры потерянного диска

Код: Выделить всё

megacli -Pdgetmissing -a0

Вы должны получить ответ подобный этому:

Код: Выделить всё

Adapter 0 - Missing Physical drives
No. Array Row Size Expected
0 0 4 1907200 MB

Подсветить диск который надо менять (подставьте нужное значение [E:S]):

Код: Выделить всё

megacli -PdLocate -start -PhysDrv [29:8] -a0

На некоторых шасси могут быть проблемы с индикацией. Это лечится такой командой:

Код: Выделить всё

megacli -AdpSetProp \{UseDiskActivityforLocate -1\} -aALL

В этом случае для маркировки диска будет использоваться лампочка активности.

Удаляем неисправный и вставляем новый диск.

Прекращаем подсветку и проверяем состояние диска:

Код: Выделить всё

megacli -PdLocate -stop -PhysDrv [29:8] -a0
megacli -pdInfo -PhysDrv [29:8] -a0

Может так случится, что он содержит метаданные от другого массива RAID (Foreign Configuration). Ваш контроллер не позволит использовать такой диск. Для проверки наличия Foreign Configuration

Код: Выделить всё

megacli -CfgForeign -Scan -aALL

Команда удаления Foreign Configuration (если вы уверены)

Код: Выделить всё

megacli -CfgForeign -Сlear -aALL<code>

Запускаем процесс замены

Код: Выделить всё

megacli -PdReplaceMissing -PhysDrv [32:4] -Array0 -row4 -a0

[32:4] - это параметры диска которым вы меняете неисправный

Rebuild drive

Код: Выделить всё

megacli -PDRbld -Start -PhysDrv [32:4] -a0

Проверка процесса ребилда

Код: Выделить всё

megacli -PDRbld -ShowProg -PhysDrv [32:4] -a0

Использование smartctl

Получить список id

Код: Выделить всё

megacli -PDlist -a0 | grep '^Device Id:'| awk '{print $3}'

Получить данные смарт по диску с ID=9

Код: Выделить всё

smartctl /dev/sda -d megaraid,9 -a

для диска с интерфейсом sata

Код: Выделить всё

smartctl /dev/sda -d sat+megaraid,9 -a

пример скрипта для получения данных о всех дисках

Код: Выделить всё

#!/bin/sh

for arg in `megacli -PDlist -a0 | grep '^Device Id:'| awk '{print $3}'`
do
smartctl /dev/sda -d sat+megaraid,${arg} -l devstat
#smartctl /dev/sda -d sat+megaraid,${arg} -a
done

Для контроля состояния дисков с помощью демона smartd нужно закомментировать DEVICESCAN в /etc/smartd.conf и добавить:

Код: Выделить всё

/dev/sda -d sat+megaraid,0 -a -s L/../../3/02
/dev/sda -d sat+megaraid,1 -a -s L/../../3/03
/dev/sda -d sat+megaraid,2 -a -s L/../../3/04
/dev/sda -d sat+megaraid,3 -a -s L/../../3/05

Значения параметров типа /3/02 - /3/05 определяют время запуска тестов для заданного диска