SCSI Raid 5, два диска вышли из строя и сделан ребилд

Как-то я уже писал о феномене высокого профессионализма системных администраторов. Граждане, умеющие устанавливать операционную систему и настраивать сетевые протоколы, немедленно начинают ощущать себя бриллиантами невиданной огранки, гордо начинают звать себя "сисадмин" и требовать оплаты своего бесценного труда пудовыми золотыми слитками. В процессе осуществления услуг по ремонту жестких дисков и восстановления файлов часто приходится с такими сталкиваться.

Лично я насмотрелся на сисадминов когда искал толкового сборщика и настройщика компьютеров, который мог бы диагностировать аппаратные неисправности. Когда по телефону я впервые услышал от соискателя, что у него есть опыт работы сисадмином, я обрадовался. Нашелся искомый человек, да не абы кто, а системный администратор. Когда при личной встрече сисадмин не смог идентифицировать тип сокета на плате S754, энтузиазма во мне поубавилось. Дальнейшая череда блистательных сисадминов окончательно расставила все точки над "ё". В результате, когда я слышал от человека "я опытный компьютерщик, я сисадмин", то автоматически заносил его в блек лист.

Вот такие вот талантливые сисадмины работают не только на мелких предприятиях, но и в таких крупных и уважаемых конторах, как "Газпром". За последние двенадцать месяцев из Газпрома ко мне обращались дважды. Один раз из Ставропольского головного офиса, а второй, совсем недавно, из подразделения в Изобильненском районе.

SCSI cервер, вид сбоку

Оба случая похожи, как два харда из одной партии. В распоряжении админов крутой сервер, с горячей заменой всего, чего можно, от блоков питания (которых стоит в корпусе два) до модулей памяти. Дисковый массив на сервере состоит из пяти "скази" винчестеров Seagate Cheetah, объединенных в Raid массив пятого уровня.

Поломанные HDD SCSI из Raid-5

В один момент один из дисков зажигает красную лампочку и спикер на контроллере начинает пищать, сигнализируя о неисправности. Но, поскольку для Raid-5 такая ситуация не является смертельной, падает только скорость обмена данными, а сама ОС грузится и работает в штатном режиме, сисадмины решают, что ничего страшного не случилось. Подумаешь, "красным диск загорелся", все же работает!

Сервер со скази рейд массивомВосстановление информации с Raid 5

Когда через какое-то время падает второй диск, сисадмины приходят в некоторое волнение — сервер перестает работать, и вместо околачивания груш на высокооплачиваемой работе, надо что-то делать и восстанавливать работу предприятия.

Год назад была такая картина, тогда сразу обратились ко мне и данные удалось восстановить относительно просто.

В этот раз все серьезнее — сисадмины в Рыздвяновском Газпроме получают большую зарплату, и в своих силах и умениях уверены пропорционально больше. Когда из рейд-массива вылетел второй накопитель, сисадмины повезли поломанный сервер с Raid5 SCSI в сервис-центр, который продает и чинит Aquarius в Ставрополе.

В сервисе сидит еще один грамотей с записью "системный администратор" в трудовой книжке. Тот принимает соломоново решение — заменить один из поломанных HDD SCSI на новый, и запустить rebuild. Параллельно дает газпромовским сисадминам мой телефон, и те звонят для консультации мне. В этот момент заканчивается ребилд с одним новым диском, и сисадмины коллегиально решают заменить давно вышедший из строя диск еще одним новым и запустить raid rebuild повторно. Узнав об этом в процессе телефонных консультаций, я приношу свои искренние поздравления, и сообщаю о том, что в этот самый миг они убивают все свои бухгалтерские базы со всеми бекапами, начиная с 2002 года, наповал. Сисадмин говорит, — "а вдруг получится?!". Я плачу навзрыд, и прерываю разговор.

Теперь сервер стоит у меня в мастерской, и третий день я имею развлечение, пытаясь собрать из посекторных копий всех старых рабочих, новых свежее-отребилденных, и старых, которые мне пришлось отремонтировать, SCSI винчестеров рабочий рейдмассив с валидными данными.