Построение RAID на LSI MegaRAID

[amazing]

Столкнулся с такой проблемой:
Имеется:
PCI-X LSI MegaRAID SATA 150-6
4 x SATA HDD Barracuda 7

В 4х дисковом RAID 5 скорость прыгает от 130 мб/сек до 1 мб/сек.

Вот наглядность для RAID 0 (по одному диску в массиве):

hdparm -t /dev/sda /dev/sda: Timing buffered disk reads: 4 MB in 4.06 seconds = 1008.03 kB/sec hdparm -t /dev/sdb /dev/sdb: Timing buffered disk reads: 4 MB in 3.98 seconds = 1.01 MB/sec hdparm -t /dev/sdc /dev/sdc: Timing buffered disk reads: 4 MB in 3.98 seconds = 1.00 MB/sec

С HDD все в порядке.
Может кто сталкивался с такими железками... Что подкрутить?

Слышал различные мнения о SATA-рейдах. Зачастую они были схожи - в краце: хамно редкостное. Но не до такой же степени?! Фиг с ним. Пускай по одному диску в массиве будет. Но хотя бы добиться обычных 50-55 мб/сек.

 

[aleks]

ядро какое?

 

[amazing]

2.6.11 + grsec

 

[amazing]

Сорри, за долгое молчание, не доходили руки поковыряться снова.

Экспериментально выяснено, при выставлении Policy Cached I/O, вместо Direct - скорость становится похожей на правду. Но!

Не пойму почему так:
RAID 5 (3х hdd)

hdparm -Tt /dev/sda Timing cached reads: 2628 MB in 2.00 seconds = 1313.54 MB/sec Timing buffered disk reads: 164 MB in 3.02 seconds = 54.29 MB/sec hdparm -Tt /dev/sda1 Timing cached reads: 2612 MB in 2.00 seconds = 1304.89 MB/sec Timing buffered disk reads: 114 MB in 3.03 seconds = 37.63 MB/sec

Конкретнее, непонятно почему скорость sda и sda1 так сильно отличаются. Замерял несколько раз - результат практически один. Сторонних обращений к массиву не было.
Сначала подумал, что из-за fs на sda1.

Вот что говорит RAID 0, 1x hdd SCSI, кстати, тоже LSI Megaraid:

hdparm -Tt /dev/sdb /dev/sdb: Timing cached reads: 2628 MB in 2.00 seconds = 1313.54 MB/sec Timing buffered disk reads: 274 MB in 3.02 seconds = 90.77 MB/sec hdparm -Tt /dev/sdb1 /dev/sdb1: Timing cached reads: 2604 MB in 2.00 seconds = 1302.20 MB/sec Timing buffered disk reads: 274 MB in 3.02 seconds = 90.83 MB/sec

sda1 - раздел на 400 гб, fs - reiserfs (пустой)
sdb1 - раздел на 36 гб, fs - reiserfs (почти пустой)

 

[aleks]

а загрузка проца какая в момент тестирования? И модули контроллеров из ядра или сторонние?

 

[amazing]

30-40% - чтение из кеша
5-10% - чтение с массива
Загрузка одного из процессоров.
Модули из ядра.
ИМХО, дело не в линуксе, а в реализации рейда, в контроллере сата...

 

[aleks]

Дык это всё равно всё софтовое...
"Железный" RAID гораздо дороже стоит :wink:

 

[amazing]

Что же есть железный рейд тогда? Который стоит дороже - называется аппаратный?
Пожалуйста, конкретно напиши что должно присутствовать для того, что бы рейд можно было назвать аппаратным.

 

[aleks]

Что же есть железный рейд тогда? Который стоит дороже - называется аппаратный?:D

Как я понимаю, в хорошем контроллере операции в-в мало грузят ЦП... Хотя могу ошибаться, т.к. с такими железками пару раз ненадолго сталкивался.

Вообще у тебя наворочено: SMP, reiser, grsec...
Чтобы локализовать попробуй без grsec и с одним процессором.
Google ты уже наверняка весь перерыл 8)

 

[amazing]

Ок. Про железячный рейд я ничего нового для себя не услышал.
Скажу как я понимаю "апаратный рейд".
Во-первых, существует дополнительный процессор на контроллере, который берет на себя некоторые задачи и потребности рейда. К примеру у RAID 5 этот процессор вычисляет XOR функцию.
Во-вторых, все операции по постороению рейда, миграции, ребилда и т.п. выполняются через биос адаптера или же через софт, управляющий функциями ЖЕЛЕЗОК. И после построения, для ОС будет видно массив как один физический диск.

Дак вот. Часть задач берет на себя контроллер (в часности - XOR процессор). Но все равно придется гнать данные c PCI, на FSB и далее. Работенка и для CPU найдется От сюда и загрузка.

Да, кстати, не задумывался почему нет аппаратных 0, 1 рейдов?

Я понимаю, что есть контроллеры гораздо дороже, но там свои навороты, очевидно и пошустрее процессор стоит... В общем не в ту степь мы уехали. Не в том причина, что рейд софтовый. Это не так.

Да не особо и наворочено ) grsec нужон... (уверяю, он тут не при чем) Профиль деятельности такой. А с райзером просто эксперименты провожу на файлопомойке

Кстати, под виндой тоже тестил - на глаз такая же ерунда была (с policy direct i/o). Сейчас винда там больше не живет

Гугль рыл - ничего толком не нашел.
Только два вывода:
- интел рейд - полное г...;
- сата рейд - еще хуже.
Кстати, LSI делает рейды на чипах интел Думаю пояснять дальше не требуется )
Так же знакомые говорили, кто с подобными железками ковырялся, примерно тоже самое. Плевались.
Но все же надежда еще теплится. Пока скорость 5 рейда удовлетворительна. Попробуем. Отклонения будут - напишу.

Быть может я в чем-то и ошибаюсь. Если бы все было гладко - тогда и темы этой не было

Спасибо за проявленый интерес к топику

 

[Djonmf]

Сам строил 2 серверных башни на матерях asus там софтовый рейд, тоже были проблемы, делал рейд уровня 1+0 и при ресете один из sata винтов отваливался , и естественно массив начинал ребилдится, прошивка биоса матери последняя, к сожалению скорость не замерял, т.к. это не кретично, но гемора с этими матерями поимел.

 

[amazing]

Djonmf
Встроенные рейды использовать не рекомендуется.

может кому полезно будет:
на данном контроллере LSI есть функция поддержки кэширования записи write-back - она существенно увеличивает скорость записи, но если нет на контроллере батарейки, как говорят, - устанавливать небезопасно.

Добавлено спустя 5 минут 5 секунд:

кстати, вот тест на LSI Logic / Symbios Logic MegaRAID 532 SCSI 320-2X

raid 5, 6 scsi hdd seagate 10k

hdparm -t /dev/sda /dev/sda: Timing buffered disk reads: 436 MB in 3.00 seconds = 145.13 MB/sec