🚀 go-pugleaf

ein wrote:
> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
> wyniki, może komuś się przyda.

Konfiguracja Debiana 7:
LVM+ext4 z domyślnymi ust.

ein wrote:
> ein wrote:
>> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
>> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
>> wyniki, może komuś się przyda.
> 
> Konfiguracja Debiana 7:
> LVM+ext4 z domyślnymi ust.

Dyski to: ST1000NM0033-9ZMGA04

ein <ein@no.spam> writes:

> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
> wyniki, może komuś się przyda.
>
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
> records in
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s
>
>
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s
>
>
> Wyniki prawie 2 razy lepsze w porównaniu z programowym rozwiązaniem
> (mdadm).

Lepsze? Raczej dają (prawie) dwukrotnie szybsze pojedyncze liniowe
transfery. Linux w swoim RAID-1 nie robi strippingu, zamiast tego
balansuje obciążenie, co pozwala podwoić liczbę operacji / sekundę
(i to jest typowo istotne).

Ale przecież możesz użyć RAID-10 z layoutem "far", będziesz miał tak jak
tam. No może trochę wydajniej, te powyższe wyniki jakieś zaniżone.

BTW obydwa rozwiązania są programowe.

> W środku dwa dyski Seagate 1 TB ES.3 7200 SATA (złożone w RAID1).
> Najtaniej jak znalazłem: 3'500 zł.
>
> Typ obudowy serwera	Tower
> Nazwa rodziny produktów	PowerEdge T110 II

Jasne że to słabiutka maszynka, ale w takim teście liczy się głównie
wydajność dysków, i ich konfiguracja.
-- 
Krzysztof Hałasa

Krzysztof Halasa wrote:
> ein <ein@no.spam> writes:
> 
>> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
>> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
>> wyniki, może komuś się przyda.
>>
>> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
>> records in
>> 2000000+0 records out
>> 8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s
>>
>>
>> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
>> 2000000+0 records out
>> 8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s
>>
>> Wyniki prawie 2 razy lepsze w porównaniu z programowym rozwiązaniem
>> (mdadm).
> 
> Lepsze? Raczej dają (prawie) dwukrotnie szybsze pojedyncze liniowe
> transfery. 

O to mi właśnie chodzi, w programowym (mdadm) niestety to tak nie
chodzi, a szkoda.

> Linux w swoim RAID-1 nie robi strippingu, zamiast tego
> balansuje obciążenie, co pozwala podwoić liczbę operacji / sekundę
> (i to jest typowo istotne).

Zależy od zastosowania. Ja większość czasu czekam jednak na zakończenie
jednego procesu, w wirtualizacji ma to również spore znaczenie,
przynajmniej dla mnie, gdzie gość jest obok nudzącego się gospodarza.

> Ale przecież możesz użyć RAID-10 z layoutem "far", będziesz miał tak jak
> tam. No może trochę wydajniej, te powyższe wyniki jakieś zaniżone.

Moim celem było porównanie tego kontrolera skonfigurowanego w RAID1 z
jego programowym odpowiednikiem. Zgodzę się, że RAID-10 w Linuksie ma
naprawdę spore możliwości.

Zgodzę się, że 10-15 % wciąż mi brakuje. Jutro wyciągnę jeden z tych
dysków i sprawdzę jak to faktycznie wygląda.

> BTW obydwa rozwiązania są programowe.

Nie rozumiem do czego się Panie Krzysztofie odnosisz.

>> W środku dwa dyski Seagate 1 TB ES.3 7200 SATA (złożone w RAID1).
>> Najtaniej jak znalazłem: 3'500 zł.
>>
>> Typ obudowy serwera	Tower
>> Nazwa rodziny produktów	PowerEdge T110 II
> 
> Jasne że to słabiutka maszynka, ale w takim teście liczy się głównie
> wydajność dysków, i ich konfiguracja.

Porównując maszynki o podobnej cenie np. HP ML110 G5/6/7/8 ichni
kontroler (tam jest gł. AFAIR MegaRAID 1xx/2xx) wypada to naprawdę
słabo. Na tyle słabo, że w ogóle nie opłaca się stosować sprzętowego
rozwiązania. Przemawiają za tym dwie kwestie:
- sekwencyjna prędkość odczytu RAID1 sprzętowego dla jednego procesu
jest o jakieś 10-15 % mniejszy w porównaniu z programowym,
- dla dwóch czytających procesów, nie ma striping-u, co powoduje, że
każdy z tych dwóch procesów otrzymuje jakieś 35-45 % sumarycznego transferu.

ein <ein@no.spam> writes:

>> Ale przecież możesz użyć RAID-10 z layoutem "far", będziesz miał tak jak
>> tam. No może trochę wydajniej, te powyższe wyniki jakieś zaniżone.
>
> Moim celem było porównanie tego kontrolera skonfigurowanego w RAID1 z
> jego programowym odpowiednikiem. Zgodzę się, że RAID-10 w Linuksie ma
> naprawdę spore możliwości.

Tak jak pisałem, oba rozwiązania są programowe. Kwestia procesora, na
którym się program wykonuje. Może to być główny CPU, i wtedy mamy np.
Linux MD, albo procesor (typowo dużo słabszy, ale często wystarczający)
na karcie (itp.) RAID, i wtedy to jest kontroler RAID.

Akurat w tym przypadku zapewne odpowiednikiem danego trybu tego
kontrolera jest tryb MD RAID-10 z layoutem "far", a nie RAID-1. Chyba że
to jakiś tryb adaptacyjny, z pseudo strippingiem albo balansowaniem
obciążenia zależnie od sytuacji(?).

> Porównując maszynki o podobnej cenie np. HP ML110 G5/6/7/8 ichni
> kontroler (tam jest gł. AFAIR MegaRAID 1xx/2xx) wypada to naprawdę
> słabo. Na tyle słabo, że w ogóle nie opłaca się stosować sprzętowego
> rozwiązania. Przemawiają za tym dwie kwestie:
> - sekwencyjna prędkość odczytu RAID1 sprzętowego dla jednego procesu
> jest o jakieś 10-15 % mniejszy w porównaniu z programowym,

Typowe zachowanie takich mirrorów. Słabszy CPU, większe opóźnienia.
Aczkolwiek ruch na szynie np. PCIe jest 2x mniejszy niż z Linux MD.

> - dla dwóch czytających procesów, nie ma striping-u, co powoduje, że
> każdy z tych dwóch procesów otrzymuje jakieś 35-45 % sumarycznego transferu.

Sumarycznego transferu 2 dysków bez RAIDa, jak rozumiem. Normalne
zachowanie RAID. Ale w typowych warunkach, gdzie na dyskach wisi więcej
niż podwójne obciążenie (a typowo jest dużo więcej), taki RAID-1 jest
wydajniejszy. Oczywiście nie od MD RAID-1, chyba że wliczamy baterię
i flushe do podtrzymywanej pamięci.

Z MD także są różne sytuacje, np. starsze maszynki oparte na CPU Intela
miały bardzo wąskie gardło pomiędzy CPU i SATA (w praktyce grubo poniżej
500 MB/s), i momentalnie się to wysycało. Z kartą z RAID-1 takiego
problemu nie było (2x mniejsze wymagania, poza tym karty PCIe można
podpiąć też do mostu północnego).

W tej chwili, i właściwie praktycznie zawsze wydajność dysków była
ograniczona liczbą operacji/sekundę. Stąd przewaga RAID-1,
i nieistotność braku strippingu. To właśnie dlatego dyski SCSI/SAS były
dużo wydajniejsze niż IDE/SATA, mimo teoretycznie niewiele większych
transferów liniowych.

Oczywiście od tej zasady były wyjątki, teraz może mniej istotne.
Np. jednym z nich była praca z video, np. z DV (25 Mbit/s) albo
z nieskompresowanymi strumieniami np. z frame grabbera (np. PAL 704x576
50i to ok. 20 MB/s). Obecnie pojedynczy dysk bez trudu zapisze kilka
strumieni np. YUV420 jednocześnie, a takich DV lub np. H.264 nawet HD,
jest w stanie zapisać jeszcze więcej. Kiedyś, żeby zapisać jeden
strumień (nieskompresowany, bo kompresorów realtime praktycznie nie
było) trzeba było użyć nawet kilku dysków w strippingu.
-- 
Krzysztof Hałasa

ein wrote:

a sprawdzałeś taki parametr jak 
/proc/sys/dev/raid/speed_limit_max

zazwyczaj jest ustawiony na 200000 i dopiero modyfikacja go pomaga odżyć
RAID-owi,

pozdrawiam Krystian


> Jestem w ciężkim szoku jeżeli chodzi o wydajność I/O w zapisie i
> odczycie sekwencyjnym w tak mocno budżetowym sprzęcie, więc publikuje
> wyniki, może komuś się przyda.
> 
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=22000000+0
> records in
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 38.4861 s, 213 MB/s
> 
> 
> root@debian:~# dd if=/dev/zero of=/test.bin bs=4096 count=2000000
> 2000000+0 records out
> 8192000000 bytes (8.2 GB) copied, 46.4666 s, 176 MB/s
> 
> 
> Wyniki prawie 2 razy lepsze w porównaniu z programowym rozwiązaniem (mdadm).
> 
> root@debian:~# lspci
> 00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v2/Ivy Bridge DRAM
> Controller (rev 09)
> 00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v2/3rd Gen Core
> processor PCI Express Root Port (rev 09)
> 00:1a.0 USB controller: Intel Corporation 6 Series/C200 Series Chipset
> Family USB Enhanced Host Controller #2 (rev 04)
> 00:1c.0 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset
> Family PCI Express Root Port 1 (rev b4)
> 00:1c.4 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset
> Family PCI Express Root Port 5 (rev b4)
> 00:1d.0 USB controller: Intel Corporation 6 Series/C200 Series Chipset
> Family USB Enhanced Host Controller #1 (rev 04)
> 00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev a4)
> 00:1f.0 ISA bridge: Intel Corporation C202 Chipset Family LPC Controller
> (rev 04)
> 00:1f.2 SATA controller: Intel Corporation 6 Series/C200 Series Chipset
> Family SATA AHCI Controller (rev 04)
> 00:1f.3 SMBus: Intel Corporation 6 Series/C200 Series Chipset Family
> SMBus Controller (rev 04)
> 01:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic
> SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
> 03:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5722
> Gigabit Ethernet PCI Express
> 04:03.0 VGA compatible controller: Matrox Electronics Systems Ltd. MGA
> G200eW WPCM450 (rev 0a)
> 
> cat /proc/cpuinfo:
> model name      : Intel(R) Xeon(R) CPU E3-1220 V2 @ 3.10GHz
> 
> dmidecode:
> Dell PowerEdge T110 II
> 
> W środku dwa dyski Seagate 1 TB ES.3 7200 SATA (złożone w RAID1).
> Najtaniej jak znalazłem: 3'500 zł.
> 
> Typ obudowy serwera    Tower
> Nazwa rodziny produktów        PowerEdge T110 II
> Ilość zainstalowanych procesorów       1 szt.
> Maksymalna ilość procesorów    1 szt.
> Typ zainstalowanego procesora  Intel Xeon /Quad-Core/
> Kod procesora  E3-1220
> Częstotliwość procesora        3,1 GHz
> Częstotliwość szyny QPI/DMI    5 GT/s
> Pojemność pamięci cache [L3]   8 MB
> Technologia Hyperthreading     Nie
> Ilość zainstalowanych dysków   2 szt.
> Maksymalna ilość dysków        4 szt.
> Pojemność zainstalowanego dysku        
> 
>     1 TB
>     1 TB
> 
> Typ zainstalowanego dysku      SATA III
> Sterownik macierzy     PERC H200 RAID 0,1,10
> Pojemność zainstalowanej pamięci       4096 MB
> Maksymalna pojemność pamięci   32768 MB
> Rodzaj zainstalowanej pamięci  DDR3
> Częstotliwość szyny pamięci    1600 MHz
> Ilość banków pamięci   4 szt.
> Ilość wolnych banków pamięci   3 szt.
> Ilość slotów PCI-E 8x  2 szt.
> Ilość slotów PCI-E 4x  1 szt.
> Ilość slotów PCI-E 1x  1 szt.
> Typ karty graficznej   Matrox G200eW [8MB]
> Karta sieciowa 10/100/1000 Mbit/s
> Napędy wbudowane (zainstalowane)       DVD-RW
> Ilość zasilaczy        1 szt.
> Moc zasilacza (zasilaczy)      305 Wat
> Szerokość      189,35 mm
> Wysokość       463,82 mm
> Głębokość      420,3 mm

Krystian wrote:
> ein wrote:
> 
> a sprawdzałeś taki parametr jak 
> /proc/sys/dev/raid/speed_limit_max
> 
> zazwyczaj jest ustawiony na 200000 i dopiero modyfikacja go pomaga odżyć
> RAID-owi,

Albo nie doczytałeś tematu albo nie rozumiesz parametru:

The /proc/sys/dev/raid/speed_limit_min is config file that reflects the
current “goal” rebuild speed for times when non-rebuild activity is
current on an array. The speed is in Kibibytes per second, and is a
per-device rate, not a per-array rate . The default is 1000.

The /proc/sys/dev/raid/speed_limit_max is config file that reflects the
current “goal” rebuild speed for times when no non-rebuild activity is
current on an array. The default is 100,000.


Nie ma to żadnego związku z odczytem, bądź zapisem sekwencyjnym/losowym
z maksymalną prędkością.