🚀 go-pugleaf

** groblus <groblus@wp.pl> wrote:

> Witam.  Czy moglbym prosic o garsc wskazowek dotyczacych mozliwie najlepszego
> rozwiązania jesli chodzi o serwer plikow w sieci lokalnej. Wymagana jest duza
> wydajnosc systemu.

Czyli jaka konkretnie?

> Obecnie ok. 30 kompow korzysta z jednego centralnego fileservera - kompy to
> winda, server linux. Komputery staraja sie zwykle "niemal jednoczesnie"
> dostac do danych, jesli danych jest nieduzo to nie ma wiekszego problemu bo
> dzieki naturalnej desychronizacji klientow serwer daje rade. Schody
> zacznynaja sie kiedy danych jest duzo - wtedy siec sie zapycha a samotny
> fileserwer nie daje rady przepchnac odpowiedniej ilosci danych przez swoj
> pojedynczy interfejs sieciowy. Szukam zatem rozwiazania ktore pozwoliloby
> wlozyc do serwera kilka sieciowek i wykonac jakis loadbalancing.

Bonding/EtherChannel. Ale to i tak nie wiele zmieni w kwestii klientów.

> Obecnie ze wzgledu na windowsowosc klientow obowiazujacym prtokolem jest
> samba, jednakze istnialaby techniczna mozliwosc zamiany wiekszosci klientow w
> maszyny linuxowe wiec rozwiazania linux-linux tez sa ok.  Czy  mozecie mnie
> jakos naprowadzic na odpowiednie rozwiazanie, najlepiej dajace sie normalnie
> zaimplmentowac (odrazu dodam ze solaris z zfs'em odpada bo nie ma stabilenego
> klienta linuxowego)

Ale Ty chyba mylisz pojęcia. Co innego sieciowy system plików, a co innego
system plików lokalnie na serwerze. Sieciowy system plików jest "nad" systemem
lokalnym tzn. udostępnia pliki przez sieć z lokalnego systemu plików (i przez
to przyjmuje jego ograniczenia względem semantyki itp.).

Istnieją też inne mechanizmy (niż pewnie Samba czy NFS) udostępniania danych
przez sieć np. iSCSI.

Generalnie to może zanim zaczniesz się zastanawiać czego użyć i jak to
zaimplementować to zastanów się jaka jest charakterystyka systemu? Z tego co
napisałeś to rozumiem, że wąskim gardłem jest sieć, więc wymiana sieciowego (a
lokalnego tym bardziej) systemu plików nic tu nie poradzi.

-- 
    +                                 '                      .-.     .
                               ,                         *    ) )
  http://kosmosik.net/                     .           .     '-'  . kK

Konrad Kosmowski pisze:
> ** groblus <groblus@wp.pl> wrote:
> 
>> Witam.  Czy moglbym prosic o garsc wskazowek dotyczacych mozliwie najlepszego
>> rozwiązania jesli chodzi o serwer plikow w sieci lokalnej. Wymagana jest duza
>> wydajnosc systemu.
> 
> Czyli jaka konkretnie?

trudno ocenic - teoretycznie to jest to odczyt 500MB danych per komputer 
w okresie ok 30 min, tyle ze odczyt odbywa sie partiami (odczyt -> 
przetwarzanie -> odczyt ->..itd) komputerow starajacych sie dokonac tego 
jest okolo 30 wiec do przepchniecia jest okolo 15GB danych na 30 min. 
Wiec daje to srednio ok 8MB na sekunde. Niby gigabitowy ethernet 
powinien dac rade, ale nie daje. Glownie ze wzgledu na to iz odczyt nie 
jest ciagly a dyskretny i zapewne ze wzgledu na znaczaca liczbe kolizi 
ze wzgledu na jeden marny interfejs sieciowy i to wlasnie staram sie 
rozwiazac. Dyski sa szybsze, w srodku stoi xeon ktory sie nudzi a z 
karty leca iskry. siec jest prosta jak drut - dwa duze switche 
liknsys/cisco z fileserverem wpietym jak kazdy z nodow.

>> Obecnie ok. 30 kompow korzysta z jednego centralnego fileservera - kompy to
>> winda, server linux. Komputery staraja sie zwykle "niemal jednoczesnie"
>> dostac do danych, jesli danych jest nieduzo to nie ma wiekszego problemu bo
>> dzieki naturalnej desychronizacji klientow serwer daje rade. Schody
>> zacznynaja sie kiedy danych jest duzo - wtedy siec sie zapycha a samotny
>> fileserwer nie daje rady przepchnac odpowiedniej ilosci danych przez swoj
>> pojedynczy interfejs sieciowy. Szukam zatem rozwiazania ktore pozwoliloby
>> wlozyc do serwera kilka sieciowek i wykonac jakis loadbalancing.
> 
> Bonding/EtherChannel. Ale to i tak nie wiele zmieni w kwestii klientów.

czego nie zmieni w kwestii klientow ? prosze o konkrety

>> Obecnie ze wzgledu na windowsowosc klientow obowiazujacym prtokolem jest
>> samba, jednakze istnialaby techniczna mozliwosc zamiany wiekszosci klientow w
>> maszyny linuxowe wiec rozwiazania linux-linux tez sa ok.  Czy  mozecie mnie
>> jakos naprowadzic na odpowiednie rozwiazanie, najlepiej dajace sie normalnie
>> zaimplmentowac (odrazu dodam ze solaris z zfs'em odpada bo nie ma stabilenego
>> klienta linuxowego)
> 
> Ale Ty chyba mylisz pojęcia. Co innego sieciowy system plików, a co innego
> system plików lokalnie na serwerze. Sieciowy system plików jest "nad" systemem
> lokalnym tzn. udostępnia pliki przez sieć z lokalnego systemu plików (i przez
> to przyjmuje jego ograniczenia względem semantyki itp.).
> 
> Istnieją też inne mechanizmy (niż pewnie Samba czy NFS) udostępniania danych
> przez sieć np. iSCSI.
> 
> Generalnie to może zanim zaczniesz się zastanawiać czego użyć i jak to
> zaimplementować to zastanów się jaka jest charakterystyka systemu? Z tego co
> napisałeś to rozumiem, że wąskim gardłem jest sieć, więc wymiana sieciowego (a
> lokalnego tym bardziej) systemu plików nic tu nie poradzi.
> 
Masz racje - waskim gardlem jest siec i nie nie myle sytemu plikow 
siecowego i lokalnego. Jedynym obslugiwanym natywnie przez winde 
sieciowym systemem plikow jest SMB wiec stad moje rozwazania o zmianie 
systemy na komputrach. Doskanale rozumiem iz system sieciowy jest tylko 
interfejsem dla systemow lokalnych. Siec jest 1Gb na switchach 
linksys/cisco, karty siecowe intela - latwo tego sytemu juz nie zmienie. 
Ale moglbym zastsowac taki sieciowy system plikow ktory pozwoliby na 
użycie wielu interfacow sieciowych zapewniajacy automatyczny loadbalancing.

Te szczegoly juz chyba wszystko objasniaja

kuba

** groblus <groblus@wp.pl> wrote:

>>> Witam.  Czy moglbym prosic o garsc wskazowek dotyczacych mozliwie
>>> najlepszego rozwiązania jesli chodzi o serwer plikow w sieci lokalnej.
>>> Wymagana jest duza wydajnosc systemu.

>> Czyli jaka konkretnie?

> trudno ocenic - teoretycznie to jest to odczyt 500MB danych per komputer w
> okresie ok 30 min, tyle ze odczyt odbywa sie partiami (odczyt ->
> przetwarzanie -> odczyt ->..itd) komputerow starajacych sie dokonac tego jest
> okolo 30 wiec do przepchniecia jest okolo 15GB danych na 30 min.  Wiec daje
> to srednio ok 8MB na sekunde. Niby gigabitowy ethernet powinien dac rade, ale
> nie daje.

Jak rozumiem masz gigabitowy ethernet rozprowadzony do stacji...

(...)

>>> Obecnie ok. 30 kompow korzysta z jednego centralnego fileservera - kompy to
>>> winda, server linux. Komputery staraja sie zwykle "niemal jednoczesnie"
>>> dostac do danych, jesli danych jest nieduzo to nie ma wiekszego problemu bo
>>> dzieki naturalnej desychronizacji klientow serwer daje rade. Schody
>>> zacznynaja sie kiedy danych jest duzo - wtedy siec sie zapycha a samotny
>>> fileserwer nie daje rady przepchnac odpowiedniej ilosci danych przez swoj
>>> pojedynczy interfejs sieciowy. Szukam zatem rozwiazania ktore pozwoliloby
>>> wlozyc do serwera kilka sieciowek i wykonac jakis loadbalancing.

>> Bonding/EtherChannel. Ale to i tak nie wiele zmieni w kwestii klientów.

> czego nie zmieni w kwestii klientow ? prosze o konkrety

No po ich stronie nadal wąskim gardłem będzie sieć, ale zwiększy przepustowość
do serwera. Generalnie możesz zestawić kilka kanałów ethernet via bonding i
zmierzyć czy się poprawia.

>>> Obecnie ze wzgledu na windowsowosc klientow obowiazujacym prtokolem jest
>>> samba, jednakze istnialaby techniczna mozliwosc zamiany wiekszosci klientow
>>> w maszyny linuxowe wiec rozwiazania linux-linux tez sa ok.  Czy  mozecie
>>> mnie jakos naprowadzic na odpowiednie rozwiazanie, najlepiej dajace sie
>>> normalnie zaimplmentowac (odrazu dodam ze solaris z zfs'em odpada bo nie ma
>>> stabilenego klienta linuxowego)

>> Ale Ty chyba mylisz pojęcia. Co innego sieciowy system plików, a co innego
>> system plików lokalnie na serwerze. Sieciowy system plików jest "nad"
>> systemem lokalnym tzn. udostępnia pliki przez sieć z lokalnego systemu
>> plików (i przez to przyjmuje jego ograniczenia względem semantyki itp.).

>> Istnieją też inne mechanizmy (niż pewnie Samba czy NFS) udostępniania danych
>> przez sieć np. iSCSI.

>> Generalnie to może zanim zaczniesz się zastanawiać czego użyć i jak to
>> zaimplementować to zastanów się jaka jest charakterystyka systemu? Z tego co
>> napisałeś to rozumiem, że wąskim gardłem jest sieć, więc wymiana sieciowego
>> (a lokalnego tym bardziej) systemu plików nic tu nie poradzi.

> Masz racje - waskim gardlem jest siec i nie nie myle sytemu plikow siecowego
> i lokalnego.

To o co Ci chodziło z tym ZFS? Bo tak to zrozumiałem, że ZFS ma być odpowiedzią
na bolączki z siecią. :)

> Jedynym obslugiwanym natywnie przez winde sieciowym systemem plikow jest SMB

Niejedynym. :) Ale o innych (np. WebDAV) nie warto wspominać.

> wiec stad moje rozwazania o zmianie systemy na komputrach.  Doskanale
> rozumiem iz system sieciowy jest tylko interfejsem dla systemow lokalnych.
> Siec jest 1Gb na switchach linksys/cisco, karty siecowe intela - latwo tego
> sytemu juz nie zmienie.  Ale moglbym zastsowac taki sieciowy system plikow
> ktory pozwoliby na użycie wielu interfacow sieciowych zapewniajacy
> automatyczny loadbalancing.

No czyli bonding.

Tylko ja bym nie nazwał tego load balancingiem. Load balancing polega na tym w
uproszczeniu, że masz jeden interfejs (logicznie rzecz biorąc, nie chodzi mi o
kartę sieciową) czyli load balancer i ten load balancer rozdziela przetwarzanie
dalej na klaster maszyn.

Load balancing stosuje się w momencie kiedy przykładowo jeden serwer się nie
wyrabia z przetwarzaniem i chcemy te przetwarzanie rozproszyć na N serwerów.

W opisywanym przez Ciebie przypadku tak nie jest - serwer się wyrabia tylko
problemem jest interfejs sieciowy.

Pomóc może zestawienie kilku kanałów ethernetowych w jeden logiczny interfejs
sieciowy czyli bonding w odpowiednim trybie.

> Te szczegoly juz chyba wszystko objasniaja

No nadal nie do końca. W zależności od tego co jest przetwarzane i jaka jest
tego charakterystyka można część danych zbufforować na kliencie, czy przesyłać
część danych kiedy połączenie między klientem, a serwerem nie jest wysycone.

To zależy od charakterystyki przetwarzania i może coś dać, ale niekoniecznie
musi.

Np. wyżej napisałeś, że to jest odczyt->przetwarzanie->odczyt (nie widzę zapisu
- nie wiem czy pominąłeś). Jeżeli z góry wiadomo co będzie odczytywane w
następnej kolejności to może można to pobierać już w momencie przetwarzania
(albo w ogóle np. dużo wcześniej).

Tak czy inaczej napisałeś, że klienci z Windows, więc pozostaje to co oferuje
Windows w kwestii optymalizacji po stronie aplikacyjnej. Może np. użycie BITS
(Background Inteligent Transfer Service) da się do czegoś zaaplikować, czy
technik w rodzaju multicastu.

No ale to wymaga w ogóle wejścia w warstwy aplikacji, a nie samej sieci.

-- 
    +                                 '                      .-.     .
                               ,                         *    ) )
  http://kosmosik.net/                     .           .     '-'  . kK