🚀 go-pugleaf

W dniu 2020-04-27 o 12:19, Irek.N. pisze:
> Mam pewną zagwozdkę związaną z wydajnością sieci i potrzebuję upewnić się, że jest OK lub NOK. Stawiam że jest wszystko dobrze i sieć jest wydajna. Sieć 1000 oczywiście, serwer NAS i z niego pobierane/zapisywane pliki.
> 
> Jeden plik 2047MB zapisywał się na serwerze 21s, pobierał 22s. Wychodzą transfery na poziomie 97MB/s i 93MB/s.

Z uwzględnieniem wszystkich opisanych warunków - dla mnie wygląda przyzwoicie.

> Momentami windows pokazywało 117MB/s, czy to oznacza wysycenie sieci?

Weź w duży cudzysłów to co Windows pokazuje...
Bo co i jak oni liczą to pewnie nikt nie wie.
Banalna różnica: MB vs MiB    https://pl.wikipedia.org/wiki/Megabajt

> 
> Katalog z 412 plikami o wielkości 2140MB odpowiednio zapis 27s, odczyt z serwera 26s. Czyli 79MB/s i 82MB/s.
> 
> Za to katalog z 51tys. plików i 3,5tys. katalogów, łączna objętość to 1890MB mulił strasznie. Zapis na serwerze 332s, odczyt 375s. Czyli transfery 6MB/s i 5MB/s.

Im więcej mniejszych plików, tym niższe średnie transfery, ponieważ oprócz czystego transferu danych via net dochodzą straty czasu na operacjach na systemie plików.
Główne pytanie: po której stronie sieci masz wąskie gardło?

> 
> To normalne zdrowe wartości, czy też jest coś słabego w sieci?
> Komp z W7P64, starawy co prawda, ale transfery pomiędzy dyskami (HDD-SSD) przekraczają 500MB/s jak zapisuję na SSD, więc chyba daje radę.
> 
> Możecie cokolwiek powiedzieć na tej podstawie?

Jeżeli ten NAS jest sprzętowy (typu QNAP, Synology), sprawdź sytuację w monitorze wydajności, bo może mu pamięci brakuje.
Czasem w takich sytuacjach dołożenie 1-2GB RAM daje efekty zbliżone do cudu...

> Irek.N.

>> Momentami windows pokazywało 117MB/s, czy to oznacza wysycenie sieci?
> 
> Weź w duży cudzysłów to co Windows pokazuje...
> Bo co i jak oni liczą to pewnie nikt nie wie.
> Banalna różnica: MB vs MiB    https://pl.wikipedia.org/wiki/Megabajt

Problem jak przy dyskach :)

> Im więcej mniejszych plików, tym niższe średnie transfery, ponieważ 
> oprócz czystego transferu danych via net dochodzą straty czasu na 
> operacjach na systemie plików.
> Główne pytanie: po której stronie sieci masz wąskie gardło?

Muszę sprawdzić, jest trop.

> Jeżeli ten NAS jest sprzętowy (typu QNAP, Synology), sprawdź sytuację w 
> monitorze wydajności, bo może mu pamięci brakuje.
> Czasem w takich sytuacjach dołożenie 1-2GB RAM daje efekty zbliżone do 
> cudu...

To jest Synology 814+ o ile pamiętam, z macierzą R5 na SSD. Mogę zrobić 
taki sam test z 2412 ale z R5 na 9xHDD. Ciekawe, zrobię to.

W ogóle w czym rzecz. Mam program, niezwykle dla mnie ważny, który 
otwiera bardzo powoli projekty z sieci. Niby wiadomo dlaczego, ale 
zauważyłem, że ten sam projekt otwierany z sieci w wersji z przed 6 lat, 
pomimo tego, że pliki są większe, to otwiera się 2x szybciej. Kuriozum 
jest takie, że projekt otworzony w starej wersji, zgrany do nowej wersji 
(a tylko tak można) już otwiera się wolniej, więc to nie jest problem 
sieci. Chyba że program robi w nowej wersji coś innego niż przy 
otwieraniu starych wersji. Tego właśnie próbuję się dowiedzieć.
Program jaki kiedyś miałem otwierał znacząco szybciej niż teraz po 
aktualizacji do nowej wersji.
Pliki są mniejsze w nowej wersji, ale nieznacznie. Nie jest to też 
kwestia jakiejś kompresji, gdyż zarówno na słabym jak i mocnym kompie 
wyniki są podobne. Różnice znikają jak otwieram z dysku lokalnego.

Ok, dzięki za wskazówkę. Zapodam jutro test i zobaczę co się dzieje. Z 
tego co pamiętam, to zużycie RAM jest bardzo niskie, procek też nie 
szczytował, ale kto wie, takiego testu nie robiłem.

Miłego.
Irek.N.

Synology 814, Marvell Amada 1.33GHz, 1GB RAM, Raid 5 na 4xSSD Samsung 
Evo o ile pamiętam. DMS 5.0-4493 Update 4


Kopiowanie 2047MB na sieć:
sieć średnio 95MB/s,
wykorzystanie pamięci...spadło z 16 do 11% (!?),
procesor wzrósł do 71% system, 2% czas we/wy, 12% user

Kopiowanie 2047MB z sieci:
sieć średnio 100MB/s,
wykorzystanie pamięci jak drut 11% (żadnych zafalowań),
procesor 51% system, 2% czas we/wy, 7% user
----------------------------------------
Kopiowanie ponad 50tys drobnych plików na serwer:
sieć... pojedyncze MB/s,
pamięć skoczyła aż na 12%,
procek skacze, ale powiedzmy 53% system, 20% czas we/wy, 15% user.

Kopiowanie 50k plików na dysk z serwera:
siec...leży na 3-4MB/s,
pamięć bez zmian...13%
procek skacze, max 18% system, 13% user, 3% czas we/wy.
----------------------------------------

Podział pamięci jest taki:
14M zarezerwowane,
131M Używane,
406M Bufor,
458M pamięć podręczna,
14M wolne
W podsumowaniu zaś wykorzystane 12% z 1GB, czyli liczy tylko używane, a 
co z buforem i pamięcią podręczną? Leży odłogiem?

Ciekawostka, przerwałem kopiowanie 51tys. plików NA serwer, a procek 
został na 65% i dopiero po 2-3 minutach spadło na 5%. Przy kopiowaniu z 
serwera na hdd spadł od razu.

Komuś to coś mówi, może podpowiedzieć co zrobić, aby drobne pliki 
kopiowały się szybciej?

Irek.N.

W dniu 2020-04-27 o 19:58, Irek.N. pisze:
> Synology 814, Marvell Amada 1.33GHz, 1GB RAM, Raid 5 na 4xSSD Samsung 
> Evo o ile pamiętam. DMS 5.0-4493 Update 4
>
> Komuś to coś mówi, może podpowiedzieć co zrobić, aby drobne pliki 
> kopiowały się szybciej?

Sp-rawdzaj co jakis czas czy w Menadzerze Zadań w programach w tle nie 
wlazł Ci coś takiego jak "Ochrona oprogramowania". Zamykaj ten proces.
Jak wyłączyłam w Usługach tą ochronę to potem okazało się, że system 
Windows mam nieaktywowany, musiałam znowu toto włączyć.

Animka pisze:
> Sp-rawdzaj co jakis czas czy w Menadzerze Zadań w programach w tle nie 
> wlazł Ci coś takiego jak "Ochrona oprogramowania". Zamykaj ten proces.
> Jak wyłączyłam w Usługach tą ochronę to potem okazało się, że system 
> Windows mam nieaktywowany, musiałam znowu toto włączyć.
> 

Ok, ale powiedz mi, czy zamknięcie tego procesu cokolwiek Ci poprawiło w 
podobnej kwestii? Poza tym jakie to rozwiązanie, skoro i tak musiałaś 
włączyć go ponownie :(

Miłego.
Irek.N.

W dniu 2020-04-27 o 19:58, Irek.N. pisze:
> (...)
> Ciekawostka, przerwałem kopiowanie 51tys. plików NA serwer, a procek 
> został na 65% i dopiero po 2-3 minutach spadło na 5%. Przy kopiowaniu z 
> serwera na hdd spadł od razu.
> 

Po zapisie pliku (pojedynczego) jest aktualizowana tabela plików w 
FAT/EXT czy co tam masz. A że NAS zbuforował pliki, to i bufor musi zapisać.
Przy odczycie nie ma czegoś takiego.

> Komuś to coś mówi, może podpowiedzieć co zrobić, aby drobne pliki 
> kopiowały się szybciej?
> 

Po sieci raczej nic nie zrobisz.
Lokalnie były programy typu RAM-copy, które kopiowały pliki "blokowo" i 
później seryjnie była aktualizacja wpisów w FAT. Radykalnie to 
przyśpieszało pracę.



-- 
Pozdrawiam.

Adam

W dniu 2020-04-28 o 12:49, Adam pisze:
> (...)
> Po sieci raczej nic nie zrobisz.
> Lokalnie były programy typu RAM-copy, które kopiowały pliki "blokowo" i 
> później seryjnie była aktualizacja wpisów w FAT. Radykalnie to 
> przyśpieszało pracę.
> 

Chyba nie Ram-Copy, tylko inny program. Ram-Copy robił tylko za cache.

-- 
Pozdrawiam.

Adam

W dniu 2020-04-27 o 22:52, Irek.N. pisze:
> Animka pisze:
>> Sp-rawdzaj co jakis czas czy w Menadzerze Zadań w programach w tle nie 
>> wlazł Ci coś takiego jak "Ochrona oprogramowania". Zamykaj ten proces.
>> Jak wyłączyłam w Usługach tą ochronę to potem okazało się, że system 
>> Windows mam nieaktywowany, musiałam znowu toto włączyć.
>>
> 
> Ok, ale powiedz mi, czy zamknięcie tego procesu cokolwiek Ci poprawiło w 
> podobnej kwestii? Poza tym jakie to rozwiązanie, skoro i tak musiałaś 
> włączyć go ponownie :(

Wkurzał mnie widok w panelu sterowania: System nie został aktywowany. 
Aktywuj.........

> Po zapisie pliku (pojedynczego) jest aktualizowana tabela plików w 
> FAT/EXT czy co tam masz. A że NAS zbuforował pliki, to i bufor musi 
> zapisać.
> Przy odczycie nie ma czegoś takiego.

No tak, logiczne, thx.

> Po sieci raczej nic nie zrobisz.

A po stronie PC? Skoro serwer w odczycie nic nie robi, to znaczy że 
serwer niewinny, czyli PC ładując do ramu* muli?

Miłego.
Irek.N.
* otwierając projekt

W dniu 2020-04-28 o 22:20, Irek.N. pisze:
>> Po zapisie pliku (pojedynczego) jest aktualizowana tabela plików w 
>> FAT/EXT czy co tam masz. A że NAS zbuforował pliki, to i bufor musi 
>> zapisać.
>> Przy odczycie nie ma czegoś takiego.
> 
> No tak, logiczne, thx.
> 
>> Po sieci raczej nic nie zrobisz.
> 
> A po stronie PC? Skoro serwer w odczycie nic nie robi, to znaczy że 
> serwer niewinny, czyli PC ładując do ramu* muli?
> 

Otwierając lokalnie czasy opóźnienia są albo milisekundowe (dla HDD) 
albo bliskie zeru (SSD).

Natomiast otwierając "z sieci" (czyli w domyśle prawdopodobnie Samba) te 
czasy są jeszcze dłuższe - narzut protokołów, dogadania się urządzeń, 
informacji zwrotnych itp.
Dziwić może, że czasy otwarcia projektu w starej wersji w tych samych 
warunkach z sieci, względem otwarcia tegoż samego projektu w nowej 
wersji i w tych samych warunkach różnią się.
Tu trzeba by postawić jakiś monitor, który by sprawdzał czy też logował 
odwołania do plików. Może pliki w nowej wersji nie są tylko otwierane, 
ale także aktualizowane podczas otwarcia?

Co to za program? Jaki numer wersji starej i nowej?
Są jakieś dema tych programów?


-- 
Pozdrawiam.

Adam

> Dziwić może, że czasy otwarcia projektu w starej wersji w tych samych
> warunkach z sieci, względem otwarcia tegoż samego projektu w nowej
> wersji i w tych samych warunkach różnią się.
> Tu trzeba by postawić jakiś monitor, który by sprawdzał czy też logował
> odwołania do plików. Może pliki w nowej wersji nie są tylko otwierane,
> ale także aktualizowane podczas otwarcia?

Nie bardzo wiadomo, ale samo otwarcie nie zmienia wersji. Po zamknięciu 
i nie zapisaniu pliki pozostają w wersji starej, a jak dam zapisz, to 
pierwsze zapisanie trochę trwa, więc chyba w tym momencie są podmieniane.

> Co to za program? Jaki numer wersji starej i nowej?
> Są jakieś dema tych programów?

Solid Works. Stara wersja to dla mnie 2014R1, a nowa to 2019R5. Każdy z 
nich chodzi przez 30 dni free, dopiero po tym czasie licencja wygasa.

Też uważam, że coś jest nie tak z otwieraniem w wersji nowej. Nie ma 
powodu aby trwało to dłużej niż w starej wersji. Co ciekawe różnice 
znikają na HDD/SDD. Przedziwne.

Miłego.
Irek.N.
ps. zrobiłem te same testy wydajnościowe na Synology 2412+ z Raid5 na 
9xHDD. Wyniki troszeczkę lepsze, ale przy małych plikach oznacza to 
transfer zamiast 3.5MB/s powiedzmy 4.2MB/s. Nie planuję więc zmieniać 
serwera.

Zrobiłem też test na kompie bez antivira, z wyłączoną zaporą, czysta 
W10P i wyniki bez zmian, nowa wersja otwiera się prawie 2x wolniej.

Irek.N.

W dniu 2020-04-29 o 11:10, Irek.N. pisze:
>> Dziwić może, że czasy otwarcia projektu w starej wersji w tych samych
>> warunkach z sieci, względem otwarcia tegoż samego projektu w nowej
>> wersji i w tych samych warunkach różnią się.
> 
> Nie bardzo wiadomo, ale samo otwarcie nie zmienia wersji. Po zamknięciu i nie zapisaniu pliki pozostają w wersji starej, a jak dam zapisz, to pierwsze zapisanie trochę trwa, więc chyba w tym momencie są podmieniane.
> 
> Solid Works. Stara wersja to dla mnie 2014R1, a nowa to 2019R5. Każdy z nich chodzi przez 30 dni free, dopiero po tym czasie licencja wygasa.
> 
> Też uważam, że coś jest nie tak z otwieraniem w wersji nowej. Nie ma powodu aby trwało to dłużej niż w starej wersji. Co ciekawe różnice znikają na HDD/SDD. Przedziwne.

A może to nie jest aż tak dziwne?
Może nowy format to kontener z wewnętrznie rozbudowaną strukturą logiczną wielu mniejszych plików, które przy otwarciu muszą zostać przeanalizowane/skompilowane?
Może to wszystko jest jeszcze spakowane i wymaga dekompresji i zapisania w tymczasowym folderze w 1 etapie otwarcia pliku?
Sprawdzałeś różnice w Relase Notes między podanymi wersjami softu?

Nie podałeś rozszerzeń plików.
Sprawdź je w opisach na https://www.file-extensions.org/solidworks-file-extensions

W dniu 2020-04-29 o 12:53, Piotr Lechowicz pisze:
> A może to nie jest aż tak dziwne?

Może, ale dla mnie jest.

> Może nowy format to kontener z wewnętrznie rozbudowaną strukturą
> logiczną wielu mniejszych plików, które przy otwarciu muszą zostać
> przeanalizowane/skompilowane?

Ok, ale na dysku nie obserwuję niczego niezwykłego. Tworzą się pliki ~* 
jak zawsze, wersja nie jest konwertowana na dysku, być może w pamięci 
już jest. Tylko że wtedy nowa wersja powinna się szybciej otwierać, a 
nie wolniej, wszak konwersji już nie trzeba w locie robić!

> Może to wszystko jest jeszcze spakowane i wymaga dekompresji i zapisania
> w tymczasowym folderze w 1 etapie otwarcia pliku?
> Sprawdzałeś różnice w Relase Notes między podanymi wersjami softu?

Sprawdziłem na wypasionym i żałośnie słabym kompie (mam 8-10 letniego 
Dell-a) i różnic w zasadzie nie ma, tak samo długo się otwiera, te same 
zależności. Dostawca softu też nie ma pomysłu i szuka o co chodzi.

> Nie podałeś rozszerzeń plików.
> Sprawdź je w opisach na
> https://www.file-extensions.org/solidworks-file-extensions

Ale co mam sprawdzać? Czy są właściwe? Są.
SLDPRT jako część, SLDASM jako złożenie.

Miłego.
Irek.N.

W dniu 2020-04-29 o 14:57, Irek.N. pisze:

>> Nie podałeś rozszerzeń plików.
>> Sprawdź je w opisach na
>> https://www.file-extensions.org/solidworks-file-extensions
> 
> Ale co mam sprawdzać? Czy są właściwe? Są.
> SLDPRT jako część, SLDASM jako złożenie.
> 

Choćby to:

The sldasm is the "assembly file" which places *.sldprt "part geometry files" in their final locations within a 3D scene.
An assembly file can reference children *.sldasm assembly files and/or *.sldprt part files.
A .sldprt file is a part of SolidWorks CAD drawing. It must be combined with all other parts to create final object

Wygląda, że otwarcie projektu to otwarcie xx innych plików...
Każdy z nich musi się pociągnąć z sieci, a temat wielu małych plików już był wałkowany...

> Wygląda, że otwarcie projektu to otwarcie xx innych plików...
> Każdy z nich musi się pociągnąć z sieci, a temat wielu małych plików już
> był wałkowany...

Ale to wiemy. Przynajmniej dla mnie to oczywiste jest. Otwieram SLDASM, 
a on zaciąga sobie powiedzmy 1000 innych plików SLDPRT.
To że to wolno idzie, że z dysku zamiast 20 minut mam w 3 minuty otwarte 
też wiemy i z tym nie dyskutuję - choć bardzo chciał bym, ale 
napisaliście jasno, dużo małych plików = powolna praca.

Mnie zastanawia, dlaczego otwieranie starej wersji, gdzie pliki są 
większe* idzie szybciej, niż otwieranie nowej wersji. Ten sam projekt, 
tylko zapisany ponownie w nowej wersji otwiera się 2x wolniej, choć 
zajmuje mniej miejsca. Co ciekawe gdy otwieram z dysku, różnice zanikają 
- dlatego szukam co może być w sieci takiego, że obserwuję co obserwuję.

Miłego.
Irek.N.
* przykładowy projekt składający się z 852 plików daje 350MB dla wersji 
starej i 275MB dla wersji nowej.

Trochę źle napisałem, bo wygląda na to, że szukam problemu tylko w solidzie.
Oczywiście szukam, ale jeżeli udało by mi się zrobić tak, aby sieć przy 
małych plikach w dużej ilości działała nieznacznie gorzej niż przy 
dużych plikach, to nawet mając błąd w solidzie - pracowało by się znośniej.

Taki jest główny cel - nie tracić codziennie rano przykładowo 25 minut 
na otwarcie projektu. :(

Miłego.
Irek.N.

W dniu 2020-04-29 o 15:32, Irek.N. pisze:
> Trochę źle napisałem, bo wygląda na to, że szukam problemu tylko w 
> solidzie.
> Oczywiście szukam, ale jeżeli udało by mi się zrobić tak, aby sieć przy 
> małych plikach w dużej ilości działała nieznacznie gorzej niż przy 
> dużych plikach, to nawet mając błąd w solidzie - pracowało by się znośniej.
> 
> Taki jest główny cel - nie tracić codziennie rano przykładowo 25 minut 
> na otwarcie projektu. :(
> 

Spróbuj wykorzystać iSCSI zamiast samby.

Tylko uważaj: protokół iSCSI bierze urządzenie na wyłączność. Nie można 
równocześnie z tego samego zasobu korzystać na dwóch lub więcej 
komputerach. A przynajmniej tak wynika z moich krótkich doświadczeń z 
przed kilku lat.


-- 
Pozdrawiam.

Adam

> Spróbuj wykorzystać iSCSI zamiast samby.
> 
> Tylko uważaj: protokół iSCSI bierze urządzenie na wyłączność. Nie można 
> równocześnie z tego samego zasobu korzystać na dwóch lub więcej 
> komputerach. A przynajmniej tak wynika z moich krótkich doświadczeń z 
> przed kilku lat.

Jak na własność, to się nie uda. Praca grupowa :)

Miłego.
Irek.N.

> Jak na własność, to się nie uda. Praca grupowa :)

Wygląda ciekawie. Nawet jak będzie wywłaszczać zasoby, to i tak postaram 
się sprawdzić.

THX za pomysł.
Miłego.
Irek.N.

W dniu 2020-04-30 o 09:46, Irek.N. pisze:
>> Jak na własność, to się nie uda. Praca grupowa :)
> 
> Wygląda ciekawie. Nawet jak będzie wywłaszczać zasoby, to i tak postaram 
> się sprawdzić.
> 

Daj znać, czy czasy krótsze.


-- 
Pozdrawiam.

Adam

> Daj znać, czy czasy krótsze.

Jest jeszcze ciekawiej.
Dostawca oprogramowania zrobił u siebie testy i ma inne wyniki niż ja. Z 
ważnych rzeczy zasugerował otwieranie projektu z udostępnionego udziału 
na urządzeniu z Windows. Poszedłem tą drogą i mam jeszcze ciekawsze 
spostrzeżenia.

Z serwera NAS ruch dla małych plików był na poziomie 5-6MB/s, z udziału 
na notebooku z W10P/SSD było podobnie, może nawet minimalnie gorzej.

Jednak przy otwieraniu z NAS dla przykładowego projektu potrzeba 4m09s 
dla wersji 14 i 7m20s dla wersji 19. To samo otwierane z SSD lokalnego 
mieści się w 37-40 sekundach dla obu wersji.

TYMCZASEM otwierane z udziału windowsianego przez sieć (tą samą sieć) 
trwa 1m18s dla wersji 14 i 1m13s dla wersji 19!

Co Wy na to, bo ja już białe myszki zaczynam obserwować na biurku. :(

Wyniki powtarzalne, nie ma mowy o pomyłce. Zatem pojawia się pytanie, co 
jest takiego na styku Synology-PC, że pomimo dużych transferów, szybkiej 
sieci projekty otwierają się tak wolno, a na dodatek w wersji nowej tak 
potwornie wolno.

Żeby było jeszcze ciekawiej. Notebook i serwer mają 1000, a otwieranie 
testowałem na karcie 100, bo taką ma komputer przeze mnie użyty. Nic to 
nie zmienia, z udziału windowsianego otwiera się nieznacznie wolniej niż 
z SSD!

Ktoś coś może? PLS.

Miłego.
Irek.N.

> Żeby było jeszcze ciekawiej. Notebook i serwer mają 1000, a otwieranie
> testowałem na karcie 100, bo taką ma komputer przeze mnie użyty. Nic to
> nie zmienia, z udziału windowsianego otwiera się nieznacznie wolniej niż
> z SSD!

Przepraszam, sprawdzałem jeszcze raz. Komputer na którym otwierałem ma 
wynegocjowane 1000Mb/s.
Irek.N.

On 2020-04-30, Irek.N. <tajny@jakis.taki.jest> wrote:
>> Daj znać, czy czasy krótsze.
>
> Jest jeszcze ciekawiej.
> Dostawca oprogramowania zrobił u siebie testy i ma inne wyniki niż ja. Z 
> ważnych rzeczy zasugerował otwieranie projektu z udostępnionego udziału 
> na urządzeniu z Windows. Poszedłem tą drogą i mam jeszcze ciekawsze 
> spostrzeżenia.
>
> Z serwera NAS ruch dla małych plików był na poziomie 5-6MB/s, z udziału 
> na notebooku z W10P/SSD było podobnie, może nawet minimalnie gorzej.
>
> Jednak przy otwieraniu z NAS dla przykładowego projektu potrzeba 4m09s 
> dla wersji 14 i 7m20s dla wersji 19. To samo otwierane z SSD lokalnego 
> mieści się w 37-40 sekundach dla obu wersji.
>
> TYMCZASEM otwierane z udziału windowsianego przez sieć (tą samą sieć) 
> trwa 1m18s dla wersji 14 i 1m13s dla wersji 19!
>
> Co Wy na to, bo ja już białe myszki zaczynam obserwować na biurku. :(
>
> Wyniki powtarzalne, nie ma mowy o pomyłce. Zatem pojawia się pytanie, co 
> jest takiego na styku Synology-PC, że pomimo dużych transferów, szybkiej 
> sieci projekty otwierają się tak wolno, a na dodatek w wersji nowej tak 
> potwornie wolno.
>
> Żeby było jeszcze ciekawiej. Notebook i serwer mają 1000, a otwieranie 
> testowałem na karcie 100, bo taką ma komputer przeze mnie użyty. Nic to 
> nie zmienia, z udziału windowsianego otwiera się nieznacznie wolniej niż 
> z SSD!
>
> Ktoś coś może? PLS.

A jak wyglądają obciążenia sieci/cpu od strony peceta z SW i NAS? Tak pi x oko. 
Jest jakaś korelacja?

-- 
Marcin

> A jak wyglądają obciążenia sieci/cpu od strony peceta z SW i NAS? Tak pi x oko. 
> Jest jakaś korelacja?
> 

2020-04-27 godzina 19:58
Irek.N. pisze:
 > Synology 814, Marvell Amada 1.33GHz, 1GB RAM, Raid 5 na 4xSSD Samsung
 > Evo o ile pamiętam. DMS 5.0-4493 Update 4
 >
 >
 > Kopiowanie 2047MB na sieć:
 > sieć średnio 95MB/s,
 > wykorzystanie pamięci...spadło z 16 do 11% (!?),
 > procesor wzrósł do 71% system, 2% czas we/wy, 12% user
 >
 > Kopiowanie 2047MB z sieci:
 > sieć średnio 100MB/s,
 > wykorzystanie pamięci jak drut 11% (żadnych zafalowań),
 > procesor 51% system, 2% czas we/wy, 7% user
 > ----------------------------------------
 > Kopiowanie ponad 50tys drobnych plików na serwer:
 > sieć... pojedyncze MB/s,
 > pamięć skoczyła aż na 12%,
 > procek skacze, ale powiedzmy 53% system, 20% czas we/wy, 15% user.
 >
 > Kopiowanie 50k plików na dysk z serwera:
 > siec...leży na 3-4MB/s,
 > pamięć bez zmian...13%
 > procek skacze, max 18% system, 13% user, 3% czas we/wy.
 > ----------------------------------------

Miłego.
Irek.N.

W dniu 2020-05-01 o 11:01, Irek.N. pisze:
> 
>> A jak wyglądają obciążenia sieci/cpu od strony peceta z SW i NAS? Tak 
>> pi x oko. Jest jakaś korelacja?
>>
> 
> 2020-04-27 godzina 19:58
> Irek.N. pisze:
>  > Synology 814, Marvell Amada 1.33GHz, 1GB RAM, Raid 5 na 4xSSD Samsung
>  > Evo o ile pamiętam. DMS 5.0-4493 Update 4
>  >
>  >
>  > Kopiowanie 2047MB na sieć:
>  > sieć średnio 95MB/s,
>  > wykorzystanie pamięci...spadło z 16 do 11% (!?),
>  > (...)

Ale inaczej wygląda od strony protokołu sieciowego transfer plików, a 
inaczej otwarcie pliku w trybie RW.


-- 
Pozdrawiam.

Adam

On 2020-05-01, Adam <a.g@poczta.onet.pl> wrote:
> W dniu 2020-05-01 o 11:01, Irek.N. pisze:
>> 
>>> A jak wyglądają obciążenia sieci/cpu od strony peceta z SW i NAS? Tak 
>>> pi x oko. Jest jakaś korelacja?
>>>
>> 
>> 2020-04-27 godzina 19:58
>> Irek.N. pisze:
>>  > Synology 814, Marvell Amada 1.33GHz, 1GB RAM, Raid 5 na 4xSSD Samsung
>>  > Evo o ile pamiętam. DMS 5.0-4493 Update 4
>>  >
>>  >
>>  > Kopiowanie 2047MB na sieć:
>>  > sieć średnio 95MB/s,
>>  > wykorzystanie pamięci...spadło z 16 do 11% (!?),
>>  > (...)
>
> Ale inaczej wygląda od strony protokołu sieciowego transfer plików, a 
> inaczej otwarcie pliku w trybie RW.

No właśnie zastanawiałem się, czy obciążenie cpu/sieci przy otwieraniu plików, 
nie dałoby dodatkowych informacji co się dzieje. Np. czy przez te 4 min 
obciazenie sieci jest w miare rownomierne czy mocno skacze.

-- 
Marcin

> No właśnie zastanawiałem się, czy obciążenie cpu/sieci przy otwieraniu plików,
> nie dałoby dodatkowych informacji co się dzieje. Np. czy przez te 4 min
> obciazenie sieci jest w miare rownomierne czy mocno skacze.
>


Od strony PC,
-sieć stabilnie 2.89%, czasami wskoczy 3% wykorzystania,
-CPU 10-30%? z czego 2 rdzenie leżą sobie odłogiem, dwa inne pracują 
(otwieram na 8-10 letnim sprzęcie),
-RAM stabilnie 27% na początku do 29% na sam koniec otwierania.

Od strony NAS
-sieć przypomina uzębienie piły do drewna, ale mieści się cały czas 
pomiędzy 2-5MB/s, zmiany szybkie,
-RAM stabilnie 19%,
-CPU odpowiednio 9% user, 11% system, 3% we/wy, ale są piki (2-3 przez 7 
minut otwierania) gdzie mamy 13% user, 16% system, 6% we/wy.

Zrobię taki sam test z otwieraniem z udziału na windowsie.

Miłego.
Irek.N.

Przy otwieraniu z udziału na windzie, pomijając że trwa to 7x krócej, w 
zasadzie żadnych wielkich odchyłek nie obserwuję w stosunku do 
otwierania z NAS-a.
Na PC procek skacze o 10% do góry, sieć jak by nawet wolniej, bo około 
2%. Pamięć też troszeczkę do góry, ale różnica 27/29 na 32% to żadna 
różnica przecież.

Zrobiłem jeszcze test kopiowania tego konkretnego katalogu z projektem 
(852 pliki, 275MB). Kopiują się podobnie, powiedział bym nawet że z 
NAS-a minimalnie szybciej! Żadnych sensownych różnic w obciążeniach na 
PC przy kopiowaniu z NAS czy też udział/win nie zaobserwowałem.

Jajca jak balony.
Irek.N.
ps. wyciągnąłem z szafy starego DELL-a PE1950 do testów. Nie pamiętam 
tylko w jakim stanie go zostawiłem, więc to może potrwać.

On 2020-05-01, Irek.N. <tajny@jakis.taki.jest> wrote:
> Przy otwieraniu z udziału na windzie, pomijając że trwa to 7x krócej, w 
> zasadzie żadnych wielkich odchyłek nie obserwuję w stosunku do 
> otwierania z NAS-a.
> Na PC procek skacze o 10% do góry, sieć jak by nawet wolniej, bo około 
> 2%. Pamięć też troszeczkę do góry, ale różnica 27/29 na 32% to żadna 
> różnica przecież.
>
> Zrobiłem jeszcze test kopiowania tego konkretnego katalogu z projektem 
> (852 pliki, 275MB). Kopiują się podobnie, powiedział bym nawet że z 
> NAS-a minimalnie szybciej! Żadnych sensownych różnic w obciążeniach na 
> PC przy kopiowaniu z NAS czy też udział/win nie zaobserwowałem.
>
> Jajca jak balony.
> Irek.N.
> ps. wyciągnąłem z szafy starego DELL-a PE1950 do testów. Nie pamiętam 
> tylko w jakim stanie go zostawiłem, więc to może potrwać.

Mam takiego 1U pod łóżkiem :) Niestety po 3 latach nieruszania już nie wstaje :( 
Ten NAS to Synology? (nie chce mi się przekopywać). Próbowałeś grzebać w 
Advanced option dla SMB? Np. ustawić na sztywno protokoły na 1 lub 2? Nie, że 
mam coś konkretnego do zasugerowania ale tam jest tych opcji od cholery a 
wygląda, że to coś po stronie NAS.

Jeszcze mógłbyś spróbować po NFS, tylko nie wiem czy są jakieś rozsądne darmowe 
klienty pod Windows.
	
-- 
Marcin

On 2020-05-01, Irek.N. <tajny@jakis.taki.jest> wrote:
>> No właśnie zastanawiałem się, czy obciążenie cpu/sieci przy otwieraniu plików,
>> nie dałoby dodatkowych informacji co się dzieje. Np. czy przez te 4 min
>> obciazenie sieci jest w miare rownomierne czy mocno skacze.
> Od strony PC,
> -sieć stabilnie 2.89%, czasami wskoczy 3% wykorzystania,
> -CPU 10-30%? z czego 2 rdzenie leżą sobie odłogiem, dwa inne pracują 
> (otwieram na 8-10 letnim sprzęcie),
> -RAM stabilnie 27% na początku do 29% na sam koniec otwierania.
>
> Od strony NAS
> -sieć przypomina uzębienie piły do drewna, ale mieści się cały czas 
> pomiędzy 2-5MB/s, zmiany szybkie,
> -RAM stabilnie 19%,
> -CPU odpowiednio 9% user, 11% system, 3% we/wy, ale są piki (2-3 przez 7 
> minut otwierania) gdzie mamy 13% user, 16% system, 6% we/wy.

Ta piłą zastanawia. Teraz jak obczaić co to przerywa... Na Synology dostaniesz 
się po ssh (ssh admin@IPNAS, hasło jak pod www), to w miarę normalny Linux ze 
standardowymi poleceniami powłoki. Może ktoś podpowie jak to z tego poziomu 
diagnozować, bo sam za cienki tu jestem.

-- 
Marcin

> Mam takiego 1U pod łóżkiem :) Niestety po 3 latach nieruszania już nie wstaje :( 

Mój też nie chciał, ale udało się (najdłużej szukałem hasła).
2 procki 2.8GHz, 16GRAM, mirror (o dziwo...) na 15krpm Seagatach. 
Staaaare dzieje. :)
Otwarcie projektu z niego trwało 58 sekund. W porównaniu do 37 sekund z 
lokalnego dysku SSD i ponad 7 minut z NAS-a to raczej rewelacyjny wynik, 
prawda?.

Tylko co, kolejny klocek tylko dlatego że nie wiem o co chodzi?
Draństwo jak nic nie robi bierze ponad 300W, kolejny UPS? No i ten hałas 
4 wentylatorów. God, please give me a sign... :(

Miłego.
Irek.N.

W dniu 2020-05-02 o 22:15, Irek.N. pisze:

> God, please give me a sign... :(

Nie to, żebym się podszywał ;-)

> 
> Miłego.
> Irek.N.
> 

Jest jeszcze kilka rzeczy do ruszenia, które sprawdzał w podobnej sytuacji autor wątku
https://www.reddit.com/r/synology/comments/740mf3/synology_and_smb2_intermittent_long_delays/
Może stamtąd jakaś inspiracja wpadnie...

Pozdro

> Może stamtąd jakaś inspiracja wpadnie...

Nie wpadło. :(
Posłałem zgłoszenie do Synology, zobaczymy co powiedzą na problem.

Miłego.
Irek.N.

> Posłałem zgłoszenie do Synology, zobaczymy co powiedzą na problem.

Wyjaśniono mi mechanizm i wygląd na to, że powodem jest zastosowanie SMB.
Oczywiście iSCSI rozwiązuje problem, ale generuje kolejny, coś musi 
zarządzać dostępem i uprawnieniami, czyli kolejny serwer traktujący 
NAS-a po przez iSCSI jako zwykły dysk twardy.
Jasne, jest metoda, bo serwer może być w tym momencie mały, jednodyskowy.
Pytanie, jeżeli się zdecyduję na takie rozwiązanie, w co uderzyć?
Windows jakoś nie budzi mojego zaufania. Novell chyba już nie istnieje 
(25-30 lat temu byłem adminem, co i tak nie oznacza że poradzę sobie z 
nowymi produktami należycie).

Zastanawia mnie jeszcze jedno. Skoro windows nawet z kiepskiego, 
udostępnionego katalogi ładuje tak szybko, to co oni tam wykorzystują?*
Może należało by iść tym tropem i spróbować doinstalować jakąś 
usługę/protokół do NAS-a? Zadałem to pytanie, zobaczymy czy odpowiedzą 
coś sensownego.

Irek.N.
* serio, ktoś wie jak to wygląda?

Ok, temat chyba zakończony.
Jestem mądrzejszy, nieusatysfakcjonowany niestety, ale optymistycznie 
nastawiony :)
Będzie trzeba wydać jak sądzę kilka tysięcy i problem się rozwiąże.

Irek.N.

> Ta piłą zastanawia. Teraz jak obczaić co to przerywa... Na Synology dostaniesz 
> się po ssh (ssh admin@IPNAS, hasło jak pod www), to w miarę normalny Linux ze 
> standardowymi poleceniami powłoki. Może ktoś podpowie jak to z tego poziomu 
> diagnozować, bo sam za cienki tu jestem.
> 

Odpuściłem temat bo się nie znam na tym, a wychodzi że linuchopodobne 
serwery się po prostu nie nadają. Postawiłem nowego DELL-a z WS2019 i 
otwieram w 53 sekundy zamiast 7 minut 20 sekund.

Miłego.
Irek.N.

Jeszcze tylko mały update, jeśli kogoś interesuje.

Pierwsze otwieranie trwa zazwyczaj minimalnie dłużej niż kolejne. Po 
przejściu na sieć 10G takie zjawisko już nie występuje. Najwyraźniej 
wyczerpałem możliwości samej jednostki PC, po prostu szybciej nie 
potrafi przetworzyć plików.
Otwieranie po przez 10G w stosunku do 1G jest szybsze o zaledwie 11%.

Irek.N.