🚀 go-pugleaf

To może uzupełnię:
Ponieważ serwer plików (NAS) nie widzi niestety dysku sieciowego, a tym bardziej dysk sieciowy nie widzi serwera plików, dane są przerzucane przez komputer.
TC pokazuje prędkość transferu (z weryfikacją zapisu) średnio 8,5 Mbytes/s (nie wiem, dlaczego tak wolno i co jest wąskim gardłem, ethernet gigabitowy).
Pliki są nieliczne (no kilkaset ;)) i duże średnio po 0,7 Gb-3 Gb (multimedialne, głównie *.mts czy *.ts), praktycznie nie ma tworzenia nowych podkatalogów.
Według Task Managera wykorzystanie łącza gigabitowego to średnio 12%-15%, wykorzystanie CPU to średnio 20%-25%
Przy 8 Mbytes/s:
2 TB = 2.000 GB = 2.000.000 MB
250.000 sekund?
70 godzin czyli 3 doby?

W TC włączona standardowa metoda kopiowania (zalecana) - może tu jest pies pogrzebany?
A może trzeba/warto wyłączyć cache? Zwiększyć MTU/wielkość ramek? 

On 14/07/2016 06:17,  ąćęłńóśźż wrote:
> To może uzupełnię:
> Ponieważ serwer plików (NAS) nie widzi niestety dysku sieciowego, a tym bardziej dysk sieciowy nie widzi serwera plików, dane są przerzucane przez komputer.
> TC pokazuje prędkość transferu (z weryfikacją zapisu) średnio 8,5 Mbytes/s (nie wiem, dlaczego tak wolno i co jest wąskim gardłem, ethernet gigabitowy).
> Pliki są nieliczne (no kilkaset ;)) i duże średnio po 0,7 Gb-3 Gb (multimedialne, głównie *.mts czy *.ts), praktycznie nie ma tworzenia nowych podkatalogów.
> Według Task Managera wykorzystanie łącza gigabitowego to średnio 12%-15%, wykorzystanie CPU to średnio 20%-25%
> Przy 8 Mbytes/s:
> 2 TB = 2.000 GB = 2.000.000 MB
> 250.000 sekund?
> 70 godzin czyli 3 doby?
>
> W TC włączona standardowa metoda kopiowania (zalecana) - może tu jest pies pogrzebany?
> A może trzeba/warto wyłączyć cache? Zwiększyć MTU/wielkość ramek?

Kiedy przerzucam dane miedzy partycjami jednego dysku w NASie przez 
komputer, zawsze idzie to koszmarnie wolno. Pewnie dlatego ze wszystko 
idzie po sieci w obydwie strony. Dlatego jak mam przerzucić cos powyzej 1 
GB wchodze na interface www NASa i wtedy kopiuje / przenosze co trzeba 
'przez przegladarke'. Pomysl czy w twoim przypadku, nie da sie jakos 
podmontowac tego dysku i uzyc jakiegos linuksowego narzedzia. Moze byc SSL 
albo nawet jakis rodzaj backupu aby tylko pominac komputer.

Pozdrawiam
-- 
2late™ Outspace Communication Inc.® 1999*2016©
Stupidity, like virtue, is its own reward

Nie rozgryzłem jeszcze funkcji "Upload" w QNAP-ie (QTS 4.2.1), może własnie przez "Upload (File/Directory)"?
Czy przez "Upload" można wskazać adres (podkatalog) dysku sieciowego (MyNetShare xyz)?

W ogóle ciekawe jest zachowanie QTS 4.2.1(File Station) w różnych przeglądarkach:

1. W Operze pod rozwiniętymi katalogami NAS pojawia się ikona "computer" (Twojego własnego komputera), ale klikanie w te ikonę nie wywołuje żadnego skutku.
2. W IE (i to starym 8.0) pod ikoną"computer" rozwijają się pięknie (i to same) wszystkie Twoje katalogi w komputerze, czyli przez QTS 4.2.1 i IE (nawet v.8) możesz wejść w katalogi swojego komputera; wcześniejsze wersje QTS w ogóle źle współpracowały z IE 8 (strona się rozjeżdżała, trudno się było zalogować, ikony się rozjeżdżały) i jestem bardzo mile zaskoczony, że w ostatniej wersji QTS 4.2.1 obsługa IE 8 wydaje się być bezproblemowa.
3. W Safari ciągle wyskakuje okno o braku Javy ('Java is not available'), co czyni pracę uciążliwą; a klikanie ikony "Computer" w File Station w QTS przez Safari też nie działa.


-----
> Pomysl czy w twoim przypadku, nie da sie jakos

Udało mi się zdalnie połączyć dysk sieciowy z serwerem plików przez funkcję QTS 'File Station' -> 'Create remote connection'.
W przeglądarce www (tym razem Opera) w QTS widzę rozwinięte katalogi dysku sieciowego.
Akurat robie jakiś inny większy transfer i chwilowo nie chcę mu bruździć, ale jak się bieżący transfer skończy, to dam znać, czy zdalne połączenie przerzuca pliki też przez komputer (a może tak być, bo zamknięcie przeglądarki kończy sesję), czy raczej bezpośrednio z pominięciem komputera i z jaką prędkością.


-----
> Dlatego jak mam przerzucić cos powyzej 1 GB wchodze na interface www NASa i wtedy kopiuje / przenosze co trzeba 'przez przegladarke'.
> Pomysl czy w twoim przypadku, nie da sie jakos podmontowac tego dysku

W dniu 2016-07-14 o 13:04,  ąćęłńóśźż pisze:
> W LAN serwer plików i dysk sieciowy, spięte gigabitowym ethernetem (po drodze gigabitowy switch).
> Ile +/- czasu powinno trwać przerzucanie 2TB danych z serwera na dysk sieciowy?
>
Od 6 godzina do 7 dni.
W pierwszym przypadku ~1,5 TB w 10 plikach zajęło 6 h
w drugim przypadku ~ 2 TB w 500 000 plikach

W dniu 2016-07-14 o 21:49,  ąćęłńóśźż pisze:
> Udało mi się zdalnie połączyć dysk sieciowy z serwerem plików przez
> funkcję QTS 'File Station' -> 'Create remote connection'. W
> przeglądarce www (tym razem Opera) w QTS widzę rozwinięte katalogi
> dysku sieciowego. Akurat robie jakiś inny większy transfer i chwilowo
> nie chcę mu bruździć, ale jak się bieżący transfer skończy, to dam
> znać, czy zdalne połączenie przerzuca pliki też przez komputer (a
> może tak być, bo zamknięcie przeglądarki kończy sesję), czy raczej
> bezpośrednio z pominięciem komputera i z jaką prędkością.

Jeżeli kopiujesz pliki prze 'File Station' to wylogowanie z sesji QNAP-a 
nie przerywa kopiowania/przenoszenie plików. W pasku menu pokazuje się 
ikona "Zadania" i tam możesz sobie z grubsza podglądnąć status operacji.

No właśnie jeszcze nie wiem, czy nie zamknięcie sesji przeglądarki www z otwartym QTS (gdzieś wyczytałem, że sesji www nie miżna zamykać, bo transmisja się przerwie), ale uśpienie komputera przerywa transmisję (pomiędzy NAS-em, a dyskiem sieciowym), czy nie?
Bo po wybudzeniu komputera na pasku menu był sprzeczny w sobie komunikat 82% (tyle % co przed uśpieniem) i jednocześnie 'completed' (ukończono).
Ale z QNAP-em może być o tyle łatwo, że można się zalogować do QTS bezpośrednio przez NAS (trzeba do NAS podłączyć monitor przez HDMI oraz klawiaturę i mysz przez USB) nawet bez komputera.
Tyle, że w moim przypadku tego nie lubię, bo muszę siedzieć na podłodze przed otwartą na oścież szafą ;-))
(krótki kabel klawiatury, bardzo mały zasięg myszy wifi)


-----
> Jeżeli kopiujesz pliki prze 'File Station' to wylogowanie z sesji QNAP-a nie przerywa kopiowania/przenoszenie plików.
> W pasku menu pokazuje się ikona "Zadania" i tam możesz sobie z grubsza podglądnąć status operacji.

W dniu 2016-07-15 o 20:04,  ąćęłńóśźż pisze:
> No właśnie jeszcze nie wiem, czy nie zamknięcie sesji przeglądarki
> www z otwartym QTS (gdzieś wyczytałem, że sesji www nie miżna
> zamykać, bo transmisja się przerwie), ale uśpienie komputera przerywa
> transmisję (pomiędzy NAS-em, a dyskiem sieciowym), czy nie?

Wyłączenie komputera, zamknięcie przeglądarki czy wylogowanie z QTS nie 
przerywa kopiowania plików przez 'File Station'.

U mnie akurat przerwało, i to w sposób zdradliwy (plik docelowy został zamknięty i zapisany na dysku docelowym mimo nieukończnia transferu, "świetna" metoda na utratę plików).
Być może zależy to od ustawień konkretnej przeglądarki (np. Chrome v.38 ma w ustawieniach zaawansowanych opcję zachowania zadań w tle po zamknięciu programu).


-----
> Wyłączenie komputera, zamknięcie przeglądarki czy wylogowanie z QTS nie przerywa kopiowania plików przez 'File Station'.

Wyniki przy wyłączonym kompie, po zalogowaniu bezpośrednio do QNAP-a (trzeba wpiąć monitor, klawiaturę i mysz) i File Station:
Tranfer ('move' z innego dysku sieciowego) pliku *.mkv 9,43 GB trwał 7m48s (468s), co dało prędkość 20 MBps (czyli 2,5x szybciej, niż przez komputer).
Z kolei tranfer ('move' tego samego pliku, z powrotem na dysk sieciowy) trwał 24 minuty (1440s), co dało prędkość 6,5 MBps (trochę wolniej, niż przez komputer 7,5 kBps).
Wyniki mogą być niepowtarzalne, bo akurat inne zadanie mogło obciążyć któreś z urządzeń, a w moim konkretnym przykładzie wąskim gardłem jest zapewne dysk sieciowy (dysk  2,5'' 2GB SATA ma w środku pudełka łącze USB 2.0).
Tym niemniej zastanawiam się, kto i w jakich warunkach uzyskuje testowe prędkości rzędu 100 MBps transferu plików z/na NAS (ethernet gigabitowy), które protokoły są szybsze, a które wolniejsze (SMB, FTP, ...), jaki jest wpływ ustawień sieci (MS Networking), które parametry możemy zmienić (MTU, Jumbo Frames, cache, ...).


-----
> Kiedy przerzucam dane miedzy partycjami jednego dysku w NASie przez komputer, zawsze idzie to koszmarnie wolno. Pewnie dlatego ze wszystko idzie po sieci w obydwie strony. Dlatego jak mam przerzucić cos powyzej 1 GB wchodze na interface www NASa i wtedy kopiuje / przenosze co trzeba 'przez przegladarke'. Pomysl czy w twoim przypadku, nie da sie jakos podmontowac tego dysku i uzyc jakiegos linuksowego narzedzia. Moze byc SSL albo nawet jakis rodzaj backupu aby tylko pominac komputer.

On Thu, 14 Jul 2016 19:17:51 +0200, ąćęłńóśźż wrote:

> Według Task Managera wykorzystanie łącza gigabitowego to średnio
> 12%-15%, wykorzystanie CPU to średnio 20%-25%
> Przy 8 Mbytes/s:
> 2 TB = 2.000 GB = 2.000.000 MB 250.000 sekund?
> 70 godzin czyli 3 doby?
> 
> W TC włączona standardowa metoda kopiowania (zalecana) - może tu jest
> pies pogrzebany?
> A może trzeba/warto wyłączyć cache? Zwiększyć MTU/wielkość ramek?

20-25% CPU wskazuje, że możesz mieć włączonego antywirusa.
Pierwsze co należy zrobić, to go wyłączyć.

W dniu 2016-07-16 o 12:50,  ąćęłńóśźż pisze:
> U mnie akurat przerwało, i to w sposób zdradliwy (plik docelowy
> został zamknięty i zapisany na dysku docelowym mimo nieukończnia
> transferu, "świetna" metoda na utratę plików). Być może zależy to od
> ustawień konkretnej przeglądarki (np. Chrome v.38 ma w ustawieniach
> zaawansowanych opcję zachowania zadań w tle po zamknięciu programu).

To nie ma nic wspólnego z zachowaniem zadań przeglądarki, to 'File 
Station' w QTS zachowuje zadania w tle, nawet po wylogowaniu się.
Używam kilka QNAP i Synology z różnymi przeglądarkami oraz systemami i 
'File Station' nie przerywa procesów po wylogowaniu użytkownika.
Albo coś źle robisz albo masz popieprzone jakieś ustawienia w tym QNAPe.

W dniu 14.07.2016 o 13:04,  ąćęłńóśźż pisze:
> W LAN serwer plików i dysk sieciowy, spięte gigabitowym ethernetem (po drodze gigabitowy switch).
> Ile +/- czasu powinno trwać przerzucanie 2TB danych z serwera na dysk sieciowy?
>
Zależy to właściwie wyłącznie od wydajności procka w NASie (nie piszesz, 
jaki to qnap, jeśli na jakimś marvelu czy innych wynalazkach, to nie 
dziwię się) ew. od kontrolera dysku w NASie (jesli masz jakiś 
porządniejszy model).
Mniejszy (ale wyraźny) wpływ ma też wydajność sieciówki i dysku w 
komputerze - ale, skoro piszesz "serwer", to zakładam, że po jego 
stronie nie może być wąskich gardeł..
Mój NAS "zamyka" port gigabitowy - niezależnie, czy przy operacjach na 
dużych czy małych plikach - ale budowałem go sam ;-)
Wcześniej korzystałem z dwudyskowego Synology i jakieś 25-30MB/s to był 
maks jaki można było wyciągnąć.

On 02/08/2016 12:59, Scobowski wrote:
> Wcześniej korzystałem z dwudyskowego Synology i jakieś 25-30MB/s to był
> maks jaki można było wyciągnąć.

A jaki maksymalny transfer dla duzych plikow teraz osiagasz?

Pozdrawiam
-- 
2late™ Outspace Communication Inc.® 1999*2016©
Stupidity, like virtue, is its own reward

Akurat u mnie zależy to od wydajności dysku sieciowego (marnej w tym konkretnym przypadku) - jego procesora (Ubicom / Qualcomm/Atheros) albo kontrolera HDD.
Obciążenie procesora w NAS jest pomijalnie małe (kilka procent).
BTW gdy przerzucam z serwera na dysk sieciowy (bez pośrednictwa komputera) jeden plik i obciążenie sieci (odczytane monitorem zasobów w serwerze) jest Y, to przy przerzucaniu dwóch plików obciążenie sieci jest 2xY, przy przerzucaniu trzech plików 3xY. Dziwi mnie ten wynik (nie wierzę, że ten konkretny dysk sieciowy przyjmowałby pliki tak szybko), może monitor zasobów (resource monitor)  nieprawidłowo sumuje obciążenie łącza. 
Szybkość przenoszenia danych musi zależeć także i od od weryfikacji - gdy używam TC, to zawsze mam w opcjach programu weryfikację włączoną (co trwa i wyraźnie to widać na pasku zadania), jak się zachowują inne systemy (czy weryfikują?) nie wiem.


-----
> Zależy to właściwie wyłącznie od wydajności procka w NASie ew. od kontrolera dysku w NASie.

W dniu 02.08.2016 o 09:28, 2late pisze:
> On 02/08/2016 12:59, Scobowski wrote:
>> Wcześniej korzystałem z dwudyskowego Synology i jakieś 25-30MB/s to był
>> maks jaki można było wyciągnąć.
>
> A jaki maksymalny transfer dla duzych plikow teraz osiagasz?
>
> Pozdrawiam
Wcześniej pisałem: "wypełnia port" - jakieś 100 i troszkę MB/s

On 02/08/2016 06:46, Scobowski wrote:
> W dniu 02.08.2016 o 09:28, 2late pisze:
>> On 02/08/2016 12:59, Scobowski wrote:
>>> Wcześniej korzystałem z dwudyskowego Synology i jakieś 25-30MB/s to był
>>> maks jaki można było wyciągnąć.
>>
>> A jaki maksymalny transfer dla duzych plikow teraz osiagasz?
>>
>> Pozdrawiam
> Wcześniej pisałem: "wypełnia port" - jakieś 100 i troszkę MB/s

No to rewelacja.
Ja mam tyle na dwoch sieciowkach o ile nic w tle nie chodzi.

Pozdrawiam
-- 
2late™ Outspace Communication Inc.® 1999*2016©
Stupidity, like virtue, is its own reward

W dniu 02.08.2016 o 12:11,  ąćęłńóśźż pisze:
> Szybkość przenoszenia danych musi zależeć także i od od weryfikacji - gdy używam TC, to zawsze mam w opcjach programu weryfikację włączoną (co trwa i wyraźnie to widać na pasku zadania), jak się zachowują inne systemy (czy weryfikują?) nie wiem.
>
co to jest TC?
MC znam - taki menedżer dla lam ;-)