Thread View: pl.comp.sys.sun.admin
27 messages
27 total messages
Started by Szymon Sokół
Wed, 31 May 2006 10:46
Solaris 10, problem z 4GB katalogiem
Author: Szymon Sokół
Date: Wed, 31 May 2006 10:46
Date: Wed, 31 May 2006 10:46
20 lines
2074 bytes
2074 bytes
Sun V40z, Solaris 10. Obserwujemy następujący problem: katalog z pocztą użytkowników puchnie. Prawdopodobnie używany przez nas demon POP3/IMAP4 ma jakiś śmieszny problem, który powoduje, że tworzenie i usuwanie plików w katalogu powoduje jego puchnięcie - o, tak: drwxrwxr-x 2 root mail 1139090944 May 31 12:40 /home/mail To samo w sobie nie byłoby problemem. Niestety, gdy katalog osiąga 4GB, okazuje się, że niby 64-bitowy system zaczyna mieć problemy. Przede wszystkim, ls nie pokazuje większości plików w takim katalogu, choć one istnieją i znając ich nazwę można się do nich dostać. Co więcej, po przeniesieniu plików do innego, "czystego" katalogu nie da się takiego czterogigowca skasować - rmdir twierdzi, że "Directory not empty", zaś "rm -rf", że "File exists". Może ktoś zetknął się z tym problemem i zna na to sposób? -- Szymon Sokół (SS316-RIPE) -- Network Manager B Computer Center, AGH - University of Science and Technology, Cracow, Poland O http://home.agh.edu.pl/szymon/ PGP key id: RSA: 0x2ABE016B, DSS: 0xF9289982 F Free speech includes the right not to listen, if not interested -- Heinlein H
Re: Solaris 10, problem z 4GB katalogiem
Author: Fuma K
Date: Wed, 31 May 2006 11:34
Date: Wed, 31 May 2006 11:34
13 lines
1447 bytes
1447 bytes
Szymon Sokół wrote: > Co więcej, po > przeniesieniu plików do innego, "czystego" katalogu nie da się takiego > czterogigowca skasować - rmdir twierdzi, że "Directory not empty", zaś "rm > -rf", że "File exists". > > Może ktoś zetknął się z tym problemem i zna na to sposób? > hmmm - a nie masz tam jakiegoś "dziwnego" pliku w stylu "..." albo _jakiś_dziwny_znak_sterujący_ albo zrobioną z samych spacji. Fuma K
Re: Solaris 10, problem z 4GB katalogiem
Author: Michal Jankowski
Date: Wed, 31 May 2006 12:29
Date: Wed, 31 May 2006 12:29
16 lines
1455 bytes
1455 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> writes: > drwxrwxr-x 2 root mail 1139090944 May 31 12:40 /home/mail > To samo w sobie nie byłoby problemem. Niestety, gdy katalog osiąga 4GB, Aaaaa! To samo w sobie jest przerażające. Po jakim czasie to się robi i ile tam jest plików w tym katalogu? > Może ktoś zetknął się z tym problemem i zna na to sposób? Przekładać do nowego katalogu regularnie? A jak już się coś takiego stało, to bo ja wiem, może unlink i fsck? Ale żeby nie było na mnie, backup dysku zrób... MJ
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Wed, 31 May 2006 14:40
Date: Wed, 31 May 2006 14:40
19 lines
1476 bytes
1476 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote: > Sun V40z, Solaris 10. Obserwujemy następujący problem: katalog z pocztą > użytkowników puchnie. Prawdopodobnie używany przez nas demon POP3/IMAP4 ma > jakiś śmieszny problem, który powoduje, że tworzenie i usuwanie plików > w katalogu powoduje jego puchnięcie - o, tak: > drwxrwxr-x 2 root mail 1139090944 May 31 12:40 /home/mail Puść jakiegoś trace na tego demona, co robi w tym home/mail? Ogólnie to zgłosić buga do Suna, bo to nie jest normalne, zwłaszcza w takim tempie. (Przez trzy lata używania dla 35k skrzynek mam /var/mail wielkości 1,5MiB.) p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Szymon Sokół
Date: Wed, 31 May 2006 21:36
Date: Wed, 31 May 2006 21:36
27 lines
2453 bytes
2453 bytes
On Wed, 31 May 2006 14:29:36 +0200, Michal Jankowski wrote: > Szymon Sokół <szymon@bastard.operator.from.hell.pl> writes: > >> drwxrwxr-x 2 root mail 1139090944 May 31 12:40 /home/mail >> To samo w sobie nie byłoby problemem. Niestety, gdy katalog osiąga 4GB, > > Aaaaa! To samo w sobie jest przerażające. Po jakim czasie to się robi > i ile tam jest plików w tym katalogu? Plików jest ~ tyle, ilu mamy użytkowników (to są mailboxy) - w granicach 3000; ale tworzone są pliki tymczasowe. I chyba to jest jakiś problem z lockami, i dlatego katalog tak puchnie... > Przekładać do nowego katalogu regularnie? To właśnie robimy, ale to nie jest dobre rozwiązanie... musieliśmy już zrobić to 2 razy, a trzeci pewnie jakoś latem, w tym tempie przyrastania /home/mail. > A jak już się coś takiego stało, to bo ja wiem, może unlink i fsck? > Ale żeby nie było na mnie, backup dysku zrób... Nie no, backupy to mamy regularne. Ale wiesz, ile potrwa fsck na 1TB? :-/ -- Szymon Sokół (SS316-RIPE) -- Network Manager B Computer Center, AGH - University of Science and Technology, Cracow, Poland O http://home.agh.edu.pl/szymon/ PGP key id: RSA: 0x2ABE016B, DSS: 0xF9289982 F Free speech includes the right not to listen, if not interested -- Heinlein H
Re: Solaris 10, problem z 4GB katalogiem
Author: Szymon Sokół
Date: Wed, 31 May 2006 21:39
Date: Wed, 31 May 2006 21:39
13 lines
1844 bytes
1844 bytes
On 31 May 2006 14:40:27 GMT, Piotr KUCHARSKI wrote: > Ogólnie to zgłosić buga do Suna, bo to nie jest normalne, zwłaszcza > w takim tempie. (Przez trzy lata używania dla 35k skrzynek mam /var/mail > wielkości 1,5MiB.) Sun odpowie, żebyśmy nie używali oprogramowania third party :-/ A poza tym, pod Solarisem 8 na SPARC też nie mieliśmy tego problemu - pojawił się na AMD/Solaris 10. -- Szymon Sokół (SS316-RIPE) -- Network Manager B Computer Center, AGH - University of Science and Technology, Cracow, Poland O http://home.agh.edu.pl/szymon/ PGP key id: RSA: 0x2ABE016B, DSS: 0xF9289982 F Free speech includes the right not to listen, if not interested -- Heinlein H
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Thu, 01 Jun 2006 01:31
Date: Thu, 01 Jun 2006 01:31
17 lines
1523 bytes
1523 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote: >> Ogólnie to zgłosić buga do Suna, bo to nie jest normalne, zwłaszcza >> w takim tempie. (Przez trzy lata używania dla 35k skrzynek mam /var/mail >> wielkości 1,5MiB.) > Sun odpowie, żebyśmy nie używali oprogramowania third party :-/ A co to za debilna odpowiedź? Przecież to katalog na Sunowym filesystemie puchnie, a nie oprogramowanie third party. Jak użytkownik wpadnie na pomysł, żeby milion razy otworzyć i zamknąć plik i od tego filesystem się popsuje, to Sun odpowie, żebyśmy skasowali użytkownika? p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Slawomir Stanczak
Date: Thu, 01 Jun 2006 07:41
Date: Thu, 01 Jun 2006 07:41
20 lines
1610 bytes
1610 bytes
Szymon Sokół wrote:
Nigdy nie miałem takiego problemu. Na jednym z serwerów w /var/mail mam
np. 13 GB :
xxx:~$ ls -l /export/ext1/mail | wc -l
704
xxx:~$ du -sk /export/ext1/mail
13753243 /export/ext1/mail
> Plików jest ~ tyle, ilu mamy użytkowników (to są mailboxy) - w granicach
> 3000; ale tworzone są pliki tymczasowe. I chyba to jest jakiś problem z
> lockami, i dlatego katalog tak puchnie...
Pliki tymczasowe ? Nie do końca rozumiem. Korzystam z UW imap/pop3
ale nie zauważyłem żeby któryś z nich tworzył jakieś tymczasowe
pliki w tym katalogu.
p.
Sławek
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Thu, 01 Jun 2006 10:12
Date: Thu, 01 Jun 2006 10:12
16 lines
1403 bytes
1403 bytes
Slawomir Stanczak <null@blackhole.net> wrote: >> Plików jest ~ tyle, ilu mamy użytkowników (to są mailboxy) - w granicach >> 3000; ale tworzone są pliki tymczasowe. I chyba to jest jakiś problem z >> lockami, i dlatego katalog tak puchnie... > Pliki tymczasowe ? Nie do końca rozumiem. Korzystam z UW imap/pop3 > ale nie zauważyłem żeby któryś z nich tworzył jakieś tymczasowe > pliki w tym katalogu. Zależy od sposobu lockowania. p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Krzysztof Kowalik
Date: Thu, 01 Jun 2006 12:18
Date: Thu, 01 Jun 2006 12:18
10 lines
1291 bytes
1291 bytes
Slawomir Stanczak <null@blackhole.net> wrote: : Nigdy nie miałem takiego problemu. Na jednym z serwerów w /var/mail mam : np. 13 GB : Ale to jest problem rozmiaru samego katalogu, a nie jego zawartości. -- Krzysztof Kowalik | () ASCII Ribbon Campaign Computer Center, AGH UST | /\ Support plain text e-mail
Re: Solaris 10, problem z 4GB katalogiem
Author: Robert Milkowski
Date: Thu, 01 Jun 2006 13:55
Date: Thu, 01 Jun 2006 13:55
32 lines
2333 bytes
2333 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote:
> On 31 May 2006 14:40:27 GMT, Piotr KUCHARSKI wrote:
>
> > Ogólnie to zgłosić buga do Suna, bo to nie jest normalne, zwłaszcza
> > w takim tempie. (Przez trzy lata używania dla 35k skrzynek mam /var/mail
> > wielkości 1,5MiB.)
> Sun odpowie, żebyśmy nie używali oprogramowania third party :-/
> A poza tym, pod Solarisem 8 na SPARC też nie mieliśmy tego problemu -
> pojawił się na AMD/Solaris 10.
Proponowałbym jednak zgłosić, jeżeli masz support.
Niezależnie zgłosiłbym też na @opensolaris.org (ewentualnie z przydzielonym bugid).
Rozumiem, że korzystasz z UFS'a.
Może tworzysz chwilowo bardzo duża liczbę wpisów w tym katalogu?
IIRC miejsce zużyte na wpisy w danym katalogu nie jest kasowane po
usinięciu objektów - dopiero po usunięciu katalogu (czyli jak stworzysz
np. 10mln plików w katalogu i potem je skasujesz, to odzyskasz miejsce
zajmowane przez same pliki, ale nie miesce zajmowane przez wpisy
w katalogu).
Rozumiem, że masz tez założone patche?
ps. za chwilę będzie 10U2 (czerwiec) - zdecydowanie polecam z przjeściem
z /home na ZFS'a (i po fs'sie dla każdego /home/user)
--
Robert Milkowski
rmilkowskiasdad@wp-sa.pl
http://milek.blogspot.com
Re: Solaris 10, problem z 4GB katalogiem
Author: Krzysztof Kowalik
Date: Thu, 01 Jun 2006 14:42
Date: Thu, 01 Jun 2006 14:42
47 lines
2264 bytes
2264 bytes
To ja się wtrącę. Robert Milkowski <rmilkowski-NO-SPAM@wp-sa.pl> wrote: : Rozumiem, że korzystasz z UFS'a. Tak. : Może tworzysz chwilowo bardzo duża liczbę wpisów w tym katalogu? : IIRC miejsce zużyte na wpisy w danym katalogu nie jest kasowane po : usinięciu objektów - dopiero po usunięciu katalogu (czyli jak stworzysz : np. 10mln plików w katalogu i potem je skasujesz, to odzyskasz miejsce : zajmowane przez same pliki, ale nie miesce zajmowane przez wpisy : w katalogu). Nie wyglądają, jak założone w tym samym momencie. % cat mail.damaged maildir % ls -l maildir -rw-r--r-- 1 kkowalik staff 4294967808 Jun 1 16:34 maildir % cat maildir | strings > xxx % ls -ld xxx -rw------- 1 kkowalik staff 203885401 Jun 1 16:36 xxx % wc -l xxx 9521900 xxx % grep -c lock xxx 9196540 Większość z tych nazw zawiera w sobie unix timestamp, więc nie wierzę, że były tam wszystkie w tym samym momencie. Np: <username>.lock.1136455569.256.galaxy % grep -c \.galaxy xxx 4256976 Trochę to irytujące, biorąc pod uwagę, że na Solarisie 8, na SPARC, takich problemów nie było. : Rozumiem, że masz tez założone patche? Generic_Patch_118844-30 -- Krzysztof Kowalik | () ASCII Ribbon Campaign Computer Center, AGH UST | /\ Support plain text e-mail
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Thu, 01 Jun 2006 14:54
Date: Thu, 01 Jun 2006 14:54
19 lines
1611 bytes
1611 bytes
Robert Milkowski <rmilkowski-NO-SPAM@wp-sa.pl> wrote: > Rozumiem, że korzystasz z UFS'a. > Może tworzysz chwilowo bardzo duża liczbę wpisów w tym katalogu? > IIRC miejsce zużyte na wpisy w danym katalogu nie jest kasowane po > usinięciu objektów - dopiero po usunięciu katalogu (czyli jak stworzysz > np. 10mln plików w katalogu i potem je skasujesz, to odzyskasz miejsce > zajmowane przez same pliki, ale nie miesce zajmowane przez wpisy > w katalogu). No tak, to oczywiste. Ale to musiałyby być wpisy w tym samym momencie, bo create/delete/create wykorzysta poprzednie miejsce. A wątpię, żeby aż tyle było w tym samym czasie. p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Thu, 01 Jun 2006 14:55
Date: Thu, 01 Jun 2006 14:55
12 lines
1109 bytes
1109 bytes
Piotr KUCHARSKI <chopin@sgh.waw.pl> wrote: >> drwxrwxr-x 2 root mail 1139090944 May 31 12:40 /home/mail > Puść jakiegoś trace na tego demona, co robi w tym home/mail? Ale serio, macie tam BSM, to dopiszcie. :) p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Robert Milkowski
Date: Thu, 01 Jun 2006 20:50
Date: Thu, 01 Jun 2006 20:50
60 lines
2904 bytes
2904 bytes
Krzysztof Kowalik <borys+usenet@irc.pl> wrote:
> To ja się wtrącę.
>
> Robert Milkowski <rmilkowski-NO-SPAM@wp-sa.pl> wrote:
>
> : Rozumiem, że korzystasz z UFS'a.
>
> Tak.
>
> : Może tworzysz chwilowo bardzo duża liczbę wpisów w tym katalogu?
> : IIRC miejsce zużyte na wpisy w danym katalogu nie jest kasowane po
> : usinięciu objektów - dopiero po usunięciu katalogu (czyli jak stworzysz
> : np. 10mln plików w katalogu i potem je skasujesz, to odzyskasz miejsce
> : zajmowane przez same pliki, ale nie miesce zajmowane przez wpisy
> : w katalogu).
>
> Nie wyglądają, jak założone w tym samym momencie.
>
> % cat mail.damaged maildir
> % ls -l maildir
> -rw-r--r-- 1 kkowalik staff 4294967808 Jun 1 16:34 maildir
> % cat maildir | strings > xxx
> % ls -ld xxx
> -rw------- 1 kkowalik staff 203885401 Jun 1 16:36 xxx
> % wc -l xxx
> 9521900 xxx
> % grep -c lock xxx
> 9196540
>
> Większość z tych nazw zawiera w sobie unix timestamp, więc nie wierzę, że
> były tam wszystkie w tym samym momencie.
>
> Np:
> <username>.lock.1136455569.256.galaxy
>
> % grep -c \.galaxy xxx
> 4256976
>
> Trochę to irytujące, biorąc pod uwagę, że na Solarisie 8, na SPARC, takich
> problemów nie było.
>
Masz prawie 10mln plikow z lockiem w jednym katalogu???????
Jezeli tak, to zdecydowanie cos jest nie tak.
Moze na Solarisie 8 po prostu aplikacja dzialala poprawnie, a teraz
zostawia pliki? Zmiana konfiguracji, ...?
(w tym samym czasie oznacza tylko tyle, ze byly w katalogu wszystkie
razem, a nie ze zostaly stworzone w tym samym czasie).
> : Rozumiem, że masz tez założone patche?
>
> Generic_Patch_118844-30
W miare nowe.
--
Robert Milkowski
rmilkowskiASDADA@wp-sa.pl
http://milek.blogspot.com
Re: Solaris 10, problem z 4GB katalogiem
Author: Robert Milkowski
Date: Thu, 01 Jun 2006 20:55
Date: Thu, 01 Jun 2006 20:55
23 lines
2118 bytes
2118 bytes
Piotr KUCHARSKI <chopin@sgh.waw.pl> wrote:
> Robert Milkowski <rmilkowski-NO-SPAM@wp-sa.pl> wrote:
> > Rozumiem, że korzystasz z UFS'a.
> > Może tworzysz chwilowo bardzo duża liczbę wpisów w tym katalogu?
> > IIRC miejsce zużyte na wpisy w danym katalogu nie jest kasowane po
> > usinięciu objektów - dopiero po usunięciu katalogu (czyli jak stworzysz
> > np. 10mln plików w katalogu i potem je skasujesz, to odzyskasz miejsce
> > zajmowane przez same pliki, ale nie miesce zajmowane przez wpisy
> > w katalogu).
>
> No tak, to oczywiste. Ale to musiałyby być wpisy w tym samym momencie,
> bo create/delete/create wykorzysta poprzednie miejsce. A wątpię, żeby
> aż tyle było w tym samym czasie.
Nie musza w tym samym momencie - wystarczy, ze istnialo na raz bardzo
duzo plikow, bez wzgledu na to kiedy zostaly one utworzone.
Moze aplikacja ma problemy? (tworzy wiele lockow, potem kasuje, itp.)
--
Robert Milkowski
rmilkowskiDSFSDF@wp-sa.pl
http://milek.blogspot.com
Re: Solaris 10, problem z 4GB katalogiem
Author: Robert Milkowski
Date: Thu, 01 Jun 2006 21:00
Date: Thu, 01 Jun 2006 21:00
24 lines
2179 bytes
2179 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote:
> Sun V40z, Solaris 10. Obserwujemy następujący problem: katalog z pocztą
> użytkowników puchnie. Prawdopodobnie używany przez nas demon POP3/IMAP4 ma
> jakiś śmieszny problem, który powoduje, że tworzenie i usuwanie plików
> w katalogu powoduje jego puchnięcie - o, tak:
> drwxrwxr-x 2 root mail 1139090944 May 31 12:40 /home/mail
> To samo w sobie nie byłoby problemem. Niestety, gdy katalog osiąga 4GB,
> okazuje się, że niby 64-bitowy system zaczyna mieć problemy. Przede
> wszystkim, ls nie pokazuje większości plików w takim katalogu, choć one
> istnieją i znając ich nazwę można się do nich dostać. Co więcej, po
> przeniesieniu plików do innego, "czystego" katalogu nie da się takiego
> czterogigowca skasować - rmdir twierdzi, że "Directory not empty", zaś "rm
> -rf", że "File exists".
Natomiast bez wzgledu na przyczyne (wadliwa aplikacja, itp.)
UFS nie powinien zachowywac sie w ten sposob jezeli juz katalog
spuchnie do 4GB.
Proponuje zglosic na Open Solarisa i ewentualnie jako bug id do
Suna jezeli masz kontrakt.
--
Robert Milkowski
rmilkowskiSDFSDF@wp-sa.pl
http://milek.blogspot.com
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Thu, 01 Jun 2006 21:33
Date: Thu, 01 Jun 2006 21:33
22 lines
1714 bytes
1714 bytes
Robert Milkowski <rmilkowski-NO-SPAM@wp-sa.pl> wrote: >> No tak, to oczywiste. Ale to musiałyby być wpisy w tym samym momencie, >> bo create/delete/create wykorzysta poprzednie miejsce. A wątpię, żeby >> aż tyle było w tym samym czasie. > Nie musza w tym samym momencie - wystarczy, ze istnialo na raz bardzo > duzo plikow, bez wzgledu na to kiedy zostaly one utworzone. W tym samym czasie, tj. w czasie t0, np. dziś o północy, musiałoby być aż tyle plików. :) Nie mówiłem nic o tworzeniu dokładnie w tym samym momencie. > Moze aplikacja ma problemy? (tworzy wiele lockow, potem kasuje, itp.) Ale po delete kolejny create by zużył wolne miejsce... p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Szymon Sokół
Date: Fri, 02 Jun 2006 11:08
Date: Fri, 02 Jun 2006 11:08
15 lines
1860 bytes
1860 bytes
Robert Milkowski <rmilkowski-NO-SPAM@wp-sa.pl> wrote: > Masz prawie 10mln plikow z lockiem w jednym katalogu??????? Nie zrozumiałeś. W tym katalogu *było* (na przestrzeni dziejów) tyle plików. NIE NARAZ. Tylko że po skasowanych pozostają "śmieci", znaczy, te wpisy w katalogu nie są poddawane recyclingowi. Dlatego katalog puchnie. > (w tym samym czasie oznacza tylko tyle, ze byly w katalogu wszystkie > razem, a nie ze zostaly stworzone w tym samym czasie). NIE, nie były wszystkie razem. -- Szymon Sokół (SS316-RIPE) -- Network Manager B Computer Center, AGH - University of Science and Technology, Cracow, Poland O http://home.agh.edu.pl/szymon/ PGP key id: RSA: 0x2ABE016B, DSS: 0xF9289982 F Free speech includes the right not to listen, if not interested -- Heinlein H
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Fri, 02 Jun 2006 14:49
Date: Fri, 02 Jun 2006 14:49
16 lines
1613 bytes
1613 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote: >> Masz prawie 10mln plikow z lockiem w jednym katalogu??????? > Nie zrozumiałeś. W tym katalogu *było* (na przestrzeni dziejów) tyle plików. > NIE NARAZ. Tylko że po skasowanych pozostają "śmieci", znaczy, te wpisy w > katalogu nie są poddawane recyclingowi. Dlatego katalog puchnie. IMO bug w OS, a jak się Sun wypina, to sprawdźcie, jak się zachowuje katalog ze zwykłym tworzeniem i kasowaniem plików, touch, dd, rm, wszystko z Solarisa, żadne third-party. p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: picled
Date: Sat, 03 Jun 2006 10:04
Date: Sat, 03 Jun 2006 10:04
27 lines
2309 bytes
2309 bytes
Użytkownik "Piotr KUCHARSKI" <chopin@sgh.waw.pl> napisał w wiadomości news:2lT36s80uIhclN34.chopin@akson.sgh.waw.pl... > Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote: >>> Masz prawie 10mln plikow z lockiem w jednym katalogu??????? >> Nie zrozumiałeś. W tym katalogu *było* (na przestrzeni dziejów) tyle >> plików. >> NIE NARAZ. Tylko że po skasowanych pozostają "śmieci", znaczy, te wpisy w >> katalogu nie są poddawane recyclingowi. Dlatego katalog puchnie. > > IMO bug w OS, a jak się Sun wypina, to sprawdźcie, jak się zachowuje > katalog ze zwykłym tworzeniem i kasowaniem plików, touch, dd, rm, > wszystko z Solarisa, żadne third-party. na 99% bedzie taki sam efekt. wydaje mi sie ze trafilem juz gdzies na buga w Solarisie 10 x86 o takim opisie.. sprawdz czy po skasowaniu duzego pliku ( >= 1GB) df -k nie twierdzi przypadkiem ze wolnego miejsca na dysku jest mniej niz przed operacja skasowania. poszukam tego buga i podesle jak znajde - ale to dotyczylo tylko Sol10 na x86/x64 jo ---- picled often makes full of crap statements
Re: Solaris 10, problem z 4GB katalogiem
Author: raku
Date: Sat, 03 Jun 2006 12:24
Date: Sat, 03 Jun 2006 12:24
17 lines
1782 bytes
1782 bytes
picled spłodził(a): > sprawdz czy po skasowaniu duzego pliku ( >= 1GB) df -k nie twierdzi > przypadkiem ze wolnego miejsca na dysku jest mniej niz przed operacja > skasowania. Przenosiłem ostatnio logi netflowa (ok. 60 GB) z serwera x86_64 z Solarisem 10 na inną maszynę. Przed skasowaniem katalogu, na partycji o wielkości 114GB było ok. 300 MB wolnego. Po skasowaniu katalogu (w którym były podkatalogi z miesiącami, a w nich po 96 plików o wielkości 8-10 MB każdy), df pokazał mi, że zrobiło się nagle setki terabajtów wolnego miejsca. Po kilku minutach "samo" się naprawiło. Problem trochę inny, ale może miał przyczynę w tym samym bugu? -- raku raku/spam-off/@buziaczek.pl
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Sat, 03 Jun 2006 12:59
Date: Sat, 03 Jun 2006 12:59
25 lines
1989 bytes
1989 bytes
picled <picled@carling.com> wrote: >>> NIE NARAZ. Tylko że po skasowanych pozostają "śmieci", znaczy, te wpisy w >>> katalogu nie są poddawane recyclingowi. Dlatego katalog puchnie. >> IMO bug w OS, a jak się Sun wypina, to sprawdźcie, jak się zachowuje >> katalog ze zwykłym tworzeniem i kasowaniem plików, touch, dd, rm, >> wszystko z Solarisa, żadne third-party. > na 99% bedzie taki sam efekt. wydaje mi sie ze trafilem juz gdzies na buga w > Solarisie 10 x86 o takim opisie.. > sprawdz czy po skasowaniu duzego pliku ( >= 1GB) df -k nie twierdzi > przypadkiem ze wolnego miejsca na dysku jest mniej niz przed operacja > skasowania. Hm. Ale to jakby inny problem? Ale poszukaj, może ma podobne korzenie. > poszukam tego buga i podesle jak znajde - ale to dotyczylo tylko Sol10 na > x86/x64 Sun V40z to AMD. :) p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Re: Solaris 10, problem z 4GB katalogiem
Author: Robert Milkowski
Date: Sun, 04 Jun 2006 18:51
Date: Sun, 04 Jun 2006 18:51
26 lines
2288 bytes
2288 bytes
raku <raku/spam-off/@buziaczek.pl> wrote:
> picled spłodził(a):
>
> > sprawdz czy po skasowaniu duzego pliku ( >= 1GB) df -k nie twierdzi
> > przypadkiem ze wolnego miejsca na dysku jest mniej niz przed operacja
> > skasowania.
>
> Przenosiłem ostatnio logi netflowa (ok. 60 GB) z serwera x86_64 z Solarisem
> 10 na inną maszynę. Przed skasowaniem katalogu, na partycji o wielkości
> 114GB było ok. 300 MB wolnego. Po skasowaniu katalogu (w którym były
> podkatalogi z miesiącami, a w nich po 96 plików o wielkości 8-10 MB każdy),
> df pokazał mi, że zrobiło się nagle setki terabajtów wolnego miejsca. Po
> kilku minutach "samo" się naprawiło.
> Problem trochę inny, ale może miał przyczynę w tym samym bugu?
Ten jest znany - dostepny jest RTI.
Oficjalnego patcha jeszcze nie ma.
Problem dotyczy tylko raportowania i "zawisaniu"
na dluzsza chwile na statvfs().
Dotyczy zarowno x86 jak i SPARC.
--
Robert Milkowski
rmilkowskiADASD@wp-sa.pl
http://milek.blogspot.com
Re: Solaris 10, problem z 4GB katalogiem
Author: news.dialog.net.pl
Date: Mon, 05 Jun 2006 08:40
Date: Mon, 05 Jun 2006 08:40
10 lines
1368 bytes
1368 bytes
Szymon Sokół napisał(a): > Plików jest ~ tyle, ilu mamy użytkowników (to są mailboxy) - w granicach > 3000; ale tworzone są pliki tymczasowe. I chyba to jest jakiś problem z > lockami, i dlatego katalog tak puchnie... A czy dtrace-em "macałeś" odczyty/zapisy w tym katalogu (zakładając, że teoria o plikach tymczasowych jest prawdziwa )? przemol
Re: Solaris 10, problem z 4GB katalogiem
Author: Szymon Sokół
Date: Mon, 05 Jun 2006 15:56
Date: Mon, 05 Jun 2006 15:56
23 lines
2481 bytes
2481 bytes
On Mon, 05 Jun 2006 10:40:06 +0200, news.dialog.net.pl wrote: > Szymon Sokół napisał(a): > > Plików jest ~ tyle, ilu mamy użytkowników (to są mailboxy) - w granicach > > 3000; ale tworzone są pliki tymczasowe. I chyba to jest jakiś problem z > > lockami, i dlatego katalog tak puchnie... > > A czy dtrace-em "macałeś" odczyty/zapisy w tym katalogu (zakładając, że > teoria o plikach tymczasowych jest prawdziwa )? Teoria jest prawdziwa, udało się nawet zlokalizować problem w demonie imap/pop - okazuje się, że jest tam obchodzony pewien problem związany z NFS w ten sposób, że tworzony jest plik tymczasowy, a następnie robiony jest hardlink do niego; potem pierwotna nazwa jest usuwana. I chyba gdzieś tu leży problem. My nie używamy NFS, więc w zasadzie można to spatchować na chama, ale wolałbym mieć poprawiony system, a nie program, zwłaszcza, że nie ma pewności, że coś innego nie wygeneruje tego samego problemu. -- Szymon Sokół (SS316-RIPE) -- Network Manager B Computer Center, AGH - University of Science and Technology, Cracow, Poland O http://home.agh.edu.pl/szymon/ PGP key id: RSA: 0x2ABE016B, DSS: 0xF9289982 F Free speech includes the right not to listen, if not interested -- Heinlein H
Re: Solaris 10, problem z 4GB katalogiem
Author: Piotr KUCHARSKI
Date: Mon, 05 Jun 2006 23:37
Date: Mon, 05 Jun 2006 23:37
21 lines
1861 bytes
1861 bytes
Szymon Sokół <szymon@bastard.operator.from.hell.pl> wrote: >>> Plików jest ~ tyle, ilu mamy użytkowników (to są mailboxy) - w granicach >>> 3000; ale tworzone są pliki tymczasowe. I chyba to jest jakiś problem z >>> lockami, i dlatego katalog tak puchnie... >> A czy dtrace-em "macałeś" odczyty/zapisy w tym katalogu (zakładając, że >> teoria o plikach tymczasowych jest prawdziwa )? > Teoria jest prawdziwa, udało się nawet zlokalizować problem w demonie > imap/pop - okazuje się, że jest tam obchodzony pewien problem związany z NFS > w ten sposób, że tworzony jest plik tymczasowy, a następnie robiony jest > hardlink do niego; potem pierwotna nazwa jest usuwana. I chyba gdzieś tu > leży problem. No to teraz zrób skrypt sh, który zrobi to samo, co ten serwer, wyślij do Suna i niech spróbują odmówić poprawienia... głupki. p. -- http://freedns.sgh.waw.pl/ -- bezpłatny DNS. http://nerdquiz.sgh.waw.pl/ -- polska wersja quizu dla nerdów. http://42.pl/u/ -- skracacz URL-i.
Thread Navigation
This is a paginated view of messages in the thread with full content displayed inline.
Messages are displayed in chronological order, with the original post highlighted in green.
Use pagination controls to navigate through all messages in large threads.
Back to All Threads