🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: pl.comp.bazy-danych
Article #194643

Re: [mysql] Jak przyspieszyć wczytywanie dumpa

#194643
From: M.M.
Date: Thu, 24 Sep 2015 11:32
44 lines
3257 bytes
On Thursday, September 24, 2015 at 1:19:37 PM UTC+2, Robert Winkler wrote:
> >>>>> Witam
> >>>>>
> >>>> [...]
> >>>>>
> >>>>
> >>>> Kilka osób pisało o tym aby wyłączyć więzy integralności
> >>>> oraz constrainty, więc odpisze tutaj, zamiast każdemu z osobna.
> >>>>
> >>>> Sprawdziłem właśnie ostatni plik dumpa jaki dostałem
> >>>> i jest tam na samym początku SET blokujący constrainy i klucze obce,
> >>>> a przed każdą serią insertów komenda blokująca klucze dla danej tabeli.
> >>>> Nie widzę więc możliwości aby w ten sposób coś przyspieszyć.
> >>>>
> >>>> Wygląda na to, że dla mysql'a
> >>>> jedynym szybkim sposobem na wykonanie kopii bazy
> >>>> i wciągnięcie jej na inną maszynę
> >>>> jest przesłanie binarnej kopie całego folderu z danymi.
> >>>> Nie zawsze można jednak z tego sposobu skorzystać :(
> >>>
> >>> Jaka duża jest baza?
> >>>
> >>
> >> Plik dumpa ma 2.9 GB
> >> Po wciągnięciu na serwer robi się z tego 7 GB w katalogu z tym schematem.
>  >
> > To wystarczy aby zajeździć dysk, jeśli po każdym zapisanym rekordzie robi
> > się update i flush czegoś (np. indeksów) w losowym miejscu na dysku.
> 
> Czego dotyczy ta uwaga?
> Wielkości bazy?
> Tego, że używamy mysql'a, a nie jakiegoś innego silnika bazodanowego?
> 
> Jak dla mnie w porównaniu z bazami jakie mieliśmy w poprzednim 
> projekcie, to te 7 GB to maleństwo.
> 
> --
> Robert

Baza ma 7GB danych. Rekord niech ma średnio 1000bajtów. Daje to 7*10^6 =
7mln rekordów. Na sekundę dysk umożliwia np. 100 dostępów. Przy
jednym dostępie na jeden rekord wychodzi 7mln / 100 = 70tys sekund -
jakieś 20 godzin. Taka ilość danych w zupełności wystarczy, aby 
zajeździć dysk.
Technical Details
Message-ID: <0a34a73f-98ff-4ef2-950e-05c8accacf83@googlegroups.com>
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!news.nask.pl!news.nask.org.pl!news.unit0.net!news.glorb.com!kq10no9020228igb.0!news-out.google.com!n2ni10398igy.0!nntp.google.com!kq10no8550280igb.0!postnews.google.com!glegroupsg2000goo.googlegroups.com!not-for-mail
References: <55e5cdb5$0$8373$65785112@news.neostrada.pl> <56039a62$0$8374$65785112@news.neostrada.pl> <46ab4ffe-a79c-4ce8-a896-7d639e1ad917@googlegroups.com> <5603d312$0$8379$65785112@news.neostrada.pl> <ac13e5af-d4a2-4720-912e-f236afd4dc67@googlegroups.com> <5603dc46$0$27529$65785112@news.neostrada.pl>

Show Full Headers
Complete Article Headers
X-Received: by 10.182.24.71 with SMTP id s7mr31114100obf.42.1443094376124;        Thu, 24 Sep 2015 04:32:56 -0700 (PDT)
X-Received: by 10.182.112.234 with SMTP id it10mr172033obb.13.1443094376101; Thu, 24 Sep 2015 04:32:56 -0700 (PDT)
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!news.nask.pl!news.nask.org.pl!news.unit0.net!news.glorb.com!kq10no9020228igb.0!news-out.google.com!n2ni10398igy.0!nntp.google.com!kq10no8550280igb.0!postnews.google.com!glegroupsg2000goo.googlegroups.com!not-for-mail
Newsgroups: pl.comp.bazy-danych
Date: Thu, 24 Sep 2015 04:32:55 -0700 (PDT)
In-Reply-To: <5603dc46$0$27529$65785112@news.neostrada.pl>
Complaints-To: groups-abuse@google.com
Injection-Info: glegroupsg2000goo.googlegroups.com; posting-host=178.36.206.163; posting-account=xjvq9QoAAAATMPC2X3btlHd_LkaJo_rj
NNTP-Posting-Host: 178.36.206.163
References: <55e5cdb5$0$8373$65785112@news.neostrada.pl> <56039a62$0$8374$65785112@news.neostrada.pl> <46ab4ffe-a79c-4ce8-a896-7d639e1ad917@googlegroups.com> <5603d312$0$8379$65785112@news.neostrada.pl> <ac13e5af-d4a2-4720-912e-f236afd4dc67@googlegroups.com> <5603dc46$0$27529$65785112@news.neostrada.pl>
User-Agent: G2/1.0
MIME-Version: 1.0
Message-ID: <0a34a73f-98ff-4ef2-950e-05c8accacf83@googlegroups.com>
Subject: Re: [mysql] Jak przyspieszyć wczytywanie dumpa
From: "M.M." <mmarszik@gmail.com>
Injection-Date: Thu, 24 Sep 2015 11:32:56 +0000
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit