Article View: pl.comp.bazy-danych
Article #194643Re: [mysql] Jak przyspieszyć wczytywanie dumpa
From: M.M.
Date: Thu, 24 Sep 2015 11:32
Date: Thu, 24 Sep 2015 11:32
44 lines
3257 bytes
3257 bytes
On Thursday, September 24, 2015 at 1:19:37 PM UTC+2, Robert Winkler wrote: > >>>>> Witam > >>>>> > >>>> [...] > >>>>> > >>>> > >>>> Kilka osób pisało o tym aby wyłączyć więzy integralności > >>>> oraz constrainty, więc odpisze tutaj, zamiast każdemu z osobna. > >>>> > >>>> Sprawdziłem właśnie ostatni plik dumpa jaki dostałem > >>>> i jest tam na samym początku SET blokujący constrainy i klucze obce, > >>>> a przed każdą serią insertów komenda blokująca klucze dla danej tabeli. > >>>> Nie widzę więc możliwości aby w ten sposób coś przyspieszyć. > >>>> > >>>> Wygląda na to, że dla mysql'a > >>>> jedynym szybkim sposobem na wykonanie kopii bazy > >>>> i wciągnięcie jej na inną maszynę > >>>> jest przesłanie binarnej kopie całego folderu z danymi. > >>>> Nie zawsze można jednak z tego sposobu skorzystać :( > >>> > >>> Jaka duża jest baza? > >>> > >> > >> Plik dumpa ma 2.9 GB > >> Po wciągnięciu na serwer robi się z tego 7 GB w katalogu z tym schematem. > > > > To wystarczy aby zajeździć dysk, jeśli po każdym zapisanym rekordzie robi > > się update i flush czegoś (np. indeksów) w losowym miejscu na dysku. > > Czego dotyczy ta uwaga? > Wielkości bazy? > Tego, że używamy mysql'a, a nie jakiegoś innego silnika bazodanowego? > > Jak dla mnie w porównaniu z bazami jakie mieliśmy w poprzednim > projekcie, to te 7 GB to maleństwo. > > -- > Robert Baza ma 7GB danych. Rekord niech ma średnio 1000bajtów. Daje to 7*10^6 = 7mln rekordów. Na sekundę dysk umożliwia np. 100 dostępów. Przy jednym dostępie na jeden rekord wychodzi 7mln / 100 = 70tys sekund - jakieś 20 godzin. Taka ilość danych w zupełności wystarczy, aby zajeździć dysk.
Technical Details
Message-ID:
<0a34a73f-98ff-4ef2-950e-05c8accacf83@googlegroups.com>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!news.nask.pl!news.nask.org.pl!news.unit0.net!news.glorb.com!kq10no9020228igb.0!news-out.google.com!n2ni10398igy.0!nntp.google.com!kq10no8550280igb.0!postnews.google.com!glegroupsg2000goo.googlegroups.com!not-for-mailReferences:
<55e5cdb5$0$8373$65785112@news.neostrada.pl> <56039a62$0$8374$65785112@news.neostrada.pl> <46ab4ffe-a79c-4ce8-a896-7d639e1ad917@googlegroups.com> <5603d312$0$8379$65785112@news.neostrada.pl> <ac13e5af-d4a2-4720-912e-f236afd4dc67@googlegroups.com> <5603dc46$0$27529$65785112@news.neostrada.pl>Show Full Headers
Complete Article Headers
X-Received: by 10.182.24.71 with SMTP id s7mr31114100obf.42.1443094376124; Thu, 24 Sep 2015 04:32:56 -0700 (PDT) X-Received: by 10.182.112.234 with SMTP id it10mr172033obb.13.1443094376101; Thu, 24 Sep 2015 04:32:56 -0700 (PDT) Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!news.nask.pl!news.nask.org.pl!news.unit0.net!news.glorb.com!kq10no9020228igb.0!news-out.google.com!n2ni10398igy.0!nntp.google.com!kq10no8550280igb.0!postnews.google.com!glegroupsg2000goo.googlegroups.com!not-for-mail Newsgroups: pl.comp.bazy-danych Date: Thu, 24 Sep 2015 04:32:55 -0700 (PDT) In-Reply-To: <5603dc46$0$27529$65785112@news.neostrada.pl> Complaints-To: groups-abuse@google.com Injection-Info: glegroupsg2000goo.googlegroups.com; posting-host=178.36.206.163; posting-account=xjvq9QoAAAATMPC2X3btlHd_LkaJo_rj NNTP-Posting-Host: 178.36.206.163 References: <55e5cdb5$0$8373$65785112@news.neostrada.pl> <56039a62$0$8374$65785112@news.neostrada.pl> <46ab4ffe-a79c-4ce8-a896-7d639e1ad917@googlegroups.com> <5603d312$0$8379$65785112@news.neostrada.pl> <ac13e5af-d4a2-4720-912e-f236afd4dc67@googlegroups.com> <5603dc46$0$27529$65785112@news.neostrada.pl> User-Agent: G2/1.0 MIME-Version: 1.0 Message-ID: <0a34a73f-98ff-4ef2-950e-05c8accacf83@googlegroups.com> Subject: Re: [mysql] Jak przyspieszyć wczytywanie dumpa From: "M.M." <mmarszik@gmail.com> Injection-Date: Thu, 24 Sep 2015 11:32:56 +0000 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit