🚀 go-pugleaf

W dniu czwartek, 30 lipca 2020 23:15:22 UTC+2 użytkownik Adam napisał:
> W dniu 2020-07-30 o 22:44, alsor@interia.pl pisze:
> > W dniu czwartek, 30 lipca 2020 22:16:44 UTC+2 użytkownik Adam napisał:
> >> W dniu 2020-07-30 o 22:05, alsor@interia.pl pisze:
> >>> W dniu czwartek, 30 lipca 2020 13:43:59 UTC+2 użytkownik Borneq napisał:
> >>>> Jak załadować 1TB danych do bazy? pamięć w kompie to 24 GiB.
> >>>> Jeśli chodzi o MySQL to myślę, że pierwsze kilkanaście gigabajtów
> >>>> poszłoby szybko bo było by w pamięci, potem wszystko musiało by być na
> >>>> HDD. Jakiej bazy najlepiej użyć?
> >>>
> >>> co to ma za znaczenie?
> >>> Załadujesz w czasie kilku sekund tak czy siak.
> >>>
> >>> przepust dysku: 100MB/s, czyli 1TB idzie w 10 s;
> >>> na SSD w okolicach 2s;
> >>> ram: zasuwa minimum z 4GB/s... 1/4 s.
> >>>
> >>
> >> Nie wiem, jak w innych bazach, ale w mssql duże znaczenie ma rodzaj
> >> danych, klucze oraz indeksy i ich rodzaje, pola unikalne, triggery,
> >> czasem włączenie/wyłączenie filestream.
> >>
> >>
> >> -- 
> >> Pozdrawiam.
> >>
> >> Adam
> > 
> > co to ma za znaczenie?
> > 
> > wszelkie obliczenia są robione w pamięci ram, a nie po dyskach - mikrosekundy!
> > 
> > transfer ma tu jedynie znaczenie (najwolniejszy segment),
> > np. przez zdalną sieć byłoby 100 razy wolniej, niż w lokalnej...
> > zwłaszcza w Polsce, bo tu mamy szybkość internetu z 10MG/s - góra.
> > 
> 
> Nie wiem, czy dobrze się rozumiemy.
> 
> Twój pierwszy post zrozumiałem jako: "jak napompować bazę danymi o 
> pojemności 1TB", czyli jak zrobić UPDATE.
> Ale piszesz też o obliczeniach - nie wiem, o co Ci chodzi.
> 
> W zasadzie mogę przygotować i podesłać Ci dwa skrypty zasilające bazę 
> mssql, a czas ich działania (i zasilenia bazy danych) będzie radykalnie 
> różny dla tych samych danych.
> 
> 
> -- 
> Pozdrawiam.
> 
> Adam

Przecież to nie jest mój temat - ja tylko podałem sugestię dla autora...

Zakładam że w sql generalnie istnieje dyrektywa pozwalająca
na wyłączenie kontroli - transakcji, itp. podczas tworzenia/wpisywania całej bazy!

Jeśli tam takiej opcji nie ma, no to wtedy pakowanie miliona rekordów
do bazy - w trybie transakcji!, zajmie... kilka godzin prawdopodobnie,
niezależnie od sprzętu.