🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: pl.comp.bazy-danych
Article #195147

Re: Normalizacja, wydajność, dużo danych

#195147
From: geos
Date: Wed, 16 Nov 2016 12:03
30 lines
2626 bytes
On 16.11.2016 11:52, Roman Tyczka wrote:
>
> Mam pytanie do praktyków. Mam sporą (kilka mln rekordów) bazę, która ma
> docelowo pracować na wirtualce, więc mocy nie będzie aż tak dużo, szukam
> więc optymalizacji.
> Główna tabela ma ponad 30 kolumn, ale w praktyce najczęściej będzie
> potrzebnych 5 do 10ciu. Czy jeśli podzielę tę tabelę na dwie, gdzie
> pierwsza będzie mieć te 10 ważniejszych kolumn, a druga pozostałe to
> uzyskam odczuwalną różnicę w odpytywaniu do tej tabeli? Na logikę nie
> powinno to mieć znaczenia, ale teoria z praktyką się nie zawsze lubi.
> Serwer to Firebird, ale w niedalekiej przyszłości będzie to PostgreSQL.
> Zapytania głównie wyszukujące po jednym kluczu. Czasami dwóch lub trzech
> (zawartych w tych 10ciu istotnych kolumnach).
>
> Jest sens bawić się w dzielenie czy nie?

przeanalizuj zapytania. jeśli wybierają po kilka procent rekordów z 
użyciem indeksu to raczej nie. jeśli wybiera wiele % rekordów z użyciem 
full skanów na tabeli to być może tak. jeśli te 10 najczęściej 
wybieranych kolumn stanowi niewielki fragment rozmiaru wiersza to 
prawdopodobnie tak. jeśli stanowią znaczący rozmiar wiersza to 
prawdopodobnie nie. jeśli jest dostępna indeksowa organizacja tabeli to 
może to być jakieś wyjście aby to wykorzystać i ładować dane z 
pozostałych kolumn do osobnego segmentu. ogólnie odpowiedź można 
udzielić po przeanalizowaniu rozmiaru danych i zapytań, ale też nie musi 
być ona jednoznaczna. metoda empiryczna też jest dobrym podejściem -- 
jak masz środowisko testowe to spróbuj.

pozdrawiam,
geos
Technical Details
Message-ID: <582c4b21$0$15200$65785112@news.neostrada.pl>
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!fu-berlin.de!peer01.fr7!futter-mich.highwinds-media.com!news.highwinds-media.com!newsfeed.neostrada.pl!unt-exc-01.news.neostrada.pl!unt-spo-a-01.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail
References: <89y5ywct3htv$.dlg@tyczka.com>

Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!fu-berlin.de!peer01.fr7!futter-mich.highwinds-media.com!news.highwinds-media.com!newsfeed.neostrada.pl!unt-exc-01.news.neostrada.pl!unt-spo-a-01.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail
Subject: Re: Normalizacja, wydajność, dużo danych
Newsgroups: pl.comp.bazy-danych
References: <89y5ywct3htv$.dlg@tyczka.com>
From: geos <geos@SPAMPRECZ.autograf.pl>
Date: Wed, 16 Nov 2016 13:03:45 +0100
MIME-Version: 1.0
In-Reply-To: <89y5ywct3htv$.dlg@tyczka.com>
Lines: 31
Message-ID: <582c4b21$0$15200$65785112@news.neostrada.pl>
Organization: Telekomunikacja Polska
NNTP-Posting-Host: 095160126186.warszawa.vectranet.pl
X-Trace: 1479297825 unt-rea-a-02.news.neostrada.pl 15200 95.160.126.186:49917
X-Complaints-To: abuse@news.neostrada.pl
X-Received-Bytes: 2413
X-Received-Body-CRC: 495575086
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit