Article View: pl.comp.bazy-danych
Article #195147Re: Normalizacja, wydajność, dużo danych
From: geos
Date: Wed, 16 Nov 2016 12:03
Date: Wed, 16 Nov 2016 12:03
30 lines
2626 bytes
2626 bytes
On 16.11.2016 11:52, Roman Tyczka wrote: > > Mam pytanie do praktyków. Mam sporą (kilka mln rekordów) bazę, która ma > docelowo pracować na wirtualce, więc mocy nie będzie aż tak dużo, szukam > więc optymalizacji. > Główna tabela ma ponad 30 kolumn, ale w praktyce najczęściej będzie > potrzebnych 5 do 10ciu. Czy jeśli podzielę tę tabelę na dwie, gdzie > pierwsza będzie mieć te 10 ważniejszych kolumn, a druga pozostałe to > uzyskam odczuwalną różnicę w odpytywaniu do tej tabeli? Na logikę nie > powinno to mieć znaczenia, ale teoria z praktyką się nie zawsze lubi. > Serwer to Firebird, ale w niedalekiej przyszłości będzie to PostgreSQL. > Zapytania głównie wyszukujące po jednym kluczu. Czasami dwóch lub trzech > (zawartych w tych 10ciu istotnych kolumnach). > > Jest sens bawić się w dzielenie czy nie? przeanalizuj zapytania. jeśli wybierają po kilka procent rekordów z użyciem indeksu to raczej nie. jeśli wybiera wiele % rekordów z użyciem full skanów na tabeli to być może tak. jeśli te 10 najczęściej wybieranych kolumn stanowi niewielki fragment rozmiaru wiersza to prawdopodobnie tak. jeśli stanowią znaczący rozmiar wiersza to prawdopodobnie nie. jeśli jest dostępna indeksowa organizacja tabeli to może to być jakieś wyjście aby to wykorzystać i ładować dane z pozostałych kolumn do osobnego segmentu. ogólnie odpowiedź można udzielić po przeanalizowaniu rozmiaru danych i zapytań, ale też nie musi być ona jednoznaczna. metoda empiryczna też jest dobrym podejściem -- jak masz środowisko testowe to spróbuj. pozdrawiam, geos
Technical Details
Message-ID:
<582c4b21$0$15200$65785112@news.neostrada.pl>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!fu-berlin.de!peer01.fr7!futter-mich.highwinds-media.com!news.highwinds-media.com!newsfeed.neostrada.pl!unt-exc-01.news.neostrada.pl!unt-spo-a-01.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mailReferences:
<89y5ywct3htv$.dlg@tyczka.com>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!fu-berlin.de!peer01.fr7!futter-mich.highwinds-media.com!news.highwinds-media.com!newsfeed.neostrada.pl!unt-exc-01.news.neostrada.pl!unt-spo-a-01.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail Subject: Re: Normalizacja, wydajność, dużo danych Newsgroups: pl.comp.bazy-danych References: <89y5ywct3htv$.dlg@tyczka.com> From: geos <geos@SPAMPRECZ.autograf.pl> Date: Wed, 16 Nov 2016 13:03:45 +0100 MIME-Version: 1.0 In-Reply-To: <89y5ywct3htv$.dlg@tyczka.com> Lines: 31 Message-ID: <582c4b21$0$15200$65785112@news.neostrada.pl> Organization: Telekomunikacja Polska NNTP-Posting-Host: 095160126186.warszawa.vectranet.pl X-Trace: 1479297825 unt-rea-a-02.news.neostrada.pl 15200 95.160.126.186:49917 X-Complaints-To: abuse@news.neostrada.pl X-Received-Bytes: 2413 X-Received-Body-CRC: 495575086 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit