Article View: pl.comp.lang.perl
Article #39839Re: MLDBM rozmiar
From: Bartosz Jakubski
Date: Mon, 25 Oct 2004 08:01
Date: Mon, 25 Oct 2004 08:01
37 lines
2580 bytes
2580 bytes
Zbyszek Malec napisał(a):
> Hej
> Piszę sobie program indeksujący pliki tekstowe. Wykorzystuję do tego
> modułu MLDBM, które to serializuje mi moje obiekty (używa Data::Dumper)
> i zapisuje do pliku dbm. Moja struktura danych to:
>
> %words{ $word} = %fileLocation;
> %fileLocation{ $fileName} = @lineNumbers;
> @lineNubers[i] = liczba;
>
> Jako że indeks powinien być sporo mniejszy niż sam plik indeksowany
> niepokoi mnie fakt, że z 20 kb tekstu (z powtarzającymi się słowami)
> robi się 170 kb indeksu. Przy pracowaniu z plikami większymi będącymi
> swoimi powielonymi kopiami, stosunek się poprawia (680 kb tekstu i 690
> kb indeksu). W związku z tym mam pytanie: czy MLDBM (czyli właściwie
> Data::Dumper) przy serializacji znacząco zwiększa rozmiar tej struktury
> danych, czy mam błędu szukać gdzieś indziej?
perldoc MLDBM.
For historical and practical reasons, it requires the Data::Dumper
package, available at any CPAN site. Data::Dumper gives you really
nice-looking dumps of your data structures, in case you wish to look at
them on the screen, and it was the only serializing engine before
version 2.00. However, as of version
2.00, you can use any of Data::Dumper, FreezeThaw or Storable to perform
the underlying serialization, as hinted at by the SYNOPSIS overview
above. Using Storable is usually much faster than the other methods.
Warto spróbować ze Storable, intuicyjnie Data::Dumper nie powinien być
zbyt optymalny pod względem objętości zdumpowanych danych.
A może DBM::Deep?
--
-- .- Bartosz Jakubski ------------------- Sosnowiec -. --
-- | Free Software is a matter of liberty, not price | --
-- `---------------(http://www.fsf.org/philosophy)-----' --
Technical Details
Message-ID:
<slrncnpcgn.1ie7.migo@bartosz.localdomain>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news2.icm.edu.pl!mimuw.edu.pl!news.mimuw.edu.pl!newsfeed.tpinternet.pl!atlantis.news.tpi.pl!news.tpi.pl!not-for-mailReferences:
<clebvh$r4i$1@inews.gazeta.pl>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news2.icm.edu.pl!mimuw.edu.pl!news.mimuw.edu.pl!newsfeed.tpinternet.pl!atlantis.news.tpi.pl!news.tpi.pl!not-for-mail From: Bartosz Jakubski <migo@pulapka.pld-linux.org> Newsgroups: pl.comp.lang.perl Subject: Re: MLDBM rozmiar Date: Mon, 25 Oct 2004 08:01:45 +0000 (UTC) Organization: tp.internet - http://www.tpi.pl/ Lines: 37 Message-ID: <slrncnpcgn.1ie7.migo@bartosz.localdomain> References: <clebvh$r4i$1@inews.gazeta.pl> NNTP-Posting-Host: xy214.internetdsl.tpnet.pl Mime-Version: 1.0 X-Trace: nemesis.news.tpi.pl 1098691305 8470 80.55.232.214 (25 Oct 2004 08:01:45 GMT) X-Complaints-To: usenet@tpi.pl NNTP-Posting-Date: Mon, 25 Oct 2004 08:01:45 +0000 (UTC) User-Agent: slrn/0.9.8.0 (FreeBSD) Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit