🚀 go-pugleaf

Witam,

Obecny kod (nie mój) wygląda tak:
====
timeout = 2
setdefaulttimeout(timeout)
req_data = {'User-Agent' : 'PornViewer'}
request = urllib2.Request(url, None, req_data)
req = urllib2.urlopen(request)
html = req.read(65535)
req.close()

if req.info().getmaintype() == "text":
    return "| %s" % self.prepare_title(BF(html).title.string)
else:
    return "| Podany URL ma na koncu %s" % req.info().gettype()
====
prepare_title nie jest istotne - tam tylko zmienamy encje na znaczki :)

Tak, musimy sprawdzać nagłówki i ograniczać liczbę pobieranych danych, 
bo to stoi w dziwnym miejscu, gdzie każdy lubi psuć bota ;)

No i teraz pytanie - jak zabezpieczyć się przed stronami, które mają w 
php'ie sleep()? np. http://jabluszko.org/test.php
Powiedzmy kod jest:
====
<?
for($i=0; $i<50; $i++) {
         sleep(2);
         for($i2=0; $i2<10; $i2++) {
                 echo(SHA1(MD5(time() . rand(0,99999))));
         }
}
?>
====
urlopen stara się pobrać całą stronę - więc trwa to jakieś 100 sekund. 
100 sekund na pobranie title tagu ze strony to przesada.
Timeout ustawiany (chyba?) nic nie daje - przecież połączenie jest 
aktywne ;)

Jakieś pomysły/sugestie?

Pozdrawiam,