Pobierany jest plik za pomocą Python urllib2. Jak sprawdzić, jak duży jest rozmiar pliku?

Question

A jeśli jest duży ... zatrzymaj pobieranie? Nie chcę pobierać plików większych niż 12 MB.

request = urllib2.Request(ep_url) 
request.add_header('User-Agent',random.choice(agents)) 
thefile = urllib2.urlopen(request).read() 

Answer 1

Nie ma potrzeby, ponieważ bobince zrobiłeś i upuściłeś na httplib. Można zrobić wszystko, z urllib bezpośrednio:

>>> import urllib2 
>>> f = urllib2.urlopen("http://dalkescientific.com") 
>>> f.headers.items() 
[('content-length', '7535'), ('accept-ranges', 'bytes'), ('server', 'Apache/2.2.14'), 
('last-modified', 'Sun, 09 Mar 2008 00:27:43 GMT'), ('connection', 'close'), 
('etag', '"19fa87-1d6f-447f627da7dc0"'), ('date', 'Wed, 28 Oct 2009 19:59:10 GMT'), 
('content-type', 'text/html')] 
>>> f.headers["Content-Length"] 
'7535' 
>>> 

Jeśli używasz httplib następnie można zaimplementować obsługę przekierowania, wsparcie proxy i inne miłe rzeczy, które urllib2 robi dla Ciebie.

Answer 2

można sprawdzić Content-Length w żądaniu HEAD pierwszy, ale ostrzegamy, to nagłówek nie musi być ustawiony - patrz How do you send a HEAD HTTP request in Python 2?

Answer 3

można powiedzieć:

maxlength= 12*1024*1024 
thefile= urllib2.urlopen(request).read(maxlength+1) 
if len(thefile)==maxlength+1: 
    raise ThrowToysOutOfPramException() 

, ale oczywiście nadal czytasz 12 MB niechcianych danych. Jeśli chcesz zminimalizować ryzyko takiego zdarzenia, możesz sprawdzić nagłówek HTTP Content-Length, jeśli jest obecny (może nie być). Ale aby to zrobić, musisz przejść do httplib zamiast do bardziej ogólnego adresu URL.

u= urlparse.urlparse(ep_url) 
cn= httplib.HTTPConnection(u.netloc) 
cn.request('GET', u.path, headers= {'User-Agent': ua}) 
r= cn.getresponse() 

try: 
    l= int(r.getheader('Content-Length', '0')) 
except ValueError: 
    l= 0 
if l>maxlength: 
    raise IAmCrossException() 

thefile= r.read(maxlength+1) 
if len(thefile)==maxlength+1: 
    raise IAmStillCrossException() 

Możesz sprawdzić długość przed pytaniem, aby pobrać plik, jeśli wolisz. Jest to zasadniczo takie samo jak powyżej, z wyjątkiem metody 'HEAD' zamiast z .

Answer 4

To będzie działać, jeśli nagłówek Content-Length jest ustawiony

import urllib2   
req = urllib2.urlopen("http://example.com/file.zip") 
total_size = int(req.info().getheader('Content-Length'))