Handling rss przekierowania z Python/urllib2

Question

Wywołanie urrlib2.urlopen na link do artykułu pobranego z kanału RSS prowadzi do następującego błędu:

urllib2.HTTPError: HTTP Error 301: The HTTP server returned a redirect error tha t would lead to an infinite loop. The last 30x error message was: Moved Permanently

Zgodnie z dokumentacją, urllib2 obsługuje przekierowania.

na Java problem został rozwiązany po prostu dzwoniąc

HttpURLConnection.setFollowRedirects(true);

Jak mogę rozwiązać go z Pythona?

UPDATE

Link Mam problemy z:

http://feeds.nytimes.com/click.phdo?i=8cd5af579b320b0bfd695ddcc344d96c

Answer 1

Okazuje się, musisz włączyć obsługę Cookies. Strona przekierowuje do siebie po uprzednim ustawieniu pliku cookie. Ponieważ urllib2 nie obsługuje plików cookie domyślnie, musisz to zrobić samodzielnie.

import urllib2 
import urllib 
from cookielib import CookieJar 

cj = CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
p = opener.open("http://feeds.nytimes.com/click.phdo?i=8cd5af579b320b0bfd695ddcc344d96c") 

print p.read() 

Answer 2

Nic złego roztworem @ sleeplessnerd, ale to jest bardzo, bardzo nieznacznie bardziej eleganckie:

import urllib2 
url = "http://stackoverflow.com/questions/9926023/handling-rss-redirects-with-python-urllib2" 
p = urllib2.build_opener(urllib2.HTTPCookieProcessor).open(url) 

print p.read() 

W rzeczywistości, jeśli spojrzeć na dokumentacji inline dla funkcji CookieJar(), to bardziej lub nie- każe ci robić rzeczy w ten sposób:

You may not need to know about this class: try urllib2.build_opener(HTTPCookieProcessor).open(url)