Używanie urllib i BeautifulSoup do pobierania informacji z Internetu za pomocą Pythona

Question

Mogę pobrać stronę html za pomocą urllib i użyć BeautifulSoup do analizy strony HTML i wygląda na to, że muszę wygenerować plik do odczytu z BeautifulSoup.

import urllib          
sock = urllib.urlopen("http://SOMEWHERE") 
htmlSource = sock.read()        
sock.close()           
--> write to file 

Czy istnieje sposób na wywołanie BeautifulSoup bez generowania pliku z urllib?

Answer 1

from BeautifulSoup import BeautifulSoup 

soup = BeautifulSoup(htmlSource) 

Nie trzeba pisać: wystarczy przekazać ciąg znaków HTML. Możesz również przekazać obiekt zwrócony bezpośrednio z domeny urlopen:

f = urllib.urlopen("http://SOMEWHERE") 
soup = BeautifulSoup(f)