Web scraping - jak uzyskać dostęp do treści renderowanych w JavaScript przez Angular.js?

Question

Próbuję zeskrobać dane ze strony publicznej asx.com.au

Strona http://www.asx.com.au/asx/research/company.do#!/ACB/details zawiera div z klasą „Widok-content”, który posiada informacje potrzebne:

ale kiedy staram się, by zobaczyć tę stronę za pomocą Pythona urllib2.urlopen że div jest pusta:

import urllib2 
from bs4 import BeautifulSoup 

url = 'http://www.asx.com.au/asx/research/company.do#!/ACB/details' 
page = urllib2.urlopen(url).read() 
soup = BeautifulSoup(page, "html.parser") 
contentDiv = soup.find("div", {"class": "view-content"}) 
print(contentDiv) 

# the results is an empty div: 
# <div class="view-content" ui-view=""></div> 

Czy to możliwe, aby uzyskać dostęp zawartość tego div programowo?

Edytuj: zgodnie z komentarzem wydaje się, że treść jest renderowana przez Angular.js. Czy możliwe jest wyzwolenie renderowania tej treści przez Python?

Answer 1

Ta strona używa JavaScript do odczytywania danych z serwera i wypełniania strony.

Widzę, że używasz narzędzi programistycznych w chrome - patrz w zakładce "Sieć" na żądanie "XHR" lub "JS".

znalazłem ten link

http://data.asx.com.au/data/1/company/ACB?fields=primary_share,latest_annual_reports,last_dividend,primary_share.indices&callback=angular.callbacks._0

Ten url daje wszystkie dane niemal w formacie JSON

Ale jeśli używasz tego linku bez &callback=angular.callbacks._0 następnie można uzyskać dane w czystym formacie JSON i będzie mógł użyj modułu json, aby przekonwertować go do słownika Pythona.

---

EDIT: kod roboczych

import urllib2 
from bs4 import BeautifulSoup 
import json 

# new url  
url = 'http://data.asx.com.au/data/1/company/ACB?fields=primary_share,latest_annual_reports,last_dividend,primary_share.indices' 

# read all data 
page = urllib2.urlopen(url).read() 

# convert json text to python dictionary 
data = json.loads(page) 

print(data['principal_activities']) 

wyjściowa:

Mineral exploration in Botswana, China and Australia.