Pobierz stronę wygenerowaną za pomocą Javascript w języku Python

Question

Chciałbym pobrać stronę wygenerowaną przez Javascript i zapisać ją do zmiennej łańcuchowej w kodzie Python. Strona jest generowana po kliknięciu przycisku.

Gdybym znał wynikowy URL, użyłbym urllib2, ale tak nie jest.

dziękuję

Answer 1

można użyć Selenium Webdriver:

#!/usr/bin/env python 
from contextlib import closing 
from selenium.webdriver import Firefox # pip install selenium 
from selenium.webdriver.support.ui import WebDriverWait 

# use firefox to get page with javascript generated content 
with closing(Firefox()) as browser: 
    browser.get(url) 
    button = browser.find_element_by_name('button') 
    button.click() 
    # wait for the page to load 
    WebDriverWait(browser, timeout=10).until(
     lambda x: x.find_element_by_id('someId_that_must_be_on_new_page')) 
    # store it to string variable 
    page_source = browser.page_source 
print(page_source)