Jak używać Pythona do logowania się na stronie internetowej i pobierania plików cookie do późniejszego wykorzystania?

Question

Chcę pobrać i parsować stronę przy użyciu Pythona, ale aby uzyskać do niej dostęp, potrzebuję kilku plików cookie. Dlatego muszę najpierw zalogować się przez stronę https do strony internetowej. Moment logowania polega na wysłaniu dwóch parametrów POST (nazwa użytkownika, hasło) do /login.php. Podczas żądania logowania chcę odzyskać pliki cookie z nagłówka odpowiedzi i zapisać je, aby móc je wykorzystać w żądaniu pobrania strony/data.php.

Jak to zrobić w python (najlepiej 2.6)? Jeśli to możliwe, chcę tylko używać wbudowanych modułów.

Answer 1

import urllib, urllib2, cookielib 

username = 'myuser' 
password = 'mypassword' 

cj = cookielib.CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
login_data = urllib.urlencode({'username' : username, 'j_password' : password}) 
opener.open('http://www.example.com/login.php', login_data) 
resp = opener.open('http://www.example.com/hiddenpage.php') 
print resp.read() 

resp.read() jest prosty HTML strony, którą chcesz otworzyć, a można użyć opener aby wyświetlić dowolną stronę przy użyciu sesji ciasteczko.

Answer 2

Oto wersja używając doskonałą requests bibliotekę:

from requests import session 

payload = { 
    'action': 'login', 
    'username': USERNAME, 
    'password': PASSWORD 
} 

with session() as c: 
    c.post('http://example.com/login.php', data=payload) 
    response = c.get('http://example.com/protected_page.php') 
    print(response.headers) 
    print(response.text)