Jak programowo zalogować się do witryny internetowej do screenscape?

Question

Potrzebuję informacji z witryny, która nie jest moja, aby uzyskać te informacje, muszę zalogować się do witryny, aby zebrać informacje, dzieje się to za pośrednictwem formularza HTML. Jak mogę zrobić to uwierzytelnione screencaping w C#?

Dodatkowe informacje: uwierzytelnianie oparte

• Cookie.
• Wymagane działanie POST.

Answer 1

Złożyłabyś wniosek tak, jakbyś właśnie wypełnił formularz. Zakładając, że jest to POST, na przykład, wysyłasz żądanie POST z poprawnymi danymi. Jeśli nie możesz zalogować się bezpośrednio na tę samą stronę, którą chcesz zeskanować, będziesz musiał śledzić ustawienia plików cookie po zgłoszeniu logowania i uwzględnić je w żądaniu skrobania, aby pozostać zalogowanym.

Może wyglądać następująco:

HttpWebRequest http = WebRequest.Create(url) as HttpWebRequest; 
http.KeepAlive = true; 
http.Method = "POST"; 
http.ContentType = "application/x-www-form-urlencoded"; 
string postData="FormNameForUserId=" + strUserId + "&FormNameForPassword=" + strPassword; 
byte[] dataBytes = UTF8Encoding.UTF8.GetBytes(postData); 
http.ContentLength = dataBytes.Length; 
using (Stream postStream = http.GetRequestStream()) 
{ 
    postStream.Write(dataBytes, 0, dataBytes.Length); 
} 
HttpWebResponse httpResponse = http.GetResponse() as HttpWebResponse; 
// Probably want to inspect the http.Headers here first 
http = WebRequest.Create(url2) as HttpWebRequest; 
http.CookieContainer = new CookieContainer(); 
http.CookieContainer.Add(httpResponse.Cookies); 
HttpWebResponse httpResponse2 = http.GetResponse() as HttpWebResponse; 

Może.

Answer 2

Musisz użyć HTTPWebRequest i wykonać test POST. Ten link powinien pomóc Ci zacząć. Kluczowe jest to, że musisz spojrzeć na formularz HTML strony, którą próbujesz opublikować, aby zobaczyć wszystkie parametry potrzebne do przesłania postu.

http://www.netomatix.com/httppostdata.aspx

http://geekswithblogs.net/rakker/archive/2006/04/21/76044.aspx

Answer 3

Można użyć kontrolę WebBrowser. Wystarczy podać adres URL witryny, a następnie użyć DOM, aby ustawić nazwę użytkownika i hasło w odpowiednich polach, a następnie wysłać przycisk "Wyślij". W ten sposób nie dbasz o nic poza dwoma polami wprowadzania i przyciskiem przesyłania. Bez obsługi plików cookie, bez surowego analizowania kodu HTML, bez sniffowania HTTP - wszystko to odbywa się za pomocą formantu przeglądarki.

Jeśli przejść tę drogę, jeszcze kilka sugestii:

1. można zapobiec kontrolę od załadunku Dodać-ins, takich jak Flash - można zaoszczędzić trochę czasu.
2. Po zalogowaniu można uzyskać wszelkie potrzebne informacje z DOM - nie trzeba analizować surowego HTML.
3. Jeśli chcesz, aby narzędzie było jeszcze bardziej przenośne, jeśli witryna zmieni się w przyszłości, możesz zastąpić jawną manipulację DOM wtryskiem JavaScript. JS można uzyskać z zewnętrznego zasobu, a po wywołaniu może on wykonać populację pól i przesłać.

Answer 4

Jako dodatek do dlambin odpowiedź Konieczne jest, aby mieć

http.AllowAutoRedirect=false; 

Inaczej

HttpWebResponse httpResponse = http.GetResponse() as HttpWebResponse; 

To sprawi kolejną prośbę do początkowego URL i nie będzie w stanie odzyskać url2.

Answer 5

W niektórych przypadkach httpResponse.Cookies będzie puste. Zamiast tego użyj CookieContainer.

CookieContainer cc = new CookieContainer(); 

HttpWebRequest http = WebRequest.Create(url) as HttpWebRequest; 
http.KeepAlive = true; 
http.Method = "POST"; 
http.ContentType = "application/x-www-form-urlencoded"; 

http.CookieContainer = cc; 

string postData="FormNameForUserId=" + strUserId + "&FormNameForPassword=" + strPassword; 
byte[] dataBytes = UTF8Encoding.UTF8.GetBytes(postData); 
http.ContentLength = dataBytes.Length; 
using (Stream postStream = http.GetRequestStream()) 
{ 
    postStream.Write(dataBytes, 0, dataBytes.Length); 
} 
HttpWebResponse httpResponse = http.GetResponse() as HttpWebResponse; 
// Probably want to inspect the http.Headers here first 
http = WebRequest.Create(url2) as HttpWebRequest; 

http.CookieContainer = cc; 

HttpWebResponse httpResponse2 = http.GetResponse() as HttpWebResponse;