403 Zabrania się używania Javy, ale nie przeglądarki internetowej?

Question

Piszę mały program Java, aby uzyskać wyniki dla danego wyszukiwanego hasła. Z jakiegoś powodu w Javie dostaję 403 Forbidden, ale otrzymuję właściwe wyniki w przeglądarkach internetowych. Kod:

import java.io.BufferedReader; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.net.URL; 


public class DataGetter { 

    public static void main(String[] args) throws IOException { 
     getResultAmount("test"); 
    } 

    private static int getResultAmount(String query) throws IOException { 
     BufferedReader r = new BufferedReader(new InputStreamReader(new URL("https://www.google.com/search?q=" + query).openConnection() 
       .getInputStream())); 
     String line; 
     String src = ""; 
     while ((line = r.readLine()) != null) { 
      src += line; 
     } 
     System.out.println(src); 
     return 1; 
    } 

} 

i błąd:

Exception in thread "main" java.io.IOException: Server returned HTTP response code: 403 for URL: https://www.google.com/search?q=test 
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source) 
    at sun.net.www.protocol.https.HttpsURLConnectionImpl.getInputStream(Unknown Source) 
    at DataGetter.getResultAmount(DataGetter.java:15) 
    at DataGetter.main(DataGetter.java:10) 

Dlaczego to robi?

Answer 1

Trzeba tylko ustawić nagłówek agenta użytkownika do jego pracy:

URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection(); 
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); 
connection.connect(); 

BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); 

StringBuilder sb = new StringBuilder(); 
String line; 
while ((line = r.readLine()) != null) { 
    sb.append(line); 
} 
System.out.println(sb.toString()); 

SSL był przejrzysty obsługiwane dla Ciebie, jak można było zobaczyć z stacktrace wyjątków.

Uzyskanie kwoty wyniku nie jest tak proste, jednak musisz sfałszować, że jesteś przeglądarką, pobierając plik cookie i analizując link tokenu przekierowania.

String cookie = connection.getHeaderField("Set-Cookie").split(";")[0]; 
Pattern pattern = Pattern.compile("content=\\\"0;url=(.*?)\\\""); 
Matcher m = pattern.matcher(response); 
if(m.find()) { 
    String url = m.group(1); 
    connection = new URL(url).openConnection(); 
    connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); 
    connection.setRequestProperty("Cookie", cookie); 
    connection.connect(); 
    r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); 
    sb = new StringBuilder(); 
    while ((line = r.readLine()) != null) { 
     sb.append(line); 
    } 
    response = sb.toString(); 
    pattern = Pattern.compile("<div id=\"resultStats\">About ([0-9,]+) results</div>"); 
    m = pattern.matcher(response); 
    if(m.find()) { 
     long amount = Long.parseLong(m.group(1).replaceAll(",", "")); 
     return amount; 
    } 

} 

Running the full code uzyskać 2930000000L wyniku.

Answer 2

Prawdopodobnie nie ustawiasz poprawnych nagłówków. Użyj LiveHttpHeaders (lub odpowiednika) w przeglądarce, aby zobaczyć, jakie nagłówki wysyła przeglądarka, a następnie emuluj je w swoim kodzie.

Answer 3

To dlatego, że witryna korzysta z protokołu SSL. Spróbuj użyć klienta HTTP firmy Jersey. Prawdopodobnie będziesz musiał również dowiedzieć się trochę o HTTPS i certyfikatach, ale sądzę, że Jersey może postawić zakład, aby zignorować większość szczegółów dotyczących faktycznego bezpieczeństwa.