Java - Najszybszy sposób sprawdzenia, czy URL istnieje

Question

Witam Piszę program, który przechodzi przez wiele różnych adresów URL i po prostu sprawdza, czy istnieją, czy nie. Zasadniczo sprawdzam, czy zwrócono kod błędu 404, czy nie. Jednak podczas sprawdzania ponad 1000 adresów URL, chcę móc to zrobić bardzo szybko. Poniżej zamieszczona jest mój kod, zastanawiałem się, w jaki sposób można go zmodyfikować, aby szybko działać (jeśli to możliwe):

final URL url = new URL("http://www.example.com"); 
HttpURLConnection huc = (HttpURLConnection) url.openConnection(); 
int responseCode = huc.getResponseCode(); 

if (responseCode != 404) { 
System.out.println("GOOD"); 
} else { 
System.out.println("BAD"); 
} 

byłoby szybsze w użyciu JSoup?

Mam świadomość, że niektóre witryny podają kod 200 i mają własną stronę błędu, ale wiem, że linki, które sprawdzam, nie robią tego, więc nie jest to konieczne.

Answer 1

spróbować wysyłając żądanie „głowa” zamiast dostać wniosek. To powinno być szybsze, ponieważ treść odpowiedzi nie została pobrana.

huc.setRequestMethod("HEAD"); 

Znowu zamiast sprawdzenie czy stan odpowiedź nie jest 400, należy sprawdzić, czy jest 200. To jest czek na pozytywne zamiast negatywne. 404 403 402 .. wszystkie 40-krotne statusy są prawie równoważne z nieważnym nieistniejącym adresem URL.

Możesz użyć wielowątkowości, aby było jeszcze szybciej.

Answer 2

Wygląda na to, że możesz ustawić właściwość limitu czasu, upewnij się, że jest akceptowalna. A jeśli masz wiele adresów URL do przetestowania, wykonaj je równolegle, będzie to znacznie szybsze. Mam nadzieję, że to będzie pomocne.

Answer 3

Spróbuj zadać kolejnego serwera DNS

class DNSLookup 
{ 
    public static void main(String args[]) 
    { 
     String host = "stackoverflow.com"; 
     try 
     { 
      InetAddress inetAddress = InetAddress.getByName(host); 
      // show the Internet Address as name/address 
      System.out.println(inetAddress.getHostName() + " " + inetAddress.getHostAddress()); 
     } 
     catch (UnknownHostException exception) 
     { 
      System.err.println("ERROR: Cannot access '" + host + "'"); 
     } 
     catch (NamingException exception) 
     { 
      System.err.println("ERROR: No DNS record for '" + host + "'"); 
      exception.printStackTrace(); 
     } 
    } 
}