Extract HTML z URL

Question

używam Boilerpipe wyodrębnić tekst z adresem URL, używając tego kodu:

URL url = new URL("http://www.example.com/some-location/index.html"); 
String text = ArticleExtractor.INSTANCE.getText(url); 

text String zawiera tylko tekst strony html, ale trzeba wyodrębnić do całego kodu html z tego.

Czy jest ktoś, kto użył tej biblioteki i wie, jak wyodrębnić kod HTML? Aby uzyskać więcej informacji o bibliotece, można sprawdzić numer demo page.

Answer 1

Na coś tak prostego jak to naprawdę nie potrzebują zewnętrznej biblioteki:

URL url = new URL("http://www.google.com"); 
InputStream is = (InputStream) url.getContent(); 
BufferedReader br = new BufferedReader(new InputStreamReader(is)); 
String line = null; 
StringBuffer sb = new StringBuffer(); 
while((line = br.readLine()) != null){ 
    sb.append(line); 
} 
String htmlContent = sb.toString(); 

Answer 2

wystarczy użyć KeepEverythingExtractor zamiast ArticleExtractor.

Ale używa to niewłaściwego narzędzia do nieodpowiedniej pracy. To, czego chcesz, to pobrać zawartość HTML z URL-a (prawda?), A nie wyodrębniać treści. Dlaczego więc używać ekstraktora zawartości?

Answer 3

Z Java 7 i podstęp skanera, można wykonać następujące czynności:

public static String toHtmlString(URL url) throws IOException { 
    Objects.requireNonNull(url, "The url cannot be null."); 
    try (InputStream is = url.openStream(); Scanner sc = new Scanner(is)) { 
     sc.useDelimiter("\\A"); 
     if (sc.hasNext()) { 
      return sc.next(); 
     } else { 
      return null; // or empty 
     } 
    } 
}