Skrobanie przez Internet - jak zidentyfikować główną treść na stronie internetowej

Question

Biorąc pod uwagę stronę z artykułem prasowym (z dowolnego ważnego źródła wiadomości, takiego jak czas lub bloomberg), chcę zidentyfikować główną treść artykułu na tej stronie i wyrzucić pozostałe elementy misc takie jak reklamy, menu, paski boczne, komentarze użytkowników.

Co to jest ogólny sposób, który będzie działał w większości ważnych witryn informacyjnych?

Jakie są dobre narzędzia lub biblioteki do eksploracji danych? (najlepiej na podstawie Pythona)

Answer 1

Nie można tego zrobić, ale gwarantujemy, że będzie działać, ale jedną z możliwych strategii jest znalezienie elementu z najbardziej widocznym tekstem w środku.

Answer 2

Może być bardziej przydatne wyodrębnienie kanałów RSS (<link type="application/rss+xml" href="..."/>) na tej stronie i przeanalizowanie danych w kanale, aby uzyskać główną treść.

Answer 3

Nie próbowałbym zeskrobać go ze strony internetowej - zbyt wiele rzeczy może zepsuć - ale zamiast tego zobacz, które strony internetowe publikują kanały RSS. Na przykład, RSS tego Guardian posiada większość tekstu z ich czołowych artykułów:

http://feeds.guardian.co.uk/theguardian/rss

ja nie wiem, czy The Times (London Times, nie NY) ma jeden, bo to za paywall. Powodzenia z tym ...

Answer 4

Istnieje wiele sposobów, aby to zrobić, ale żaden z nich nigdy nie zadziała. Oto dwa najłatwiejsze:

• czy jest to znany skończony zbiór stron internetowych: w skrobak przekonwertować każdy adres URL od zwykłego URL do adresu URL drukowania dla danego miejsca (naprawdę nie można uogólnić w witrynach)
• Użyj algorytmu czytelności arc90 (implementacja referencyjna jest w javascript) http://code.google.com/p/arc90labs-readability/. Krótka wersja tego algorytmu polega na wyszukiwaniu elementów div zawierających znaczniki p. Nie będzie działać na niektórych stronach internetowych, ale generalnie jest całkiem niezły.

Answer 5

Inną możliwością oddzielenia "prawdziwej" treści od szumu jest measuring HTML density części strony HTML.

Będziesz potrzebował trochę eksperymentów z progami, aby wyodrębnić "prawdziwą" treść, i myślę, że możesz poprawić algorytm, stosując heurystykę, aby określić dokładne granice segmentu HTML po zidentyfikowaniu interesującej treści.

Aktualizacja: Dowiedziałem się, że powyższy URL nie działa teraz; here is an alternative link do buforowanej wersji archive.org.

Answer 6

Jakiś czas temu napisałem dla tego zadania simple Python script. Używa heurystyki do grupowania bloków tekstu w oparciu o ich głębokość w DOM. Grupa z największą ilością tekstu jest wtedy uważana za główną treść. Nie jest doskonały, ale działa dobrze na stronach z wiadomościami, gdzie artykuł jest ogólnie największą grupą tekstu, nawet jeśli jest podzielony na wiele tagów div/p.

Można by użyć skryptu jak: python webarticle2text.py <url>

Answer 7

Diffbot oferuje darmowe (10.000 adresy) API do zrobienia, że ​​nie wiem, czy to podejście jest to, czego szukasz, ale może komuś pomóc http://www.diffbot.com/

Answer 8

Do roztworu w Javie spojrzeć https://code.google.com/p/boilerpipe/:

Biblioteka bojlerów dostarcza algorytmy do wykrywania i usuwania nadmiarowego "bałaganu" (szablon, szablony) wokół głównej treści tekstowej strony internetowej.

Biblioteka zapewnia już konkretne strategie dla typowych zadań (na przykład aktualności ekstrakcji artykułu), a także może być łatwo rozszerzony do indywidualnych ustawień problemowych.

Ale jest też otoki Python wokół tego dostępne tu:

https://github.com/misja/python-boilerpipe