python [lxml] - oczyszczanie znaczników html

Question

from lxml.html.clean import clean_html, Cleaner 
    def clean(text): 
     try:   
      cleaner = Cleaner(scripts=True, embedded=True, meta=True, page_structure=True, links=True, style=True, 
         remove_tags = ['a', 'li', 'td']) 
      print (len(cleaner.clean_html(text))- len(text)) 
      return cleaner.clean_html(text) 
     except: 
      print 'Error in clean_html' 
      print sys.exc_info() 
      return text 

Ułożyłem powyższy (brzydki) kod jako moje początkowe wypady w ziemię pytona. Próbuję użyć LXML-a do oczyszczenia kilku stron HTML, więc na końcu pozostało mi tylko tekst i nic więcej - ale spróbuj tak jak ja, powyższe nie wydaje się działać jako takie, jestem pozostało z substial ilości znaczników (i robi to wydaje się być złamane html), a zwłaszcza powiązań, które nie trafiają usunięte, mimo args używam w remove_tags i links=True

jakiś pomysł, co się dzieje, może im szczekanie złe drzewo z lxml? Myślałem, że to jest sposób, aby przejść z parsowania html w Pythona?

Answer 1

Myślę, że powinieneś sprawdzić Beautiful Soup. Użyj porady od this article i rozebrać elementy HTML w następujący sposób:

from BeautifulSoup import BeautifulSoup 

''.join(BeautifulSoup(page).findAll(text=True)) 

Gdzie page jest ciąg HTML.

Jeśli potrzebujesz dalszych wyjaśnień, możesz przejrzeć studium przypadku Dive into Python pod numerem HTML parsing.

Answer 2

Nie wiem, czy istnieje metoda ta po raz dokonaniu pytanie, ale jeśli przejdziesz przez

document = lxml.html.document_fromstring(html_text) 
raw_text = document.text_content() 

To powinien zwrócić Ci całą zawartość tekstu w dokumencie HTML, minus wszystkie znaczniki.

Answer 3

rozwiązanie z David Łączy tekst bez separatora:

import lxml.html 
    document = lxml.html.document_fromstring(html_string) 
    # internally does: etree.XPath("string()")(document) 
    print document.text_content() 

ale ten pomógł mi - konkatenacji drodze mi potrzebne:

from lxml import etree 
    print "\n".join(etree.XPath("//text()")(document))