Beautifulsoup, maksymalna głębokość rekursji osiągnęła

Question

To jest procedura beautifulsoup, która pobiera treści we wszystkich znacznikach html <p>. Po pobraniu treści z niektórych stron internetowych pojawia się błąd z informacją, że maksymalna głębokość rekurencji została przekroczona.

def printText(tags): 
    for tag in tags: 
     if tag.__class__ == NavigableString: 
      print tag, 
     else: 
      printText(tag) 
    print "" 
#loop over urls, send soup to printText procedure 

Dno śladu:

File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 16, in printText 
    printText(tag) 
    File "web_content.py", line 13, in printText 
    if tag.__class__ == NavigableString: 
RuntimeError: maximum recursion depth exceeded in cmp 

Answer 1

Prawdopodobnie uderzył ciąg. Iteracja przez łańcuch daje ciągi o długości 1. Iteracja nad tym ciągiem o długości 1 daje łańcuch o długości 1. Iteracja nad ŻE 1 długości ciąg ...

Answer 2

Twój printText() wywołuje się rekurencyjnie jeśli napotka coś innego niż NavigableString. Obejmuje to podklasy NavigableString, takie jak Comment. Wywołanie funkcji printText() w komentarzu powoduje iterację tekstu komentarza i powoduje wyświetlenie nieskończonej rekurencji.

polecam korzystania isinstance() w if zamiast porównywania obiektów Klasa:

if isinstance(tag, basestring): 

ja zdiagnozowano ten problem poprzez wprowadzenie instrukcji print przed rekursji:

print "recursing on", tag, type(tag) 
printText(tag) 

Answer 3

miałem taki sam problem. Jeśli masz zagnieżdżone znaczniki o głębokości około 480 poziomów i chcesz przekonwertować ten znacznik na ciąg/kod Unicode, otrzymasz numer . Każdy poziom wymaga dwóch zagnieżdżonych wywołań metod i wkrótce trafisz domyślnie 1000 zagnieżdżonych połączeń python. Możesz podnieść ten poziom lub możesz użyć tego pomocnika. Wydobywa cały tekst z html i wyświetla je w ampułko-środowiska:

def beautiful_soup_tag_to_unicode(tag): 
    try: 
     return unicode(tag) 
    except RuntimeError as e: 
     if not str(e).startswith('maximum recursion'): 
      raise 
     # If you have more than 480 level of nested tags you can hit the maximum recursion level 
     out=[] 
     for mystring in tag.findAll(text=True): 
      mystring=mystring.strip() 
      if not mystring: 
       continue 
      out.append(mystring) 
     return u'<pre>%s</pre>' % '\n'.join(out)