python, lxml i XPath - html tabeli parsowanie

Question

I jestem nowy lxml, zupełnie nowy, python i nie mógł znaleźć rozwiązanie, co następuje:

muszę zaimportować kilka stolików z 3 kolumnami i niezdefiniowane liczba wierszy zaczynających się od wiersza 3.

Gdy druga kolumna dowolnego wiersza jest pusta, ten wiersz jest odrzucany, a przetwarzanie tabeli jest przerywane.

Poniższy kod wypisuje dane grzywny stołu (ale jestem w stanie ponownie wykorzystać dane potem):

from lxml.html import parse 

def process_row(row): 
    for cell in row.xpath('./td'): 
     print cell.text_content() 
     yield cell.text_content() 

def process_table(table): 
    return [process_row(row) for row in table.xpath('./tr')] 

doc = parse(url).getroot() 
tbl = doc.xpath("/html//table[2]")[0] 
data = process_table(tbl) 

ten drukuje tylko pierwszą kolumnę :(

for i in data: 
    print i.next() 

następującym tylko zaimportować trzeci wiersz, a nie kolejny następujący po nim:

Każdy wie, jakie jest wymyślne rozwiązanie, aby uzyskać wszystkie dane z wiersza 3 do tbl i skopiuj go do tablicy, aby można było przetworzyć go w moduł bez zależności lxml?

Dzięki z góry za pomoc Alex

Answer 1

Trzeba używać pętlę dostęp do danych rzędu, podobnie jak to:

for row in data: 
    for col in row: 
     print col 

Wywołanie next() raz jak ty będzie miał dostęp tylko pierwszy element, dlatego widzisz jedną kolumnę.

Należy pamiętać, że ze względu na charakter generatorów, można uzyskać do nich dostęp tylko raz. Jeśli zmienisz połączenie process_row(row) na list(process_row(row)), generator zostanie przekonwertowany na listę, która może być ponownie użyta.

Aktualizacja: Jeśli zajdzie potrzeba tylko 3 rzędzie i dalej, użyj data[2:]

Answer 2

Jest to generator:

def process_row(row): 
    for cell in row.xpath('./td'): 
     print cell.text_content() 
     yield cell.text_content() 

Dzwonisz go tak, jakbyś myślał, że zwraca listę. Tak nie jest. Istnieją konteksty, w których zachowuje się jak listy:

print [r for r in process_row(row)] 

ale to tylko dlatego, generator oraz wykaz zarówno wystawiać ten sam interfejs do for pętli. Używanie go w kontekście, w którym robi się ocenianym tylko jeden raz, np .:

return [process_row(row) for row in table.xpath('./tr')] 

po prostu wywołuje nową instancję generatora raz dla każdej nowej wartości row, zwracając pierwszy rezultat dało.

To jest twój pierwszy problem. Twój drugi jest, że czekasz:

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0] 

dać trzeci i wszystkie kolejne wiersze, a to ustawienie tylko tbl do trzeciego rzędu. Cóż, wywołanie xpathjest zwrócenie trzeciego i wszystkich kolejnych wierszy. To jest [0] na końcu, który cię denerwuje.