Uczę się google's Go programming language. Czy ktoś zna najlepszą praktykę wyodrębniania wszystkich adresów URL ze strony HTML?Wyodrębnij linki ze strony internetowej za pomocą Go lang
Pochodzące ze świata Java, istnieją biblioteki do wykonania pracy, na przykład jsoup, htmlparser, itp. Ale do lang, chyba nie dostępne jeszcze podobne biblioteki zostały wykonane?
Standardowy pakiet Go do parsowania HTML jest nadal w toku i nie jest częścią bieżącej wersji. Trzecim pakietem, który możesz wypróbować, jest go-html-transform. Jest aktywnie utrzymywany.
Podczas gdy pakiet Go do parsowania HTML nadal trwa, jest on dostępny w repozytorium go.net.
Jego źródła są pod code.google.com/p/go.net/htmlgithub.com/golang/net i jest aktywnie rozwijany.
Jest wspomniany w tym ostatnim numerze go-nuts discussion.
Należy zauważyć, że z Go 1.4 (grudzień 2014), jak już wspomniano w this answer, pakiet jest teraz golang.org/x/net (patrz godoc).
Pakiet html Go przeniesiono do [go.net] (https://code.google.com/p/ go/source/browse? repo = net # hg% 2Fhtml) repo. [Tutaj] (http://godoc.org/code.google.com/p/go.net/html) to dokumentacja. – ctn
@ctn dziękuję za aktualizację. Nie wiem, dlaczego Twoja zmiana została odrzucona: przywróciłem ją w odpowiedzi. – VonC
Dzięki. Powiedzieli, że to za bardzo zmieni pierwotne znaczenie i zamiast tego lepiej zostawię komentarz. – ctn
Jeśli znasz jQuery, pokochasz GoQuery.
Szczerze mówiąc, jest to najprostsze, najpotężniejsze narzędzie HTML, jakie znalazłem w Go, i jest oparte na pakiecie html w repozytorium go.net. (Okay, więc jest to wyższy poziom niż tylko analizator składni, ponieważ nie wystawia on surowych tokenów HTML i tym podobnych, ale jeśli chcesz coś zrobić z dokumentem HTML, ten pakiet pomoże.)
To jest niesamowite. Wielkie dzięki. –
I właśnie opublikował oparty na zdarzeniach, oparty na zdarzeniach, oparty na zdarzeniach, zgodny z HTML 5.0 pakiet do analizowania dla Go. Można find it here
Oto przykładowy kod, aby wszystkie linki ze strony (ze elementami):
links := make([]string)
parser := NewParser(htmlContent)
parser.Parse(nil, func(e *HtmlElement, isEmpty bool) {
if e.TagName == "link" {
link,_ := e.GetAttributeValue("href")
if(link != "") {
links = appends(links, link)
}
}
}, nil)
kilka rzeczy, o których należy pamiętać:
Nie mogę znaleźć przykładu w jaki sposób korzystać z tej biblioteki do skrobania i nie jest to oczywiste z dokumentów. Czy ktokolwiek może wskazać mi przykład? – kristaps
Czy planowane jest włączenie tego pakietu natywnie w programie Go? – Kiril
Pakiet HTML jest już dostępny. Przeczytaj dokumentację tutaj: https://godoc.org/golang.org/x/net/html – R4chi7