Dlaczego wget pobiera plik index.html tylko dla niektórych witryn?

Question

Próbuję użyć wget polecenie:

wget -p http://www.example.com 

aby pobrać wszystkie pliki znajdujące się na stronie głównej. W przypadku niektórych witryn działa, ale w większości przypadków pobiera tylko plik index.html. Próbowałem polecenia wget -r, ale to nie działa. Ktoś wie, jak pobrać wszystkie pliki na stronie, lub po prostu podać mi listę plików i odpowiadających im adresów URL na stronie?

Answer 1

Wget jest również w stanie pobrać całą witrynę. Ale ponieważ może to spowodować duże obciążenie serwera, wget będzie przestrzegał pliku robots.txt.

wget -r -p http://www.example.com 

Parametr -p mówi wget, aby uwzględnić wszystkie pliki, w tym obrazy. Oznacza to, że wszystkie pliki HTML będą wyglądały jak powinny.

A co jeśli nie chcesz, aby Wget był posłuszny plikowi robots.txt? Można po prostu dodać -E robotów = off do polecenia jak poniżej:

wget -r -p -e robots=off http://www.example.com 

Jak wiele stron nie pozwoli Ci pobrać całą witrynę, będą sprawdzać adresu przeglądarki tożsamość. Aby obejść ten problem, użyj -U mozilla, jak to wyjaśniłem powyżej.

wget -r -p -e robots=off -U mozilla http://www.example.com 

Wielu właścicieli witryn nie spodoba się faktowi, że pobierasz całą witrynę. Jeśli serwer zobaczy, że pobierasz dużą liczbę plików, może automatycznie dodać cię do czarnej listy. Sposób obejścia tego polega na odczekaniu kilku sekund po każdym pobraniu. Aby to zrobić, użyj wget -tait = X (gdzie X to ilość sekund).

możesz również użyć parametru: --random-wait, aby pozwolić wget wybrać losową liczbę sekund czekać. Aby dołączyć do tego polecenia:

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com 

Answer 2

Jeśli spojrzeć na index.html w the wget manual można wybrać opcję --default-page=name który index.html domyślnie. Możesz na przykład zmienić na index.php.

--default-page=index.php 

Answer 3

Wiem, że ten wątek jest stary, ale spróbuj tego, co jest wymienione przez Ritesh z:

--no-ciasteczka

on pracował dla mnie!

Answer 4

Podany link jest stroną główną lub /index.html, dlatego jasne jest, że otrzymujesz tylko stronę index.html. Aby uzyskać rzeczywiste pobieranie, na przykład w przypadku pliku "test.zip", należy na końcu dodać dokładną nazwę pliku. Na przykład użyj poniższego linku, aby pobrać plik test.zip:

wget -p nazwa_domeny.com/test.zip

pobrać pełną witryny przy użyciu wget --mirror

Poniżej znajduje się wiersz polecenia, które chcesz wykonać, gdy chcesz, aby pobrać pełną stronę internetową i udostępnione do lokalnego przeglądania.

wget --mirror -p --convert-linki -P ./LOCAL-DIR http://www.example.com

• -mirror: Włącza opcje odpowiednie do tworzenia kopii lustrzanych.

• -p: pobranie wszystkich plików, które są niezbędne do poprawnego wyświetlenia danej strony HTML.

• -linek-linków: po pobraniu przekształć łącza w dokumencie do przeglądania lokalnego.

• -P ./LOCAL-DIR: zapisz wszystkie pliki i katalogi do określonego katalogu

pobrać tylko określonych typów plików Korzystanie wget -r -A

Można to wykorzystać w ramach następujących sytuacjach :

• Pobierz wszystkie obrazy ze strony internetowej,

• Pobierz wszystkie pliki wideo z serwisów

• Pobierz wszystkie pliki PDF ze strony internetowej

wget -r -A.pdf http://example.com/test.pdf

Answer 5

Po pierwsze, aby wyjaśnić pytanie, celem jest pobranie index.html plus wszystkie wymagane części tej strony (obrazy itp.). Opcja -p jest odpowiednikiem --page-requisites.

Powód, dla którego strony nie są zawsze pobierane, jest często hostowany w innej domenie niż strona oryginalna (na przykład CDN). Domyślnie wget refuses to visit other hosts, więc musisz włączyć hosta z opcją --span-hosts z opcją.

wget --page-requisites --span-hosts 'http://www.amazon.com/' 

Jeśli potrzebujesz, aby móc załadować index.html i mieć cały ładunek strona rekwizytów z lokalnej wersji, musisz dodać opcję --convert-links, dzięki czemu adresy URL w img src atrybutów (na przykład) są przepisane na względne adresy URL wskazujące lokalne wersje.

Opcjonalnie możesz również zapisać wszystkie pliki w jednym katalogu „host”, dodając opcję --no-host-directories lub zapisać wszystkie pliki w jednym katalogu, płaskiej dodając opcję --no-directories.

Za pomocą spowoduje, że wiele plików zostanie pobranych do bieżącego katalogu, więc prawdopodobnie chcesz określić nazwę folderu dla plików wyjściowych, używając --directory-prefix.

wget --page-requisites --span-hosts --convert-links --no-directories --directory-prefix=output 'http://www.amazon.com/' 

Answer 6

Innym problemem może być to, że strona, którą tworzysz kopię, używa łączy bez numeru www. Więc jeśli podasz

wget -p -r http://www.example.com

nie będzie pobierał żadnych powiązanych (intern) strony, ponieważ są one z „innego” domeny. Jeśli jest to przypadek następnie użyć

wget -p -r http://example.com

zamiast (bez www).

Answer 7

Jeśli tylko uzyskać index.html i że plik wygląda to zawiera tylko dane binarne (to znaczy nie czytelny tekst, tylko kontrolować znaków), wówczas strona jest prawdopodobnie wysyłania danych za pomocą kompresji gzip.

Możesz to potwierdzić, uruchamiając cat index.html | gunzip, aby sprawdzić, czy wyświetla on czytelny kod HTML.

W takim przypadku funkcja rekurencyjna (-r) nie zadziała. Istnieje patch dla wget do pracy ze skompresowanymi danymi gzip, ale wydaje się, że nie ma jeszcze wersji standardowej.