Korzystanie wget ale ignorują parametry URL

Question

Chcę pobrać zawartość witryny, w której adresy URL są budowane jako

http://www.example.com/level1/level2?option1=1&option2=2

w adresie URL tylko http://www.example.com/level1/level2 jest unikalny dla każdej strony, a wartości dla opcja1 i opcja 2 się zmienia. W rzeczywistości każda unikalna strona może zawierać setki różnych notatek ze względu na te zmienne. Używam wget, aby pobrać całą zawartość witryny. Z powodu problemu pobrałem już ponad 3 GB danych. Czy istnieje sposób, aby powiedzieć wget, aby zignorował wszystko, co kryje się pod znakiem zapytania w adresie URL? Nie mogę go znaleźć na stronach man.

Answer 1

Problem rozwiązany. Zauważyłem, że adresy URL, że chcę, aby pobrać wszystkie są przyjazne dla wyszukiwarek, gdzie opisy zostały utworzone za pomocą myślnika:

http://www.example.com/main-topic/whatever-content-in-this-page

Wszystkie pozostałe adresy URL miał odniesienia do CMS. Mam wszystko czego potrzebuję z

wget -r http://www.example.com -A "*-*" 

To załatwiło sprawę. Dzięki za dzielenie się myślą!

Answer 2

Można użyć --reject-regex, aby określić wzorzec odrzucania określonych adresów URL, np.

wget --reject-regex "(.*)\?(.*)" -m -c --content-disposition http://example.com/ 

To będzie odzwierciedlać stronę internetową, ale zignoruje adresy oznaczone znakiem zapytania - przydatne do tworzenia lustrzanych stron wiki.