Zmień adres IP w ruby ​​

Question

W tej chwili używam programu skrobiącego na moim komputerze. Ma ogromny rozmiar i niestety z tego powodu mój adres IP został zablokowany na stronie, którą muszę skrobać. Czy istnieje sposób, który w Ruby, lub nawet w prosty sposób, mogę zmienić adres IP, aby umożliwić mi powrót do tej strony w celu skrobania lub mam pecha, i być może będę musiał odwołać się do innych rozwiązania. Jest to niedozwolony błąd 403 i niezależnie od jego wartości używam nokogiri, a mój klient użytkownika jest ruby, dzięki.

Answer 1

Możesz łączyć się przez proxy, a jeśli masz listę adresów proxy, możesz powiedzieć ruby, aby zmieniał proxy co x minut, spowoduje to zmianę adresu IP, który strona uważa za masz. Oto kod do zeskanowania wyników wyszukiwania Google za pośrednictwem serwera proxy, aby użyć listy proxy, wystarczy nieco rozszerzyć kod.

require 'rubygems' 
require 'mechanize' 

agent = Mechanize.new 
agent.set_proxy '78.186.178.153', 8080 
page = agent.get('http://www.google.com/') 

google_form = page.form('f') 
google_form.q = 'new york city council' 

page = agent.submit(google_form, google_form.buttons.first) 

page.links.each do |link| 
    if link.href.to_s =~/url.q/ 
     str=link.href.to_s 
     strList=str.split(%r{=|&}) 
     url=strList[1] 
     puts url 
    end 
end