Pobierz kod HTML ze strony internetowej z rubinem na szynach

Question

Jak uzyskać dane strony innej witryny gdzieś w Internecie z rubinem na szynach?

Answer 1

można użyć httparty po prostu uzyskać dane

Przykładowy kod (od example):

require File.join(dir, 'httparty') 
require 'pp' 

class Google 
    include HTTParty 
    format :html 
end 

# google.com redirects to www.google.com so this is live test for redirection 
pp Google.get('http://google.com') 

puts '', '*'*70, '' 

# check that ssl is requesting right 
pp Google.get('https://www.google.com') 

Nokogiri naprawdę wyróżnia się na analizowanie tych danych .. Oto niektóre przykładowy kod z Railscast:

url = "http://www.walmart.com/search/search-ng.do?search_constraint=0&ic=48_0&search_query=batman&Find.x=0&Find.y=0&Find=Find" 
doc = Nokogiri::HTML(open(url)) 
puts doc.at_css("title").text 
doc.css(".item").each do |item| 
    title = item.at_css(".prodLink").text 
    price = item.at_css(".PriceCompare .BodyS, .PriceXLBold").text[/\$[0-9\.]+/] 
    puts "#{title} - #{price}" 
    puts item.at_css(".prodLink")[:href] 
end 

Answer 2

Zastosowanie Net/HTTP (na przykład, czytać this cheatsheet):

require "net/https" 

http = Net::HTTP.new "google.com", 80 
request = Net::HTTP::Get.new "/" 
response = http.request request 

puts response.code 
puts response.body 

Answer 3

Net::HTTP statki w bibliotece standardowej, to jest plus, ale są fajne bibliotek wyższego poziomu można przyjrzeć się, jak rest-client:

RestClient.get('http://example.com/resource', params: {x: "1", y: "2"}) 

Answer 4

Lubię OpenURI siebie jeśli to tylko po prostu dostać treść bez zamieszania.

Po prostu dodaj require 'open-uri' do środowiska, a następnie wykonaj open('http://domain.tld/document.html').read.