Równoległe żądania HTTP w ruby ​​

Question

Mam tablicę adresów URL i nie chcę otwierać każdego z nich i pobrać określonego tagu.
Ale chcę to zrobić równolegle.

Oto pseudokod za to, co chcę zrobić:

 
urls = [...] 
tags = [] 
urls.each do |url| 
    fetch_tag_asynchronously(url) do |tag| 
    tags << tag 
    end 
end 
wait_for_all_requests_to_finish() 

jeżeli mogłoby to być zrobione w miły i bezpieczny sposób, że byłoby super.
Mogę użyć wątku, ale nie wygląda na to, że tablice są bezpieczne dla wątków w ruby.

Answer 1

Można osiągnąć wątku bezpieczeństwa za pomocą Mutex:

require 'thread' # for Mutex 

urls = %w(
    http://test1.example.org/ 
    http://test2.example.org/ 
    ... 
) 

threads = [] 
tags = [] 
tags_mutex = Mutex.new 

urls.each do |url| 
    threads << Thread.new(url, tags) do |url, tags| 
    tag = fetch_tag(url) 
    tags_mutex.synchronize { tags << tag } 
    end 
end 

threads.each(&:join) 

To może być jednak przeciwny skutek do korzystania z nowego wątku dla każdego adresu URL, więc ograniczenie liczby wątków jak to może być bardziej wydajnych :

THREAD_COUNT = 8 # tweak this number for maximum performance. 

tags = [] 
mutex = Mutex.new 

THREAD_COUNT.times.map { 
    Thread.new(urls, tags) do |urls, tags| 
    while url = mutex.synchronize { urls.pop } 
     tag = fetch_tag(url) 
     mutex.synchronize { tags << tag } 
    end 
    end 
}.each(&:join) 

Answer 2

Dzięki Ruby Gil to powinno być bezpieczne, na podstawie mojego czytania http://merbist.com/2011/02/22/concurrency-in-ruby-explained/ i dalsze linki.

Answer 3

Zestaw klejnotów został zaprojektowany, aby zrobić to z łatwością. Jest to bardzo wygodne i potężne.