Wyciek pamięci Ruby on Rails podczas przechodzenia przez dużą liczbę rekordów; find_each nie pomaga

Question

Mam aplikację Rails, która przetwarza dużą (miliony) liczbę rekordów w bazie danych mysql. Gdy zacznie działać, jego wykorzystanie pamięci szybko rośnie z prędkością 50 MB na sekundę. Za pomocą takich narzędzi jak oink udało mi się zawęzić główną przyczynę do jednej pętli, która przechodzi przez wszystkie rekordy w dużej tabeli w bazie danych.

Rozumiem, że jeśli użyję czegoś w rodzaju Person.all.each, wszystkie rekordy zostaną załadowane do pamięci. Jednak jeśli przejdę na find_each, nadal widzę ten sam problem z pamięcią. Aby jeszcze bardziej wyizolować problem, stworzyłem następujący kontroler testowy, który nie robi nic poza zapętlaniem rekordów. Przypuszczam, że find_each zachowuje tylko małą liczbę obiektów w pamięci za każdym razem, ale użycie pamięci rośnie liniowo podczas jej wykonywania.

class TestController < ApplicationController 
    def memory_test 
    Person.find_each do |person| 
    end 
end 

Podejrzeń, że ma to do czynienia z buforowaniem ActiveRecord wyników zapytania. Ale sprawdziłem ustawienia środowiska i wszystkie opcje związane z buforowaniem są ustawione na false (używam domyślnych ustawień tworzonych przez szyny). Zrobiłem kilka wyszukiwania w Internecie, ale nie mogłem znaleźć rozwiązania.

Używam szyn 3.1.0 RC1 i Ruby 1.9.2

dzięki!

Answer 1

Udało mi się to rozgryźć. Są dwa miejsca do zmiany.

Po pierwsze, wyłącz IdentityMap. W config/environment.rb

config.active_record.identity_map = false 

drugie, należy bez używania pamięci podręcznej omotać pętli

class MemoryTestController < ApplicationController 
    def go 
    ActiveRecord::Base.uncached do 
     Person.find_each do |person| 
     # whatever operation 
     end 
    end 
    end 
end 

Teraz moje użycie pamięci jest pod kontrolą. Mam nadzieję, że to pomaga innym ludziom.

Answer 2

Tak samo dobry jak ActiveRecord, nie jest najlepszym narzędziem do wszystkich problemów. Zalecam zejść do rodzimej karty bazy danych i wykonać pracę na tym poziomie.

Answer 3

dzwoni find_in_batches z partią wielkości 1000 pod maską.

Wszystkie zapisy w partii zostaną utworzone i zachowane w pamięci tak długo, jak długo przetwarzana jest partia.

Jeśli rekordy są duże lub jeśli zużywają dużo pamięci poprzez kolekcjach proxy (np bufory HAS_MANY wszystkie jego elementy w każdej chwili go używać), można także spróbować mniejszą wielkość wsadu:

Person.find_each batch_size: 100 do |person| 
    # whatever operation 
    end 

Możesz również spróbować ręcznie wywoływać GC.start okresowo (np. Co 300 pozycji).