Dlaczego powtarzające się parsowanie JSON zużywa coraz więcej pamięci?

Question

Wygląda na to, że parsowanie tego samego pliku JSON w kółko w Ruby wykorzystuje coraz większą ilość pamięci. Należy wziąć pod uwagę kod i wyjście poniżej:

1. Dlaczego pamięć nie zwalnia po pierwszej iteracji?
2. Dlaczego plik JSON 116 MB zajmuje 1,5 GB pamięci RAM po przeanalizowaniu? To zaskakujące, biorąc pod uwagę, że plik tekstowy jest konwertowany na skróty. Czego tu mi brakuje?

Kod:

require 'json' 

def memused 
    `ps ax -o pid,rss | grep -E "^[[:space:]]*#{$$}"`.strip.split.map(&:to_i)[1]/1024 
end 

text = IO.read('../data-grouped/2012-posts.json') 
puts "before parsing: #{memused}MB" 
iter = 1 
while true 
    items = JSON.parse(text) 
    GC.start 
    puts "#{iter}: #{memused}MB" 
    iter += 1 
end 

wyjściowa:

before parsing: 116MB 
1: 1840MB 
2: 2995MB 
3: 2341MB 
4: 3017MB 
5: 2539MB 
6: 3019MB 

Answer 1

Kiedy Ruby analizuje plik JSON, tworzy wiele pośrednich obiektów, aby osiągnąć cel. Obiekty te pozostają w pamięci, dopóki GC nie zacznie działać.

Jeśli plik JSON ma skomplikowaną strukturę, wiele tablic i wewnętrznych obiektów, liczba wzrośnie zbyt szybko.

Próbowałaś zadzwonić „GC.start” zasugerować Ruby oczyścić nieużywaną pamięć? Jeśli ilość pamięci spadek znaczący, jego sugerują, że jest tylko obiekty pośrednie stosowane do analizowania danych, w przeciwnym razie twoja struktura danych jest skomplikowane albo coś jest dane, że nie można cofnąć przydział lib.

Dla przetwarzania dużych JSON użyć yajl-Ruby (https://github.com/brianmario/yajl-ruby). Jest zaimplementowany w C i ma niewielki rozmiar.