Kiedy należy unikać używania `seq` w Clojure?

Question

W książce this SO thread dowiedziałem się, że zachowanie odniesienia do zbioru seq w dużej kolekcji uniemożliwi zbieranie całej kolekcji.

Po pierwsze, ten wątek pochodzi z 2009 r. Czy jest to nadal prawdziwe w "nowoczesnym" Clojure (v1.4.0 lub v1.5.0)?

Po drugie, czy ten problem dotyczy również leniwych sekwencji? Na przykład, czy (def s (drop 999 (seq (range 1000)))) zezwala odśmiecnikowi na wycofanie pierwszych elementów sekwencji? 999?

Wreszcie, czy istnieje dobry sposób obejścia tego problemu w przypadku dużych kolekcji? Innymi słowy, gdybym miał wektor, powiedzmy 10 milionów elementów, mógłbym konsumować wektor w taki sposób, aby zużyte części mogły być zebrane? A co, jeśli miałbym mieszankę z 10 milionami elementów?

Powodem, dla którego pytam, jest to, że operuję na dość dużych zbiorach danych, i muszę być bardziej ostrożny, aby nie przechowywać odniesień do obiektów, tak że obiekty, których nie potrzebuję, mogą być śmieciami zebranymi. W niektórych przypadkach napotykam błąd java.lang.OutOfMemoryError: GC overhead limit exceeded.

Answer 1

Zawsze jest tak, że jeśli "trzymasz się głowy" sekwencji, Clojure będzie zmuszony zachować wszystko w pamięci. Nie ma wyboru: nadal zachowujesz odniesienie do niego.

Jednak "osiągnięty limit narzutowy GC" nie jest tym samym, co błąd braku pamięci - Jest to bardziej prawdopodobny znak, że uruchamiasz fikcyjne obciążenie, które powoduje tworzenie i odrzucanie obiektów tak szybko, że oszukuje GC do myślenia, że ​​jest przeciążony.

Patrz:

• GC overhead limit exceeded

Jeśli umieścisz rzeczywiste obciążenie na pozycji są przetwarzane, podejrzewam, widać, że ten błąd nie będzie się działo więcej. W tym przypadku możesz łatwo przetwarzać leniwe sekwencje, które są większe niż dostępna pamięć.

Konkretne kolekcje, takie jak wektory i hashmaps to jednak inna sprawa: to nie są leniwi, więc musi być zawsze utrzymywane w całości w pamięci. Jeśli masz zestawów danych większych niż pamięć następnie opcje obejmują:

• Wpisz leniwe sekwencje i nie trzymać głowę
• Korzystanie specjalistycznych kolekcji, które obsługują leniwy załadunku (Datomic używa niektórych struktur jak to wierzę)
• Traktuj dane jako strumień zdarzeń (używając czegoś takiego jak Storm)
• Napisz kod niestandardowy, aby podzielić dane na partycje i przetwarzać je pojedynczo.

Answer 2

Jeśli trzymać głowę w sekwencji wiążącej wtedy są prawidłowe i nie można gc'd (i to z każdej wersji Clojure). Jeśli przetwarzasz dużą liczbę wyników, dlaczego musisz trzymać się głowy?

Jeśli chodzi o sposób obejścia tego, tak! implementacja lazy-seq może zawierać części gc, które zostały już "przetworzone" i nie są bezpośrednio przywoływane z poziomu powiązania. Tylko upewnij się, że nie trzymasz głowy sekwencji.