Jak analizować duże pliki w Groovy bez przekraczania wielkości sterty?

Question

Podczas analizowania dużego pliku I pojawia się następujący błąd Caught: java.lang.OutOfMemoryError: Java heap space

jaki sposób analizowania dużych plików w Groovy, bez przekroczenia wielkości sterty?

przykład kodu, który nie działa z dużymi plikami ...

import java.io.File 

def inputFile = new File("c:/dev/test.txt") 
    inputFile.getText().eachLine{ it, i -> 
      ... do something with each line 
     } 

Answer 1

Upewnij się, że jesteś iteracji nad pliku w taki sposób, że nie ładuje cały plik do pamięci ...

• W tym przypadku konkretnie włączyć inputFile.getText(). eachLine w inputFile.eachLine
• nie używaj .readLines(), ponieważ spróbuje załadować cały plik do pamięci,. eachLine {..} powinien być stosowany zamiast
• Możesz również rozszerzyć rozmiar sterty JVM z flagą, na przykład do 1 GB za pomocą groovy -Xmx1024M myscript.groovy Zobacz także answer here

Zobacz ten page na porywające listy do więcej informacji i dalsza dyskusja

kod, który działa bez błędu przestrzeni sterty ...

def inputFile = new File("c:/dev/test.txt") 
inputFile.eachLine{ it, i -> 
     ... do something with each line 
    }