Groovy sql dataset powoduje, że java.lang.OutOfMemory

Question

Mam tabelę z 252759 krotkami. Chciałbym użyć obiektu DataSet, aby moje życie było łatwiejsze, jednak gdy próbuję utworzyć DataSet dla mojego stołu, po 3 sekundach otrzymuję java.lang.OutOfMemory.

mam żadnego doświadczenia z zbiorów danych, czy są jakieś wytyczne, jak używać obiektu DataSet dla dużych tabel?

Answer 1

Dlaczego nie zacząć od udzielenia JVM większej ilości pamięci?

java -Xms<initial heap size> -Xmx<maximum heap size> 

252759 krotki nie brzmi jak coś się maching z 4GB RAM + pewnym pamięci wirtualnej nie mogła poradzić sobie w pamięci.

Answer 2

Czy na pewno potrzebujesz pobrać wszystkie wiersze naraz? Jeśli nie, możesz po prostu pobrać je partiami (na przykład) 10000 za pomocą podejścia pokazanego poniżej.

def db = [url:'jdbc:hsqldb:mem:testDB', user:'sa', password:'', driver:'org.hsqldb.jdbcDriver'] 

def sql = Sql.newInstance(db.url, db.user, db.password, db.driver) 
String query = "SELECT * FROM my_table WHERE id > ? ORDER BY id limit 10000" 

Integer maxId = 0 

// Closure that executes the query and returns true if some rows were processed 
Closure executeQuery = { 

    def oldMaxId = maxId 
    sql.eachRow(query, [maxId]) { row -> 

     // Code to process each row goes here..... 
     maxId = row.id 
    } 
    return maxId != oldMaxId 
} 


while (executeQuery()); 

AFAIK limit jest MySQL określonej funkcji, ale większość innych RDBMS mają równoważną funkcję, która ogranicza liczbę wierszy zwróconych przez zapytanie.

Również nie testowałem (lub nawet skompilowany) kod powyżej, więc poradzić się ostrożnie!