JDBC + duży zapytań PostgreSQL rozdawać pamięci

Question

Próbuję wykonać zapytanie postgresql która zwraca dużą wynik:

connection.setAutoCommit(false); 
st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 
st.setFetchSize(100); 
logMemory(); 
System.out.println("start query "); 
rs = st.executeQuery(queryString); 
System.out.println("done query "); 
logMemory(); 

ale ten zużywa dużo pamięci:

Free memory; 4094347680 (= 3905 mb). 
start query 
done query 
Free memory; 2051038576 (= 1956 mb). 

(wydrukowano za pomocą Runtime.getRuntime(). freeMemory())

Do tej pory działa, ale baza danych będzie dużo większa. Nigdy nie potrzebuję całego wyniku w pamięci; Potrzebuję tylko przetworzyć każdy wiersz, zapisać wyniki na dysku i przejść do następnego wiersza.

Wiem, że "setFetchSize" jest tylko podpowiedź, ale byłoby dziwne, gdyby postgresql/jdbc zignorował go, jak to jest przez wieki.

Jakikolwiek sposób obejścia tego? Jedynym moim dotychczasowym pomysłem jest utworzenie skryptu wsadowego przesyłającego wynik zapytania do dysku, a następnie przeanalizowanie pliku z Java ...

Answer 1

Ouch, to jeden z najbardziej nieprzyjemnych błędów przy użyciu JDBC, które widziałem. Należy zmienić

st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 

do

st = connection.createStatement(
    ResultSet.TYPE_FORWARD_ONLY, 
    ResultSet.CONCUR_READ_ONLY 
); 

Może po prostu

st = connection.createStatement(); 

będzie działać jak dobrze (jak już spełnione inne kryteria dla kursora).

Answer 2

Here są wytycznymi dla zapewnienia, że ​​zestaw wyników jest faktycznie pobierany za pomocą kursora . Wygląda na to, że trafiłeś na wszystkie znane w twoim kodzie, ale nie określiłeś instrukcji, więc może być kilka zawiązanych razem ze średnikami (mało prawdopodobne, przez wygląd twojego kodu). Musisz używać protokołu V3 (wersja 7.4 lub nowsza). Czy wszystkie te rzeczy odnoszą się do twojej sprawy?