Jak zarządzać dużym zestawem danych przy użyciu Spring MySQL i RowCallbackHandler

Question

Próbuję przejrzeć każdy wiersz tabeli w MySQL przy użyciu Spring i JdbcTemplate. Jeśli się nie mylę to powinno być tak proste, jak:

JdbcTemplate template = new JdbcTemplate(datasource); 
template.setFetchSize(1); 
// template.setFetchSize(Integer.MIN_VALUE) does not work either    
template.query("SELECT * FROM cdr", new RowCallbackHandler() { 
    public void processRow(ResultSet rs) throws SQLException { 
    System.out.println(rs.getString("src")); 
    } 
}); 

dostaję OutOfMemoryError ponieważ stara się przeczytać całość. Jakieś pomysły?

Answer 1

Statement#setFetchSize()javadoc już stwierdza:

Daje sterownika JDBC do podpowiedź co do liczby wierszy, które powinny być pobrane z bazy danych

Sterownik może faktycznie zastosować lub zignorować podpowiedź. Niektóre sterowniki ignorują to, niektóre sterowniki stosują je bezpośrednio, niektóre sterowniki wymagają większej liczby parametrów. Sterownik JDBC MySQL należy do ostatniej kategorii. Jeśli zaznaczysz MySQL JDBC driver documentation, zobaczysz następujące informacje (przewinąć w dół aż o 2/3 nagłówka ResultSet):

Aby włączyć tę funkcję, należy utworzyć instancję oświadczenie, w następujących sposób:

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY); 
stmt.setFetchSize(Integer.MIN_VALUE); 

Proszę przeczytać całą sekcji dokumentu, opisuje ograniczeniach tego podejścia, jak również.

Aby uruchomić go na wiosnę, trzeba jednak przedłużyć/zastąpić JdbcTemplate niestandardową implementacją. Ponieważ nie robię wiosny, nie mogę szczegółowo opisać tego, ale teraz przynajmniej wiesz, gdzie szukać.

Powodzenia.

Answer 2

Jeśli podejrzewasz, że pojawia się błąd OutOfMemory z powodu odczytu całej tabeli, dlaczego nie możesz spróbować podzielić zapytania. Użyj filtrów, klauzula LIMIT itp

Answer 3

Oto rozwiązanie sprężynowe oparte na answer dostarczone przez BalusC.

class StreamingStatementCreator implements PreparedStatementCreator { 
    private final String sql; 

    public StreamingStatementCreator(String sql) { 
     this.sql = sql; 
    } 

    @Override 
    public PreparedStatement createPreparedStatement(Connection connection) throws SQLException { 
     final PreparedStatement statement = connection.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
     statement.setFetchSize(Integer.MIN_VALUE); 
     return statement; 
    } 
} 

Gdzieś w kodzie:

DataSource dataSource = ...; 
RowCallbackHandler rowHandler = ...; 
JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); 
jdbcTemplate.query(new StreamingStatementCreator("SELECT * FROM huge_table"), rowHandler);