Najlepsza strategia przetwarzania dużych plików CSV w Apache Camel

Question

Chciałbym opracować trasę, która sonduje katalog zawierający pliki CSV, a dla każdego pliku usuwa wszystkie wiersze za pomocą Bindy i umieszcza je w activemq.

Problem polega na tym, że pliki mogą być dość duże (miliony wierszy), więc wolałbym kolejkować jeden wiersz naraz, ale otrzymuję wszystkie wiersze w java.util.ArrayList na końcu Bindy, która powoduje problemy z pamięcią.

Do tej pory mam mały test, który działa bez zakłóceń, więc konfiguracja Bindy przy użyciu adnotacji jest w porządku.

Oto trasa:

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .unmarshal() 
    .bindy(BindyType.Csv, "com.ess.myapp.core")   
    .to("jms:rawTraffic"); 

Środowisko jest: Eclipse Indigo, Maven 3.0.3, 2.8.0 Camel

Dziękuję

Answer 1

Jeśli używasz rozgałęźnika EIP następnie można użyj trybu strumieniowego, co oznacza, że ​​Camel będzie przetwarzał plik w kolejności od rzędu.

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .split(body().tokenize("\n")).streaming() 
    .unmarshal().bindy(BindyType.Csv, "com.ess.myapp.core")   
    .to("jms:rawTraffic"); 

Answer 2

Dla przypomnienia i dla innych użytkowników, które mogą być przeszukiwane za to jak mnie, tymczasem wydaje się być łatwiejsza metoda, która również działa dobrze z useMaps:

CsvDataFormat csv = new CsvDataFormat() 
    .setLazyLoad(true) 
    .setUseMaps(true); 

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .unmarshal(csv) 
    .split(body()).streaming() 
    .to("log:mappedRow?multiline=true");