Wykonywanie SQL na plikach CSV za pośrednictwem JDBC

Question

Potrzebuję zastosować zapytanie SQL do plików CSV (pliki tekstowe rozdzielane przecinkami). Mój SQL jest predefiniowany z innego narzędzia i nie może się zmienić. Może zawierać osadzone selekcje i aliasy tabel w części OD.

Dla mojego zadania Znalazłem dwa open-source (jest to wymóg projektu) biblioteki, które zapewniają JDBC sterowniki:

1. CsvJdbc
2. XlSQL
3. JBoss Teiid
4. Załóż Apache Derby DB, załaduj wszystkie pliki CSV jako tabele i wykonaj zapytanie.

Są to problemy napotkane I:

1. nie akceptuje składni SQL (używa wewnętrznych wybiera i aliasy tabela). Co więcej, nie był on utrzymywany od 2004 roku.
2. Nie mogłem go uruchomić, ponieważ ma on jako zależność parser SAX, który powoduje wyjątek podczas analizowania innych dokumentów. Podobnie, brak zmian od 2004.
3. Nie sprawdziłem, czy obsługuje składnię, ale wydaje się, jak narzut. Wymaga zdefiniowania kilku jednostek (Virtual Databases, Bindings). Z listy mailingowej powiedzieli mi, że ostatnia wersja obsługuje tworzenie wymaganych obiektów przez środowisko wykonawcze. Czy ktokolwiek użył go do tak prostego zadania (zwykle może łączyć się z kilkoma typami danych, takimi jak CSV, XML lub inny DBS i tworzyć wirtualny, zunifikowany)?
4. Czy można to łatwo zrobić?

Z 4 rzeczy, które rozważałem/wypróbowałem, tylko 3 i 4 wydają mi się opłacalne. Wszelkie porady na ten temat lub w inny sposób, w jaki mogę zapytać moje pliki CSV?

Cheers

Answer 1

Jeśli SQL jest wstępnie zdefiniowane i nie mogą być zmieniane najlepszym rozwiązaniem jest, aby załadować plik CSV do bazy danych i uruchamiania kwerend przeciwko niemu.

Apache Derby to realna opcja, a więc MySQL, która ma nawet CSV storage engine lub PostgreSQL.

Czy Twój SQL używa jakichkolwiek zastrzeżonych funkcji/rozszerzeń? Jeśli tak, może to ograniczyć Twoje wybory.

Answer 2

Powiedziałbym, że wbudowany db. Proponuję Javadb (Derby wbudowany w API Javy) lub H2, jeśli nie dbasz o ciągnięcie dodatkowej zależności.

Answer 3

Załadowałbym dane do HSQL (HypersonicSQL). Czysta Java, poprawny SQL, sprawdzony. Niemal wszystko inne ma większy ślad.

Answer 4

Istnieje skrypt Groovy, gcsvsql, który pozwala traktować pliki CSV jako tabele bazy danych, w tym łączenia. Z gcsvsql można robić takie rzeczy jak:

gcsvsql "select * from people.csv gdzie wiek> 40"

gcsvsql „wybierz people.name, dzieci.dziecko od people.csv, children.csv gdzie people.name = children.name”

gcsvsql "wybierz AVG (wynik) z people.csv gdzie wiek < 40"

można znaleźć ten skrypt, który oparty jest na silniku bazy h2, w kodzie Google tutaj:

http://code.google.com/p/gcsvsql/

Answer 5

Jeśli chcą leczyć pliki CSV baz danych z poziomu programu Java, należy spójrz na h2 database engine. Ma naprawdę dobrą obsługę odczytu/zapisu plików CSV i pracy z bazami danych w pamięci. Jest następcą hsql, szybszym i z dodatkowymi funkcjami. Możesz przeczytać o obsłudze CSV w samouczku h2.

Answer 6

Może trochę za późno, przepraszam za to.

Pracuję nad wersją csvjdbc od ponad roku i od kilku tygodni mam prawa administratora do tego projektu, więc mogłem opublikować najnowszą wersję, którą wyprodukowałem. to wszystko, czego "potrzebujemy" (my: ja i moi obecni moi koledzy) potrzebujemy, i dodajemy rzeczy, gdy są zgłaszane błędy.

spojrzeć na to teraz i podjąć decyzję ponownie. (Dokumentacja internetowa wciąż wymaga przeglądu, aby uzyskać lepszy wgląd, sprawdź przypadki testowe, które są bardzo obszerne).

Answer 7

wiem, że jest to bardzo stara sprawa, ale ...

CsvJdbc jest cool biblioteka, ale są pewne problemy z wykorzystaniem DbUtils while ResultsSets mapowania do POJOs. Drugą wadą jest to, że nie ma dobrego wsparcia dla różnych typów danych.

Po zabawie z CSVJdbc użyję głupiego CsvParser do odczytania plików i wpompowania ich w HsqlDB lub coś w tym stylu.