Jak przekształcić płaski plik danych w źródło danych, które można wyszukać

Question

Generuję pliki, pozwala wywoływać je pliki .dwrf, które zawierają znaczną ilość danych. Obecnie eksportujemy je do .CSV, a powstałe pliki są duże (2 GB +). Chciałbym wykreślić proces eksportu i sprawić, że zawartość pliku .dwrf będzie możliwa do sprawdzenia bezpośrednio z Excela lub innych aplikacji.

Co chciałbym zrobić, to napisać narzędzie/usługę - nazwijmy to dwrfMiner - aby wyodrębnić dane z pliku i przekazać je jako źródło danych i połączyć dwrfMiner z plikami .dwrf w pewien sposób, aby program Excel je rozpoznał jako zewnętrzne źródło danych.

Wszelkie pomysły?

Answer 1

Pisząc sterownik ODBC za to chyba przesada, czy format plików, które pracują z znany jest z góry i nie jest zbyt trudne do przetłumaczenia (IT brzmi jak nie biorąc pod uwagę, że już tworzysz CSV), wtedy używanie ODN DSN brzmi jak twój najlepszy zakład.

Istnieje bardzo dobry wybór sterowników ODBC już wbudowanych w Windows (.txt dla wielu popularnych formatów.

Jeśli rozmiar istniejącego formatu, do którego eksportujesz, jest zbyt uciążliwy (CSV), to punktem logicznym do rozpoczęcia jest przekształcenie danych w coś bardziej przestrzennego, które obsługuje ODBC.

W przeciwnym razie ostatnią opcją jest opcja przeskalowania (zapisywanie sterownika ODBC).

Answer 2

Program Excel może wysyłać zapytania do zewnętrznych danych, ale należy pamiętać, że Excel (wszystkie wersje) mają sztywne limity liczby wierszy, które mogą wyświetlać, w każdym zeszytach. Myślę, że w Excelu 2003 limit wynosi ~ 65k. Jest wyższy w innych wersjach.

Zobacz moje pytanie: reporting tool/viewer for large datasets (i miałem znacznie mniej niż > 2 GB).

Answer 3

użyłem PHP FlatFile DB kwerendy płaskim plików w minionym

Answer 4

bym wyjść gcc i napisać sobie pełny sterownik ODBC dla niego. Następnie możesz usiąść i korzystać z SQL.

Wiesz, jeśli się nudzisz. ;)

Answer 5

użycie sterownika ODBC z wielowątkowości