Wzorce projektowe do agregowania heterogenicznych danych tabelarycznych

Question

Pracuję nad kodem C++, który integruje informacje z około kilkudziesięciu plików CSV. Wszystkie zawierają pewne dane rekordów z datą, które chcę wyodrębnić, ale reprezentacja jest nieco inna w każdym pliku. Różnice między reprezentacjami wykraczają poza różne porządki kolumn i nazwy kolumn - na przykład, jeden wiersz z wieloma kolumnami w jednym pliku może być wieloma wierszami w innym pliku.

Potrzebuję więc niestandardowej obsługi każdego pliku, aby utworzyć ujednoliconą strukturę danych, która zawiera niezbędne informacje ze wszystkich plików. Moje pytanie brzmi, czy istnieje preferowany wzór kodu, aby zachować złożoność i kodeks był elegancki? Albo jeśli istnieje dobre studium przypadku, powinienem zbadać, aby zobaczyć, jak tego rodzaju złożoność została rozwiązana w przeszłości.

(Zdaję sobie sprawę, że coś takiego może być łatwiejsze w języku skryptowym, takim jak perl, ale projekt jest w C++ na teraz. Ponadto, moje pytanie bardziej dotyczy tego, czy istnieje wzór kodu, który sobie z tym poradzi - więc odpowiedź brzmi "Trzeba być zbyt specyficznym językowo.)

Answer 1

Jest kilka zwrotów, których używasz w swoim pytaniu, które mnie interesują: custom handling for each file, representation is somewhat different, complexity manageable. Opierając się na fakcie, że będziesz musiał użyć różnych odmian algorytmów parsowania w oparciu o format pliku csv i jesteś (z tego, co wiem), chcąc luźno połączyć twój mechanizm analizowania, poleciłbym wzorzec strategy.

Schemat strategii oddzieli mechanizm analizowania od użytkowników danych zawartych w pliku CSV. Użytkownicy danych nie są zainteresowani tym, w jakim formacie znajduje się plik CSV, ponieważ interesują go jedynie informacje zawarte w tym pliku, co czyni ten wzorzec strategii doskonałym wyborem. Jeśli istnieją podobieństwa między mechanizmami analizowania, można użyć zarówno modelu template, jak i strategii, aby zmniejszyć duplikację i wykorzystać dziedziczenie.

Używając wzorca strategii, można następnie wyodrębnić tworzenie strategii do postaci factory method lub abstract factory, jak widać, dzięki czemu klienci mogą zostać odłączeni od metody analizy.

Answer 2

Nie jestem do końca pewien, co chcesz zrobić z różnymi plikami. Jeśli chcesz używać ich jak tabel bazy danych i masz klucze z dołączonymi informacjami rozproszonymi w wielu plikach, możesz chcieć rzucić okiem na coś takiego jak MapReduce, gdzie najpierw tworzysz część informacji z każdego pliku i agregujesz informacja dzieląca ten sam klucz w drugim kroku.

Struktura danych zależy od układu plików. Prawdopodobnie miałbym dedykowany czytnik dla każdego typu pliku, który przechowywałby informacje w dedykowanych strukturach danych reprezentujących informacje w pliku. Możesz dołączyć klucz do każdej informacji i użyć operacji zmniejszenia, aby scalić wszystkie fragmenty informacji za pomocą tego samego klucza i zebrać je w strukturze proxy. Z drugiej strony, jeśli pomysł polega na budowaniu identycznych obiektów z różnych metod serializacji (tzn. Różne pliki są niezależne, ale reprezentują ten sam typ danych o innym układzie), nie wiedząc z góry, która metoda serializacji została zatrudniony, obawiam się, że jedynym rozwiązaniem pozostaje brutalne wymuszenie deserializacji. Możesz mieć zestaw czytników, po jednym dla każdego typu danych wejściowych i spróbować przeanalizować plik, jeśli się nie powiedzie, następny zacznie się itd., Dopóki nie odkryjesz nowego formatu pliku lub nie znajdziesz odpowiedniego czytnika. Nie sądzę, żeby istniał jakiś wzór, który by to obejmował.