Wydajny sposób analizowania dużych ilości danych?

Question

Potrzebuję przeanalizować dziesiątki tysięcy linii danych. Dane są importowane z pliku tekstowego. Każda linia danych ma osiem zmiennych. Obecnie używam klasy do definiowania struktury danych. Podczas czytania pliku tekstowego przechowuję każdy obiekt linii na ogólnej liście: Lista.

Zastanawiam się, czy powinienem przełączyć się na korzystanie z relacyjnej bazy danych (SQL), ponieważ będę musiał przeanalizować dane w każdym wierszu tekstu, próbując powiązać je z terminami definicji, które również przechowuję na ogólnych listach (lista).

Celem jest przetłumaczenie dużej ilości danych za pomocą definicji. Chcę, aby zdefiniowane dane były możliwe do filtrowania, wyszukiwania itp. Używanie bazy danych ma więcej sensu, im więcej o tym myślę, ale chciałbym potwierdzić bardziej doświadczonymi programistami, zanim wprowadzę zmiany, jeszcze raz (użyłem struktur i najpierw listy układów).

Jedyną wadą, jaką mogę wymyślić, jest to, że dane nie muszą być przechowywane po przetłumaczeniu i przejrzeniu przez użytkownika. Nie ma potrzeby stałego przechowywania danych, dlatego korzystanie z bazy danych może być trochę przesadą.

Answer 1

Nie jest absolutnie konieczne, aby przejść do bazy danych. To zależy od faktycznego rozmiaru danych i procesu, który musisz wykonać. Jeśli ładujesz dane do listy z niestandardową klasą, dlaczego nie używać Linq do wykonywania zapytań i filtrowania? Coś jak:

var query = from foo in List<Foo> 
      where foo.Prop = criteriaVar 
      select foo; 

Prawdziwe pytanie brzmi, czy dane jest tak duża, że ​​nie może być załadowany do pamięci komfortowo. Jeśli tak jest, to tak, baza danych byłaby znacznie prostsza.

Answer 2

Brzmi to, jak chcesz, to baza danych. Sqlite supports baz danych w pamięci (użyj ": memory:" jako nazwy pliku). Podejrzewam, że inni mogą mieć również tryb in-memory.

Answer 3

Jeśli nie przeszkadza Ci dostęp, o to co można zrobić

Dołączanie pusty Access DB jako zasób Gdy trzeba napisać db się złożyć. Uruchom instrukcję CREATE TABLE, która obsługuje kolumny danych. Zaimportuj dane do nowej tabeli Użyj sql, aby wykonać obliczenia Włącz, zamknij, usuń ten dostęp do bazy danych.

Można użyć programu jak Resourcer załadować db do pliku RESX

ResourceManager res = new ResourceManager("MyProject.blank_db", this.GetType().Assembly); 
    byte[] b = (byte[])res.GetObject("access.blank"); 

Następnie należy użyć następującego kodu, aby wyciągnąć z zasobów projektu. Wziąć tablicę bajtów i zapisać go do lokalizacji pliku temp przy temp

„MyProject.blank_db” jest lokalizacja i nazwa pliku zasobów „access.blank” jest zakładka podane do zasobu zapisać

Answer 4

Miałem do czynienia z tym samym problemem, z którym się spotkałeś podczas pracy nad moją poprzednią firmą. Chodzi o to, że szukałem konkretnego i dobrego rozwiązania dla wielu plików generowanych przez kody kreskowe. Kod paskowy generuje plik tekstowy z tysiącami rekordów w jednym pliku. Na początku manipulowanie i prezentowanie danych było dla mnie tak trudne. Na podstawie zapisów, które zaprogramowałem, tworzę klasę, która odczytuje plik i ładuje dane do tabeli danych i jest w stanie aby zapisać go w bazie danych. Bazą danych, której używałem, był SQL Server 2005. Następnie mogę łatwo zarządzać zapisanymi danymi i prezentować je w taki sposób, jak mi się podoba. Głównym punktem jest odczyt danych z pliku i zapisanie go w bazie danych.Jeśli to zrobisz, będziesz miał wiele opcji do manipulowania i prezentowania, tak jak lubisz.

Answer 5

To nie jest duża ilość danych. Nie widzę powodu, aby włączać bazę danych do analizy.

Istnieje język zapytań wbudowany w C# - LINQ. Oryginalny plakat używa obecnie listy obiektów, więc nie ma już nic do zrobienia. Wydaje mi się, że baza danych w tej sytuacji dodawałaby znacznie więcej ciepła niż światła.

Answer 6

Jeśli jedyną rzeczą, którą musisz zrobić, to przeszukać i wymienić, możesz rozważyć użycie sed i awk i możesz wyszukiwać używając grep. Oczywiście na platformie Unix.

Answer 7

Z twojego opisu, myślę, że narzędzia linii poleceń linux potrafią bardzo dobrze obsługiwać twoje dane. Używanie bazy danych może niepotrzebnie komplikować twoją pracę. Jeśli korzystasz z systemu Windows, narzędzia te są również dostępne na różne sposoby. Polecam cygwin. Następujące narzędzia mogą obejmować twoje zadanie: sort, grep, cut, awk, sed, join, paste.

Te narzędzia wiersza poleceń systemu Unix/Linux mogą wyglądać groźnie dla osoby korzystającej z systemu Windows, ale istnieją powody dla osób, które je kochają. Oto moje powody, dla których je kocham:

1. Pozwalają one gromadzić umiejętności - twoja wiedza do częściowego narzędzia może być pomocna w różnych przyszłych zadaniach.
2. Umożliwiają one gromadzenie danych - wiersz polecenia (lub skrypty) użyte do zakończenia zadania można powtarzać tyle razy, ile potrzeba, przy różnych danych, bez interakcji z innymi użytkownikami.
3. Zwykle przewyższają to samo narzędzie, które można pisać. Jeśli nie wierzysz, spróbuj porozmawiać z wersją dla plików terabajtowych.