Pracowałem nad projektem generującym od 10 do 100 milionów wyników z symulacji, którą chciałbym przechowywać do przyszłych analiz. Istnieje kilka poziomów natury organizacji danych, np. W salach szkolnych Studenci, którzy biorą udział w testach, mają kilka różnych wskaźników wydajności.Najlepszy sposób na przechowywanie 10 - 100 milionów wyników symulacji z .net (SQL vs. plik płaski)
Wygląda na to, że moje dane są linią graniczną pod względem możliwości dopasowania do pamięci naraz (biorąc pod uwagę obliczenia symulacji, wymaga to dużej ilości danych w pamięci do wykonania obliczeń), ale nie natychmiast potrzebuję, aby wszystkie dane były dostępne dla mojego programu.
Zastanawiam się, czy lepiej byłoby wyprowadzać obliczone wartości do bazy danych SQL lub płaskiego pliku tekstowego. Szukam porady, które podejście może być szybsze/łatwiejsze w utrzymaniu (lub jeśli masz alternatywną propozycję przechowywania danych, do których jestem otwarty).
Nie muszę mieć możliwości udostępniania danych innym osobom ani martwić się o dostęp do danych w kolejnych latach. Potrzebuję tylko wygodnego sposobu na uniknięcie regeneracji symulacji za każdym razem, gdy chcę przeprowadzić modyfikację analizy wartości.
Jeśli dane są w .NET obiektów Binary serializacji może działać magicznie. – SWeko