jak zaimportować ogromne .csv do bazy danych sql?

Question

Chcę zaimportować ogromny plik .csv około 1 gig do bazy danych.

Moja aplikacja jest kodowana w C# w visual studio 2010. Działa lokalnie i nie musi być używana w sieci.

Moja próba importu tylko 25 MB przy użyciu skryptów skrytki narzędziowej sql prowadzi do awarii w Visual Studio.

Moja próba użycia stringbuilder prowadzi do wyjątku braku pamięci (użycie około 4 GB pamięci!), A następnie kończy się niepowodzeniem.

Moja próba importu tych plików do programu Excel lub Access, a następnie przekonwertowania ich na bazę danych również się nie powiedzie.

Które z tych baz danych radzą sobie lepiej w celu rozwiązania mojego problemu?

• SQL Express
• SQL Compact
• lokalna baza danych SQL Server

Ponadto, której metody należy użyć do zaimportowania go tak szybko, jak tylko mogę i załadować je szybciej w DataGridView?

Dzięki za pomoc.

Answer 1

Zarówno SQL Express, jak i standardowy serwer SQL są dobrymi kandydatami do przechowywania. A jeśli chodzi o to, czego użyć do importowania danych, skorzystaj z SSIS. Po utworzeniu bazy danych w SQL Express lub standardowym wystąpieniu SQL Server kliknij prawym przyciskiem myszy na tę bazę danych, a pod pozycją menu Tasks zobaczysz opcję dla Import Data. Przeprowadzi Cię przez wybór źródła danych, w twoim przypadku Excela, a następnie zaimportowanie go do bazy danych.

Skrypt ten na końcu procesu można zapisać.

Answer 2

Jeśli plik CSV nie ma żadnych ciągów znaków zawierających przecinki, można wykonać bezpośredni kod BULK INSERT z SQL (jeśli tak, trzeba najpierw zmienić ogranicznik na znak podobny do paska (|). najbardziej bezpośredni sposób pobierania danych z płaskiego pliku do bazy danych i nie wymaga żadnych programów pośrednich, takich jak SSIS lub Excel

Używam go często i jest to najszybszy i najbardziej efektywny sposób na uzyskanie danych na SQL z zewnątrz. Twoje polecenie będzie wyglądać podobnie jak:

BULK INSERT MyDatabase.dbo.MyTable 
     FROM MyFileName 
      DATAFILETYPE='char', 
      FIELDTERMINATOR=',', 
      BATCHSIZE=10000 

T najczęściej stosowaną strategią jest ładowanie danych do roboczej tabeli, czyszczenie i konwersja są konieczne, a następnie wstawianie do rzeczywistej tabeli docelowej.

Answer 3

Możesz użyć obiektu SQLBulkImporter w języku C#. Działa jak urok.

Answer 4

Jeśli naprawdę chcesz osiągnąć to za pomocą C#, musisz przeczytać CSV wiersz po wierszu i wstawić go przed przejściem do następnego.

Mam podobną sytuację, w której muszę odczytać 2 GB "CSV" (oddzielona tabulatorami) i załadować do MSSQL. Oto, jak mam to skonfigurować.

using (FileStream fs = new FileStream(@"C:\file.csv", FileMode.Open, FileAccess.Read, FileShare.None)) 
using (StreamReader sr = new StreamReader(fs, Encoding.GetEncoding(1252))) 
{ 
    if (sr.ReadLine() == null) //Take this out if you don't have a header 
    { 
     throw new Exception("Empty file?!"); 
    } 

    while (sr.Peek() >= 0) 
    { 
      String s = sr.ReadLine(); 

      //SPLIT 

      //INSERT SQL 
    } 
}