Najbardziej efektywny sposób odczytu pliku

Question

Mam plik, który zawiera pewną liczbę wierszy o stałej długości z pewnymi liczbami. Muszę przeczytać każdy wiersz, aby uzyskać ten numer i przetworzyć je i napisać do pliku. Ponieważ muszę przeczytać każdy wiersz, ponieważ zwiększa się liczba wierszy, staje się czasochłonne.

Czy istnieje skuteczny sposób czytania każdego wiersza pliku? Używam C#.

Answer 1

Odczyt wszystkich wierszy z pliku jest zawsze co najmniej O (n). Kiedy rozmiar pliku zaczyna stawać się problemem, prawdopodobnie jest to dobry moment, aby spojrzeć na tworzenie bazy danych dla informacji zamiast plików płaskich.

Answer 2

File.ReadLines (.NET 4.0+) jest prawdopodobnie najbardziej wydajną pod tym względem pamięcią.

Zwraca numer IEnumerable<string>, co oznacza, że ​​linie będą leniwie czytane strumieniowo.

Poprzednie wersje nie udostępniają opcji przesyłania strumieniowego w ten sposób, ale użycie StreamReader do czytania linii po linii osiągnie to samo.

Answer 3

Nie jestem pewien, że jest to najbardziej skuteczny, ale działa dobrze dla mnie: http://msdn.microsoft.com/en-us/library/system.io.fileinfo.aspx

//Declare a new file and give it the path to your file 
    FileInfo fi1 = new FileInfo(path); 

    //Open the file and read the text 
    using (StreamReader sr = fi1.OpenText()) 
    { 
     string s = ""; 
     // Loop through each line 
     while ((s = sr.ReadLine()) != null) 
     { 
      //Here is where you handle your row in the file 
      Console.WriteLine(s); 
     } 
    } 

Answer 4

Bez względu na to, jaki system operacyjny używasz, będzie kilka warstw między kodem a rzeczywistym przechowywania mechanizm. Dyski twarde i napędy taśmowe przechowują pliki w blokach, które obecnie mają zwykle około 4K każdy. Jeśli chcesz przeczytać jeden bajt, urządzenie nadal będzie czytało cały blok w pamięci - po prostu jest to szybsze. Urządzenie i system operacyjny mogą również przechowywać pamięć podręczną bloków. Tak więc niewiele można zrobić, aby zmienić standardowe (wysoce zoptymalizowane) zachowanie odczytu pliku; po prostu przeczytaj plik, gdy go potrzebujesz i pozwól, aby system zajął się resztą.

Jeśli czas przetworzyć plik staje się problemem, dwie opcje, które mogą pomóc to:

1. spróbować zorganizować używać krótszych plików. Wygląda na to, że przetwarzasz pliki dzienników lub coś takiego - częstsze uruchamianie programu może sprawić, że przynajmniej uzyskasz lepszą wydajność.

2. Zmień sposób przechowywania danych. Ponownie, rozumiem, że plik pochodzi z jakiegoś zewnętrznego źródła, ale być może uda ci się uruchomić zadanie, które okresowo konwertuje plik raw na coś, co możesz przeczytać szybciej.

Powodzenia.