Czy odczytać plik, używając wyrażenia regularnego?

Question

to stycznie związane an earlier question of mine.

Zasadniczo rozwiązanie w tej kwestii działał świetnie, ale teraz muszę się przystosować go do pracy w znacznie większym zastosowaniu analizy. Po prostu użycie StreamReader.ReadToEnd() jest nie do przyjęcia, ponieważ niektóre z plików, które będę czytać, są bardzo, bardzo duże. Jeśli pojawił się błąd i ktoś zapomniał oczyścić, teoretycznie mogą być gigabajty. Oczywiście nie mogę po prostu czytać do końca tego.

Niestety, normalne linie odczytu są również niedopuszczalne, ponieważ niektóre wiersze danych, które odczytuję zawierają ślady stosów - w ich formatowaniu są oczywiście używane /r/n. Idealnie, chciałbym powiedzieć programowi, aby czytał dalej, dopóki nie trafi na dopasowanie do wyrażenia regularnego, które następnie zwraca. Czy jest jakaś funkcjonalność do tego w .net? Jeśli nie, czy mogę uzyskać jakieś sugestie dotyczące tego, jak je napisać?

Edit: Żeby było trochę łatwiej śledzić moje pytanie, oto pasta z niektórych ważnych częściach przystosowanego kodu:

foreach (var fileString in logpath.Select(log => new StreamReader(log)).Select(fileStream => fileStream.ReadToEnd())) 
{ 
    const string junkPattern = @"\[(?<junk>[0-9]*)\] \((?<userid>.{0,32})\)"; 
    const string severityPattern = @"INFO|ERROR|FATAL"; 
    const string datePattern = "^(?=[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3})"; 
    var records = Regex.Split(fileString, datePattern, RegexOptions.Multiline); 
    foreach (var record in records.Where(x => string.IsNullOrEmpty(x) == false)) 
    ...... 

Problem polega na foreach. .Select(fileStream => fileStream.ReadToEnd()) źle wysadzi pamięć, po prostu to wiem.

Answer 1

Po pierwsze, powinieneś przenieść definicję const do deklaracji klasy - kompilator zrobi to za ciebie, ale powinno to być zrobione samemu, tylko po to, aby poprawić czytelność kodu.

Jak wspomniano @Blam, należy użyć StringBuilder i StreamReader.ReadLine w pary, coś jak to:

foreach(var filePath in logpath) 
{ 
    var sbRecord = new StringBuilder(); 
    using(var reader = new StreamReader(filePath)) 
    { 
     do 
     { 
      var line = reader.ReadLine(); 
      // check start of the new record lines 
      if (Regex.Match(line, datePattern) && sbRecord.Length > 0) 
      { 
       // your method for log record 
       HandleRecord(sbRecord.ToString()); 
       sbRecord.Clear(); 
       sbRecord.AppendLine(line); 
      } 
      // if no lines were added or datePattern didn't hit 
      // append info about current record 
      else 
      { 
       sbRecord.AppendLine(line); 
      } 
     } while (!reader.EndOfStream) 
    } 
} 

Gdybym nie rozumieją coś o swoim problemie, proszę wyjaśnić to w komentarzu.
Możesz także użyć ThreadPool, aby zaplanować zadania dla swoich linii, tylko dla szybkości aplikacji.