Jak przetwarzać plik w PowerShell wiersz po wierszu jako strumień

Question

Pracuję z kilkoma wielobajtowymi plikami tekstowymi i chcę wykonać na nich przetwarzanie strumienia za pomocą PowerShell. To proste rzeczy, po prostu analizowanie każdej linii i wyciąganie niektórych danych, a następnie zapisywanie ich w bazie danych.

Niestety, get-content | %{ whatever($_) } wydaje się przechowywać cały zestaw linii na tym etapie rury w pamięci. Jest to także zaskakująco wolno, robiąc bardzo dużo czasu, aby rzeczywiście przeczytać wszystko w

Więc moje pytanie jest na dwie części:.

1. W jaki sposób można uczynić go przetworzyć linii strumienia przez linię i nie trzymać całej karty rzecz buforowana w pamięci? W tym celu chciałbym uniknąć wykorzystania kilku pamięci RAM.
2. Jak sprawić, by działał szybciej? PowerShell iterujący po numerze get-content wydaje się być 100 razy wolniejszy niż skrypt C#.

Mam nadzieję, że coś jest głupie tu robię, jak brakuje parametru -LineBufferSize czy coś ...

Answer 1

Jeśli jesteś naprawdę zamiar pracować na plikach tekstowych wielogigabajtowych potem nie używać PowerShell. Nawet jeśli znajdziesz sposób, aby go przeczytać, szybsze przetwarzanie ogromnej ilości linii będzie w PowerShell powolne i nie możesz tego uniknąć. Nawet proste pętle są drogie, powiedzmy na 10 milionów iteracji (całkiem realne w danym przypadku) mamy:

# "empty" loop: takes 10 seconds 
measure-command { for($i=0; $i -lt 10000000; ++$i) {} } 

# "simple" job, just output: takes 20 seconds 
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } } 

# "more real job": 107 seconds 
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } } 

UPDATE: Jeśli nadal nie boją następnie spróbuj użyć czytnika .NET:

$reader = [System.IO.File]::OpenText("my.log") 
try { 
    for() { 
     $line = $reader.ReadLine() 
     if ($line -eq $null) { break } 
     # process the line 
     $line 
    } 
} 
finally { 
    $reader.Close() 
} 

UPDATE 2

Istnieje komentarze o możliwie lepszego/krótszego kodu. Nie ma nic złego w oryginalnym kodzie z for i nie jest to pseudo-kod. Ale krótszy (najkrótsza?) Wariant pętli czytania jest

$reader = [System.IO.File]::OpenText("my.log") 
while($null -ne ($line = $reader.ReadLine())) { 
    $line 
} 

Answer 2

System.IO.File.ReadLines() jest idealny dla tego scenariusza. Zwraca wszystkie wiersze pliku, ale pozwala natychmiast rozpocząć iterację po liniach, co oznacza, że ​​nie musi przechowywać całej zawartości w pamięci.

Wymaga .NET 4.0 lub wyższej.

foreach ($line in [System.IO.File]::ReadLines($filename)) { 
    # do something with $line 
} 

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Answer 3

Jeśli chcesz użyć prosto PowerShell sprawdzić poniższy kod.

$content = Get-Content C:\Users\You\Documents\test.txt 
foreach ($line in $content) 
{ 
    Write-Host $line 
}