Bardzo duży ciąg do tablicy bajtowej

Question

Mam plik XML, który wynika z eksportu tabeli bazy danych (Oracle 11g Unicode). Ta tabela zawiera pole BLOB, które reprezentuje plik. Plik może być bardzo duży.

Tak więc w przypadku, gdy mam bardzo duży plik, pobierz w XML bardzo dużą reprezentację ciągów tego pliku.

Muszę pobrać bajty tego ciągu, aby wstawić plik do innej instancji bazy danych.

W tym punkcie XML jest ładowany i mam ciąg znaków reprezentujący plik.

Co robiłem to:

Encoding.Unicode.GetBytes(stringFileRepresentation);

Ale jestem coraz OutOfMemoryException.

Gdybym to zrobić:

Encoding.Unicode.GetBytes(stringFileRepresentation.ToCharArray());

uzyskać także OutOfMemoryException.

Próbowałem też to zrobić przed dekodowanie ciąg:

var chars = stringFileRepresentation.ToCharArray(); 
Encoding.Unicode.GetBytes(chars); 

I coraz OutOfMemoryException Dzwoniąc ToCharArray().

Domyślam się, że jest to problem, gdy przetwarzanie ciąg.

Wtedy staram następującą metodę, że znalazłem here zdarzenie jeśli nie jestem pewien, że mam do conservate kodowanie wyrażenie:

byte[] bytes = new byte[str.Length * sizeof(char)]; 
Buffer.BlockCopy(str.ToCharArray(), 0, bytes, 0, bytes.Length); 

Ale Dostaję również OutOfMemoryException w uruchamianiu zmienna bytes.

Teraz uruchomiłem OutOfOptions i nie wiem, co robić.

Answer 1

Skoro masz już oryginalnego pełny ciąg w pamięci, można użyć StringReader do buforowania przez niego:

ten dostanie tekst do pliku. Możesz użyć podobnej techniki, aby napisać do innego strumienia zamiast do pliku.

using (var sr = new StringReader(fileContents)) 
{ 
    using (var outputWriter = new StreamWriter(@"C:\temp\output.txt")) 
    { 
     char[] buffer = new char[10]; 
     int numChars; 
     while ((numChars = sr.ReadBlock(buffer, 0, buffer.Length)) > 0) 
     { 
      outputWriter.Write(buffer, 0, numChars); 
     } 
    } 
} 

EDIT

Pisząc do czegoś innego niż plik jest dość podobne - na przykład, załóżmy, że chciał napisać bezpośrednio do strumienia (nie ma znaczenia, jaki rodzaj strumienia - mogłoby być MemoryStream, strumień HttpResponse, FileStream itp.):

using (var sr = new StringReader(fileContents)) 
{ 
    using (var outputStream = GetSomeStreamFromSomewhere()) 
    { 
     char[] buffer = new char[10]; 
     int numChars; 
     while ((numChars = sr.ReadBlock(buffer, 0, buffer.Length)) > 0) 
     { 
      char[] temp = new char[numChars]; 
      Array.Copy(buffer, 0, temp, 0, numChars); 
      byte[] byteBuffer = Encoding.UTF8.GetBytes(temp); 
      outputStream.Write(byteBuffer, 0, byteBuffer.Length); 
     } 
    } 
}