Najmniejszy sposób na odczyt pamięci w PHP

Question

Czytam plik zawierający około 50k linii przy użyciu funkcji file() w PHP. Jednak jego błąd braku pamięci, ponieważ zawartość pliku są przechowywane w pamięci jako tablicy. Czy jest jakiś inny sposób?

Ponadto długości zapisanych linii są zmienne.

Oto kod. Również plik ma wartość 700kB, a nie mB.

private static function readScoreFile($scoreFile) 
{ 
    $file = file($scoreFile); 
    $relations = array(); 

    for($i = 1; $i < count($file); $i++) 
    { 
     $relation = explode("\t",trim($file[$i])); 
     $relation = array(
         'pwId_1' => $relation[0], 
         'pwId_2' => $relation[1], 
         'score' => $relation[2], 
         ); 
     if($relation['score'] > 0) 
     { 
      $relations[] = $relation; 
     } 
    } 

    unset($file); 
    return $relations; 
} 

Answer 1

Zastosowanie fopen, fread i fclose czytać kolejno pliku:

$handle = fopen($filename, 'r'); 
if ($handle) { 
    while (!feof($handle)) { 
     echo fread($handle, 8192); 
    } 
    fclose($handle); 
} 

Answer 2

EDIT po aktualizacji pytanie comments to answer of fabjoa:

Jest z pewnością coś podejrzanego Jeżeli posiłki pliku 700 KB do 140 MB pamięci z tym kodem, który podałeś (możesz mieć relację unset $ na końcu każdej iteracji). Rozważ skorzystanie z debuggera, aby sprawdzić, co się stanie. Można też rozważyć przepisanie kodu użyć SplFileObject's CSV functions jak dobrze (or their procedural cousins)

SplFileObject::setCsvControl example

$file = new SplFileObject("data.csv"); 
$file->setFlags(SplFileObject::READ_CSV); 
$file->setCsvControl('|'); 
foreach ($file as $row) { 
    list ($fruit, $quantity) = $row; 
    // Do something with values 
} 

---

na podejście OOP iteracyjne nad pliku, spróbuj SplFileObject:

SplFileObject::fgets example

$file = new SplFileObject("file.txt"); 
while (!$file->eof()) { 
    echo $file->fgets(); 
} 

SplFileObject::next example

// Read through file line by line 
$file = new SplFileObject("misc.txt"); 
while (!$file->eof()) { 
    echo $file->current(); 
    $file->next(); 
} 

lub nawet

foreach(new SplFileObject("misc.txt") as $line) { 
    echo $line; 
} 

Prawie podobne (jeśli nie powielać):

• How to save memory when reading a file in Php?

Answer 3

przydzielić więcej pamięci podczas pracy, może coś jak w i_set ('memory_limit', '16M') ;. Nie zapomnij wrócić do początkowej alokacji pamięci po wykonaniu operacji

Answer 4

Jeśli nie znasz maksymalnej długości linii i nie jesteś w stanie użyć magicznej liczby dla maksymalnej długości linii, musisz wykonaj wstępne skanowanie pliku i określ maksymalną długość linii.

Poza tym, że następujący kod powinien pomóc:

// length is a large number or calculated from an initial file scan 
    while (!feof($handle)) { 
     $buffer = fgets($handle, $length); 
     echo $buffer; 
    }