Zapytanie buforowane PHP PDO

Question

Mam poważne problemy z funkcjami PHP Data Object. Próbuję przechodzić przez znaczący zestaw wyników (~ 60k wierszy, ~ 1gig) za pomocą buforowanego zapytania, aby uniknąć pobierania całego zestawu.

Niezależnie od tego, co robię, skrypt po prostu zawiesza się na PDO :: query() - wygląda na to, że zapytanie działa w trybie niebuforowanym (dlaczego indziej zmiana rozmiaru zestawu wyników 'rozwiązałaby problem?). Oto mój kod do odtworzenia problemu:

Gdybym ograniczyć kwerendy z jakiejś rozsądnej liczby, to działa dobrze:

$rQuery = $Database->query('SELECT id FROM mytable LIMIT 10'); 

Próbowałem grać z PDO :: MYSQL_ATTR_MAX_BUFFER_SIZE i korzystania z PDO :: prepare() i PDO :: execute() jak również (choć nie ma parametrów w powyższym zapytaniu), oba bez skutku. Każda pomoc będzie doceniona.

Answer 1

Jeśli dobrze rozumiem to, buforowane zapytania wiążą się z informacją PHP, że należy poczekać na cały zestaw wyników przed rozpoczęciem przetwarzania. Przed PDO było to domyślne i musiałeś zadzwonić pod numer mysql_unbuffered_query, jeśli chcesz natychmiast zająć się wynikami.

Dlaczego nie jest to wyjaśnione na stronie sterownika MySQL PDO, nie wiem.

Answer 2

Można spróbować podzielić go na kawałki, które nie są na tyle duże, aby powodować problemy:

<?php  
$id = 0; 
$rQuery = $Database->query('SELECT id FROM mytable ORDER BY id ASC LIMIT 100'); 

do { 
    stuff($rQuery); 
    $id += 100; 
} while ($rQuery = $Database->query(
      'SELECT id FROM mytable ORDER BY id ASC LIMIT 100 OFFSET '.$id 
     ) 
     ); 
?> 

... masz pomysł, w każdym razie.

Answer 3

Albo można spróbować funkcji mysql zamiast:

while ($row = mysql_fetch_row($query)) { 
... 
} 

Które z pewnością będą szybsze, ponieważ oświadczenie foreach sprawia wrażenie używać fetchAll() zamiast fetch() każdy wiersz