Perl DBI alternatywa dla LongReadLena

Question

Chciałbym poznać najbardziej efektywny pod względem pamięci sposób pobierania arbitralnie dużych pól danych z bazy danych Oracle z Perl DBI. Metoda, której używam, to ustawienie atrybutu "LongReadLen" na uchwycie bazy danych na coś wystarczająco dużego. Jednak moja aplikacja musi pobrać kilka tysięcy rekordów, więc robienie tego arbiternie jest wyjątkowo nieefektywne w pamięci.

Sugeruje wykonanie zapytania z góry, aby znaleźć największą potencjalną wartość i ustawienie tej wartości.

$dbh->{LongReadLen} = $dbh->selectrow_array(qq{ 
    SELECT MAX(OCTET_LENGTH(long_column_name)) 
    FROM table WHERE ... 
}); 
$sth = $dbh->prepare(qq{ 
    SELECT long_column_name, ... FROM table WHERE ... 
}); 

Jest to jednak nadal nieskuteczne, ponieważ dane odległy nie jest reprezentatywny dla każdego rekordu. Największe wartości przekraczają MB, ale średni rekord jest mniejszy niż KB. Chcę być w stanie wyciągnąć wszystkie informacje (tzn. Bez obcięcia), jednocześnie marnując jak najmniej pamięci na nieużywane bufory.

Metodą, którą rozważałem jest wyciąganie danych w porcjach, powiedzmy 50 rekordów na raz i ustawienie LongReadLen na maksymalną długość rekordów tego kawałka. Kolejną pracą, która mogłaby, ale nie musi, opierać się na idei kawałka, byłoby rozwidlenie procesu potomnego, odzyskanie danych, a następnie zabicie dziecka (zabranie ze sobą zmarnowanej pamięci). Najcudowniejszą rzeczą byłaby możliwość wymuszenia buforów DBI, ale nie sądzę, że to możliwe.

Czy ktoś rozwiązał podobny problem z jakimkolwiek sukcesem? Dzięki za pomoc!

EDIT

Perl v5.8.8 DBI v1.52

celu wyjaśnienia: niewydolność pamięci pochodzące z użyciem 'LongReadLen' wraz z {ora_pers_lob => 1} w przygotowaniu. Przy użyciu tego kodu:

my $sql = "select myclob from my table where id = 68683"; 
my $dbh = DBI->connect("dbi:Oracle:$db", $user, $pass) or croak $DBI::errstr; 

print "before"; 
readline(*STDIN); 

$dbh->{'LongReadLen'} = 2 * 1024 * 1024; 
my $sth = $dbh->prepare($sql, {'ora_pers_lob' => 1}) or croak $dbh->errstr; 
$sth->execute() or croak('Cant execute_query '. $dbh->errstr . ' sql: ' . $sql); 
my $row = $sth->fetchrow_hashref; 

print "after"; 
readline(*STDIN); 

Wykorzystanie pamięci rezydentnej "przed" wynosi 18 MB, a użycie "po" wynosi 30 MB. Jest to niedopuszczalne w przypadku dużej liczby zapytań.

Answer 1

Czy Twoje kolumny mają duże LOBy danych (CLOB lub BLOBy)? Jeśli tak, nie musisz w ogóle używać LongReadLen; DBD :: Oracle udostępnia interfejs przesyłania strumieniowego LOB.

To, co chcesz zrobić, to bind the param jako typ ORA_CLOB lub ORA_BLOB, dzięki czemu otrzymasz "LOB locator" zwrócony z zapytania, zamiast tex. Następnie używasz ora_lob_read wraz z lokalizatorem LOB do pobierania danych. Oto przykład kodu, który zadziałał:

sub read_lob { 
    my ($dbh, $clob) = @_; 

    my $BLOCK_SIZE = 16384; 

    my $out; 
    my $offset = 1; 

    while (my $data = $dbh->ora_lob_read($clob, $offset, $BLOCK_SIZE)) { 
    $out .= $data; 
    $offset += $BLOCK_SIZE; 
    } 
    return $out; 
} 

Answer 2

myślę o tym w ten sposób:

use Parallel::ForkManager 
use strict; 

# Max 50 processes for parallel data retrieving 
my $pm = new Parallel::ForkManager(50); 

# while loop goes here 
while (my @row = $sth->fetchrow_array) { 

# do the fork 
$pm->start and next; 

# 
# Data retreiving goes here 
# 

# do the exit in the child process 
$pm->finish; 
} 
$pm->wait_all_children; 

check Parallel::ForkManager w CPAN wiedzieć więcej.