Pobieranie danych zestawów kwerend pojedynczo

Question

Wiem, że regularne zapytania lub metody kwerend iteracji oceniają i zwracają cały zestaw danych w jednym ujęciu.

na przykład wziąć to:

my_objects = MyObject.objects.all() 
for rows in my_objects:   # Way 1 
for rows in my_objects.iterator(): # Way 2 

Pytanie

w obu metodach wszystkie wiersze są pobierane w ciągu single-go.Is jakiś sposób w djago że wiersze mogą być queryset pobierane jeden po drugim z bazy danych.

Dlaczego ten dziwny wymóg

Obecnie moja kwerenda pobiera pozwala mówi n wierszy, ale kiedyś dostanę Python and Django OperationalError (2006, 'MySQL server has gone away').

więc mieć obejście tego, Obecnie używam dziwne while zapętlenie logic.So zastanawiałem się, czy istnieje jakikolwiek rodzimy lub wbudowana metoda jest moje pytanie czy nawet logiczne na pierwszym miejscu !! :)

Answer 1

Myślę, że szukasz limit your query set.

Cytat powyższy link:

Użyj podzbiór składni array-krojenie Pythona ograniczyć QuerySet do pewnej liczby wyników. Jest to odpowiednik klauzul LIMIT i OFFSET języka SQL.

Innymi słowy, jeśli zaczynają się liczyć można następnie pętli nad i wziąć plastry, jak wymaga od nich ..

cnt = MyObject.objects.count() 
start_point = 0 
inc = 5 
while start_point + inc < cnt: 
    filtered = MyObject.objects.all()[start_point:inc] 
    start_point += inc 

oczywiście konieczne może obsłużyć tego błędu więcej ..

Answer 2

Pobieranie kolejnych wierszy może być gorsze. Możesz chcieć odzyskać partie dla 1000s itp. Mam used this django snippet (nie moją pracę) z powodzeniem z bardzo dużymi zapytaniami. Nie zżera pamięci i nie ma problemu z oderwaniem połączenia.

Oto urywek z tego linku:

import gc 

def queryset_iterator(queryset, chunksize=1000): 
    ''''' 
    Iterate over a Django Queryset ordered by the primary key 

    This method loads a maximum of chunksize (default: 1000) rows in it's 
    memory at the same time while django normally would load all rows in it's 
    memory. Using the iterator() method only causes it to not preload all the 
    classes. 

    Note that the implementation of the iterator does not support ordered query sets. 
    ''' 
    pk = 0 
    last_pk = queryset.order_by('-pk')[0].pk 
    queryset = queryset.order_by('pk') 
    while pk < last_pk: 
     for row in queryset.filter(pk__gt=pk)[:chunksize]: 
      pk = row.pk 
      yield row 
     gc.collect() 

Answer 3

Aby rozwiązać (2006, „serwer MySQL zniknęło”) problemu, twoje podejście nie jest logiczne. Jeśli trafisz w bazę danych dla każdego wpisu, zwiększy to liczbę zapytań, co samo w przyszłości spowoduje problem, ponieważ rośnie wykorzystanie aplikacji. Myślę, że powinieneś zamknąć połączenie mysql po wykonaniu iteracji wszystkich elementów wyniku, a jeśli spróbujesz wykonać inne zapytanie, django utworzy nowe połączenie.

from django.db import connection: 
connection.close() 

Refer this for more details