Pobieranie danych z MySQL w partiach za pomocą Pythona

Question

Chciałbym zrobić ten proces w partiach, ze względu na objętość.

Oto mój kod:

getconn = conexiones() 
con = getconn.mysqlDWconnect() 
with con: 
    cur = con.cursor(mdb.cursors.DictCursor) 
    cur.execute("SELECT id, date, product_id, sales FROM sales") 
    rows = cur.fetchall() 

Jak mogę zaimplementować indeksu, aby pobrać dane w partii?

Answer 1

Pierwszy punkt: pyton db-api.cursor jest iterator, więc chyba naprawdę trzeba załadować całą partię w pamięci na raz, można po prostu zacząć przy użyciu tej funkcji, czyli zamiast:

cursor.execute("SELECT * FROM mytable") 
rows = cursor.fetchall() 
for row in rows: 
    do_something_with(row) 

może po prostu:

cursor.execute("SELECT * FROM mytable") 
for row in cursor: 
    do_something_with(row) 

Następnie, jeśli realizacja Twojego łącznika db nadal nie czyni właściwego wykorzystania tej funkcji, to będzie czas, aby dodać LIMIT i OFFSET do mieszanki:

cursor.execute("SELECT count(*) FROM mytable") 
count = cursor.fetchone()[0] 
batch_size = 42 # whatever 

for offset in xrange(0, count, batch_size): 
    cursor.execute(
     "SELECT * FROM mytable LIMIT %s OFFSET %s", 
     (batch_size, offset)) 
    for row in cursor: 
     do_something_with(row) 

Answer 2

Można użyć

SELECT id, date, product_id, sales FROM sales LIMIT X OFFSET Y; 

gdzie X jest wielkość partii trzeba i Y jest prąd przesunięcia (czasy X liczba obecnych iteracji dla przykładu)

Answer 3

Aby rozwinąć na odpowiedź akalikin, w ty może użyć krokowej iteracji, aby podzielić zapytanie na porcje, a następnie użyć LIMIT i OFFSET do wykonania zapytania.

cur = con.cursor(mdb.cursors.DictCursor) 
cur.execute("SELECT COUNT(*) FROM sales") 

for i in range(0,cur.fetchall(),5): 
    cur2 = con.cursor(mdb.cursors.DictCursor) 
    cur2.execute("SELECT id, date, product_id, sales FROM sales LIMIT %s OFFSET %s" %(5,i)) 
    rows = cur2.fetchall() 
    print rows 

Answer 4

Dziękuję, oto jak zaimplementować go ze swoimi sugestiami:

control = True 
index = 0 
while control==True: 
    getconn = conexiones() 
    con = getconn.mysqlDWconnect() 
    with con: 
     cur = con.cursor(mdb.cursors.DictCursor) 
     query = "SELECT id, date, product_id, sales FROM sales limit 10 OFFSET " + str(10 * (index)) 
     cur.execute(query) 
     rows = cur.fetchall() 
     index = index+1   
     if len(rows)== 0: 
      control=False 
    for row in rows: 
     dataset.append(row)