Poprawa wydajności Django DB zapytania

Question

Używam Django/apache/sqlite3 i mam model Django, który wygląda tak:

class Temp_entry(models.Model): 
    dateTime = models.IntegerField() #datetime 
    sensor = models.IntegerField() # id of sensor 
    temp = models.IntegerField()  # temp as temp in Kelvin * 100 

Próbuję dostać ostatnich 300 Temp_entry przedmiotów do umieszczenia w wykres. Robię to w ten sposób:

revOutsideTempHistory = Temp_entry.objects.filter(sensor=49).order_by('dateTime').reverse()[:300] 

Jednak zapytanie to trwa ~ 1 sekundę. Czy istnieje sposób, aby to poprawić? Wykopałem i okazało się, że order_by jest okropnie nieefektywne, więc mam nadzieję, że istnieje realna alternatywa?

Alternatywą, o której myślałem, ale nie potrafię wymyślić, jak ją wdrożyć, byłoby uruchamianie zapytania co 20 minut i przechowywanie go w pamięci podręcznej, co byłoby również do zaakceptowania, ponieważ dane mogą być nieco nieaktualne bez żadnych problemów ruchomości.

Answer 1

Jeśli akceptowalne jest caching, należy go zawsze używać. Coś jak:

from django.core.cache import cache 

cached = cache.get('temp_entries') 
if cached: 
    result = cached 
else: 
    result = Temp_entry.objects.filter(sensor=49).order_by('dateTime').reverse().values_list()[:300] 
    cache.set('temp_entries', result, 60*20) # 20 min 

Ponadto można ustawić db_indexes do odpowiednich kolumn

class Temp_entry(models.Model): 
    dateTime = models.IntegerField(db_index=True) #datetime 
    sensor = models.IntegerField(db_index=True) # id of sensor 
    temp = models.IntegerField()  # temp as temp in Kelvin * 100 

Answer 2

Cóż, jeśli wiesz, że Twoje wpisy zawsze mają coraz dateTime (tj dateTime jest ustawiany, gdy wejście jest tworzony i nie edytowane), to nie musisz zamawiać według dateTime, ponieważ będą one naturalnie w tej kolejności w bazie danych.

Answer 3

Prawdopodobnie musisz dodać więcej indeksów do swojej bazy danych. Użyj paska narzędzi django-debug, aby uzyskać SQL rzeczywistego zapytania, które jest uruchamiane, i użyj funkcji WYJAŚNIJ, aby wyświetlić indeksy, których używa. Dla tego konkretnego zapytania, wyobrażam sobie, że musisz dodać indeks na (sensor, dateTime) - zrób to bezpośrednio w powłoce bazy danych.

Answer 4

Johnny Cache! http://packages.python.org/johnny-cache/ To działa po wyjęciu z pudełka i działa dobrze!