Optymalizowanie SQLite wkładka wielokrotnego wyboru

Question

Używam SQL od lat, ale rzadko coś więcej niż proste wkładki i wybiera etc ... więc nie jestem ekspertem SQL. Zastanawiam się, czy mogę uzyskać pomoc w optymalizacji bardziej złożonych instrukcji SQL, które wykonuję na SQLite, od PHP przez PDO.

Wydaje się, że to polecenie działa poprawnie, wydaje się, że trwa dłużej, niż mogłem się spodziewać (a może po prostu oczekuję zbyt wiele).

Jest to SQL:

INSERT OR IGNORE INTO MailQueue(SubscriberID, TemplateID) 
    SELECT Subscribers.ID, '1' AS TemplateID 
    FROM Subscribers 
    INNER JOIN SubscriberGroups ON Subscribers.ID=SubscriberGroups.SubscriberID 
    WHERE SubscriberGroups.GroupID IN ('1', '2', '3') 
    AND Subscribers.ID NOT IN 
     ( 
     SELECT Subscribers.ID FROM Subscribers 
     INNER JOIN SubscriberGroups ON Subscribers.ID=SubscriberGroups.SubscriberID 
     WHERE SubscriberGroups.GroupID IN ('4', '5', '6') 
     ); 

Co mam jest lista abonentów, w jednej lub kilku grupach. Chcę dodać subskrybentów do kolejki pocztowej, wybierając te, które należą do jednej lub więcej grup (1,2,3), ale wykluczają te, które są również w innym zestawie grup (4,5,6).

Po pierwsze, czy powyższy SQL jest typowy jak to zrobić?

Po drugie, jakie wskazówki powinienem podać, aby działało to tak wydajnie, jak to możliwe?

Obecnie trwa to około 30 sekund, aby uzyskać około 5000 rekordów abonenta (i garść grup) na średniej LAMP.

Pod koniec dnia wydajność nie jest aż tak krytyczna, ale chciałbym to lepiej zrozumieć, aby każdy wgląd był bardzo doceniany.

Brad

Answer 1

Jest szansa, że ​​dodatkowe sprzężenia cię zabijają. Co zrobić, jeśli:

SELECT Subscribers.ID, '1' AS TemplateID 
FROM Subscribers 
WHERE EXISTS(SELECT * 
       FROM SubscriberGroups 
       WHERE Subscribers.ID=SubscriberGroups.SubscriberID 
           AND SubscriberGroups.GroupID IN ('1', '2', '3')) 

    AND NOT EXISTS(SELECT * 
        FROM SubscriberGroups 
        WHERE Subscribers.ID=SubscriberGroups.SubscriberID 
        AND SubscriberGroups.GroupID IN ('4', '5', '6') 
    ); 

Można by też chcesz się upewnić, że masz indeksu na SubscriberGroups (SubscriberID, GroupID)

Domyślam się, że abonenci ma już indeks na ID, prawda?

EDYCJA: Inna opcja, która może być lub nie być szybsza. Spójrz na plany zapytań każdego, aby zobaczyć ...

Ten może być pojedynczy skan indeksu które mógłby być szybsze niż dwa indeks stara, ale to zależy od optymalizator SQLite za ...

SELECT Subscribers.ID, '1' AS TemplateID 
FROM Subscribers 
INNER JOIN(SELECT SUM(CASE WHEN GroupID IN('1', '2', '3') THEN 1 ELSE 0 END) AS inGroup, 
        SUM(CASE WHEN GroupID IN('4', '5', '6') THEN 1 ELSE 0 END) AS outGroup, 
        SubscriberID 
          FROM SubscriberGroups 
         WHERE SubscriberGroups.GroupID IN ('1', '2', '3', '4', '5', '6') 
     ) SubscriberGroups 
     ON Subscribers.ID=SubscriberGroups.SubscriberID 
     AND inGroup > 0 
     AND outGroup = 0 

Answer 2

Innym sposobem pisać SQL, które mogłyby być szybsze (nie mam SQLite, na której można przetestować):

SELECT 
    S.ID, 
    '1' AS TemplateID  -- Is this really a string? Does it need to be? 
FROM 
    Subscribers S 
LEFT OUTER JOIN SubscriberGroups SG ON 
    SG.SubscriberID = S.ID 
WHERE 
    SG.SubscriberID IS NULL AND 
    EXISTS 
    (
      SELECT 
       * 
      FROM 
       SubscriberGroups SG2 
      WHERE 
       SG2.SubscriberID = S.ID AND 
       SG2.GroupID IN ('1', '2', '3') -- Again, really strings? 
    ) 

metoda Matta powinny również działać dobrze. Wszystko zależy tylko od tego, w jaki sposób SQLite decyduje się na tworzenie planów zapytań.

Proszę również zwrócić uwagę na moje uwagi. Jeśli są one naprawdę zdefiniowane jako typy danych INT w bazie danych, pojawi się dodatkowe przetwarzanie umożliwiające konwersję między dwoma różnymi typami danych. Jeśli są to ciągi w bazie danych, czy istnieje ku temu powód? Czy w tych kolumnach są wartości nieliczbowe?