Najbardziej efektywny sposób wybierania tysięcy wierszy z listy identyfikatorów

Question

Czy są jakieś skalowalne sposoby wybierania tysięcy wierszy za pomocą mysql IN lub coś podobnego?

E.g.

SELECT * FROM awesomeTable WHERE id IN (1,2,3,4......100000) 

Czy to możliwe, czy tylko śnię? Schemat to InnoDB, można go zmienić, jeśli inny zapewnia bardziej skalowalne rozwiązanie.

W celach informacyjnych otrzymuję wyniki wyszukiwania z zestawu identyfikatorów zwracanych przez Solr. Chciałbym użyć mysql do ostatecznego wyszukiwania, ponieważ znacznie ułatwiłoby to sortowanie i końcowe filtrowanie wyników (nie będę rozumiał dlaczego).

Edycja:

Zapytanie może być użyty klauzuli ograniczyć, tak długo, jak długo w nadal zawierały wszystkie 100000 identyfikatorów

Np

SELECT * FROM awesomeTable WHERE id IN (1,2,3,4......100000) LIMIT 10; 

Answer 1

I tak było do mnie, i naprawdę nie wiedząc, ramy, należy spróbować wkładając te ID w tabeli tymczasowej i stosując tę ​​tabelę z prostym wewnętrzna przyłączyć. To może okazać się tak szybkie, jak to w IN.

Answer 2

Podjęłam to samo pytanie podczas wstawiania do tabel mysql. Możliwy rozmiar zapytania zależy od konfiguracji mysql.

Moje podejście polegało na dzieleniu kolekcji wielkich ids na części.

Korzystanie z Ruby on Rails:

all_ids.each_slice(10000) do |ids_part| 
    query = "INSERT INTO ..." 
end 

Może to być również rozwiązanie dla wyboru wierszy przez IDS.