Powolne dzielenie stron na tony rekordów w mongodb

Question

Mam ponad 300 000 rekordów w jednej kolekcji w Mongo.

Kiedy uruchomić to bardzo proste zapytanie:

db.myCollection.find().limit(5); 

To trwa tylko kilka milisekund.

Ale gdy używam pominąć w zapytaniu:

db.myCollection.find().skip(200000).limit(5) 

To niczego nie powrócić ... biegnie przez kilka minut i nic nie zwraca.

Jak zrobić to lepiej?

Answer 1

Od MongoDB documentation:

Koszty przywoławcze

Niestety pominąć może być (bardzo) kosztowne i wymaga, aby serwer do chodzenia od początku zbierania lub indeksu, aby dostać się do Przesunięcie/pomijanie pozycji, zanim będzie można rozpocząć zwracanie strony danych (limit). Wraz ze wzrostem liczby stron, pomijanie będzie wolniejsze i bardziej intensywne cpu, i prawdopodobnie powiązane z IO, z większymi kolekcjami.

Strony oparte na zasięgach zapewniają lepsze wykorzystanie indeksów, ale nie pozwalają na łatwe przejście do określonej strony.

Musisz zadać sobie pytanie: jak często potrzebujesz 40000 strony? Zobacz także artykuł this;

Answer 2

Jedno podejście do tego problemu, jeśli masz duże ilości dokumentów i pokazujemy je w klasyfikowane porządek (nie jestem pewien, jak użyteczny skip jest jeśli nie jesteś) byłoby użyć klucza, który "ponowne sortowanie w celu wybrania następnej strony wyników.

Więc jeśli zaczniesz z

db.myCollection.find().limit(100).sort({created_date:true}); 

a następnie wyodrębnić daty utworzenia ostatniego dokumentu zwróconego przez kursor do zmiennej max_created_date_from_last_result, można uzyskać kolejną stronę z dużo bardziej wydajne (zakładając, masz indeks na created_date) zapytanie

db.myCollection.find({created_date : { $gt : max_created_date_from_last_result } }).limit(100).sort({created_date:true});