DataTable.Select vs DataTable.rows.Find vs foreach vs Find (Predicate <T>)/Lambda

Question

Mam DataTable/kolekcja, która jest buforowana w pamięci, chcę użyć tego jako źródło do generowania wyników dla automatycznego uzupełniania pola tekstowego (oczywiście przy użyciu AJAX). Oceniam różne opcje szybkiego pobierania danych. Liczba pozycji w kolekcji/wierszach w datatable może się różnić od 10000 do 2 000 000. (Abyśmy nie zostali przekierowani, na razie zakładamy, że decyzja została podjęta, mam wystarczającą ilość pamięci RAM i będę używać pamięci podręcznej, a nie zapytania do bazy danych)

Mam dodatkową logikę biznesową dla tego przetwarzania ; Muszę nadać priorytet liście autouzupełniania zgodnie z kolumną priority (int) w kolekcji. Więc jeśli ktoś szuka Micro i otrzymuję 20 wyników słów/zdań, które zaczynają się od Micro, wtedy wybrałbym 10 najbardziej wypadkowych przedmiotów o najwyższym priorytecie. (stąd potrzeba posiadania właściwości priorytetowej związanej z wartością ciągu znaków).

Elementy kolekcji są już posortowane alfabetycznie.

Jakie byłoby najlepsze rozwiązanie w tym przypadku.
1. Za DataTable.Select (.
2. Using DataTable.Rows.Find(.
3. Zastosowanie zwyczaj Odbiór foreach or for iterację jego wartości.
4. Zastosowanie ogólny zbiór z anonymous delegates lub lambda (since both give same performance lub not?)

Answer 1

Możemy spekulować o tym cały dzień, ale ponieważ nie jest to ogromny kawałek kodu, to dlaczego nie napisać każdy i odniesienia ich przed sobą?

public delegate void TestProcedure(); 

public TimeSpan Benchmark(TestProcedure tp) 
{ 
    int testBatchSize = 5; 
    List<TimeSpan> results = new List<TimeSpan>(); 
    for(int i = 0; i<testBatchSize; i++) 
    { 
     DateTime start = DateTime.Now; 
     tp(); 
     results.Add(DateTime.Now - start); 
    } 
    return results.Min(); 
} 

Answer 2

co z Da taView? Możesz zastosować warunek filtru i sortować według priorytetu, a następnie łatwo iterować wyniki, aby dodać wyniki.

Answer 3

Na moim autocomplete próbowałem najpierw podejście linq/lambda, wydajność jest trochę powolna. DataTable.Select jest szybszy niż linq, więc używam tego. Jeszcze nie porównał wydajność między datatable.Select i datatable.Find

Answer 4

zgodnie z poniższym blogu

http://blog.dotnetspeech.net/archive/2008/08/26/performance----datatable.select-vs-dictionary.aspx

DataTable.Rows.Find jest dużo, dużo szybciej niż DataTable.Select.

Answer 5

Wykresy nie są publikowane na moim blogu; Więcej szczegółów można znaleźć pod adresem: http://msdn.microsoft.com/en-us/library/dd364983.aspx

Kolejną rzeczą, którą odkryłem, jest to, że w przypadku dużych zestawów danych używanie połączonego słownika generycznego działa niewiarygodnie dobrze. Pomaga także zmniejszyć wiele problemów spowodowanych operacjami sortowania wymaganymi do operacji agregacji, takich jak min. I maks. (Z DataTable.Compute lub LINQ).

Przez "połączony słownik ogólny" mam na myśli Dictionary(Of String, Dictionary(Of String, Dictionary(Of Integer, List(Of DataRow)))) lub podobną technikę, w której kluczem do każdego słownika jest wyszukiwany termin.

To prawda, nie przyda się we wszystkich okolicznościach, ale mam co najmniej jeden scenariusz, w którym wdrożenie tego podejścia prowadzi do poprawy wydajności 500x.

W twoim przypadku rozważam użycie prostego słownika z pierwszymi 1-5 znakami, a następnie List(Of String). Trzeba by raz zbudować ten słownik, dodając słowa do list z pierwszymi 1-5 znakami, ale potem uzyskasz niesamowicie szybkie wyniki.

Zazwyczaj zawijam takie rzeczy w klasie, która pozwala mi na łatwe dodawanie słów. Możesz również użyć opcji SortedList(Of String), aby automatycznie posortować wyniki. W ten sposób możesz szybko wyszukać listę słów pasujących do pierwszych N znaków, które zostały wpisane.