Najlepszy sposób zarządzania pulą wątków w kolejce do bazy danych

Question

Mam tabelę z danymi zawierającą podsumowania wpisów, a moje oprogramowanie musi przejść przez usługę sieci Web, aby uzyskać szczegółowe informacje, a następnie zapisać te dane z powrotem w bazie danych. Zapętlanie przez tabelę synchronicznie podczas wywoływania usługi sieciowej i czekanie na odpowiedź jest zbyt wolne (są tysiące wpisów), więc chciałbym wziąć wyniki (10 lub więcej w tym samym czasie) i wyłaczyć je tak, aby wykonywało 10 operacje w tym samym czasie.

Moje doświadczenie z wątkami C# jest ograniczone do najmniejszego, więc jakie jest najlepsze podejście? Czy .NET ma jakiś system kolejki wątków, którego mogę użyć, aby upewnić się, że wyniki zostaną poprawnie obsłużone i po kolei?

Answer 1

W zależności od wersji .NET Framework masz dwie całkiem dobre opcje.

Możesz użyć ThreadPool.QueueUserWorkItem w dowolnej wersji.

int pending = table.Rows.Count; 
var finished = new ManualResetEvent(false); 
foreach (DataRow row in table.Rows) 
{ 
    DataRow capture = row; // Required to close over the loop variable correctly. 
    ThreadPool.QueueUserWorkItem(
    (state) => 
    { 
     try 
     { 
     ProcessDataRow(capture); 
     } 
     finally 
     { 
     if (Interlocked.Decrement(ref pending) == 0) 
     { 
      finished.Set(); // Signal completion of all work items. 
     } 
     } 
    }, null); 
} 
finished.WaitOne(); // Wait for all work items to complete. 

Jeśli używasz .NET Framework 4.0 można użyć Task Parallel Library.

var tasks = new List<Task>(); 
foreach (DataRow row in table.Rows) 
{ 
    DataRow capture = row; // Required to close over the loop variable correctly. 
    tasks.Add(
    Task.Factory.StartNew(
    () => 
     { 
     ProcessDataRow(capture);   
     })); 
} 
Task.WaitAll(tasks.ToArray()); // Wait for all work items to complete. 

Istnieje wiele innych rozsądnych sposobów, aby to zrobić. Podkreślam powyższe schematy, ponieważ są one łatwe i działają dobrze. Wobec braku konkretnych szczegółów nie mogę powiedzieć na pewno, że albo będzie idealnie pasować do twojej sytuacji, ale powinny być dobrym punktem wyjścia.

Aktualizacja:

miałem krótki okres aktywności mózgowej poniżej normy. Jeśli masz dostępną TPL, możesz również użyć metody Parallel.ForEach jako prostszej metody niż wszystkie powyższe, wymienione powyżej.

Parallel.ForEach(table.Rows, 
    (DataRow row) => 
    { 
    ProcessDataRow(row); 
    }); 

Answer 2

Czy .NET ma jakiś system kolejkowania wątków, z którego mogę korzystać, aby upewnić się, że wyniki zostaną poprawnie przetworzone i uporządkowane?

To było coś, co dodano w .NET 4. Domyślnie klasa BlockingCollection<T> działa jako kolejka wątków dla scenariuszy producent/konsument.

Ułatwia tworzenie wielu elementów, które "konsumują" z kolekcji i procesu, z jednym lub więcej elementami dodającymi do kolekcji.