2015-06-15 13 views
6

Próbuję utworzyć prosty obiekt puli, który chciałbym mniej lub bardziej sprawiedliwie przydzielić dostęp do zestawu zasobów udostępnionych wszystkim wątkom, które o to proszą. W oknach zwykle mam tablicę Mutexów i robię WaitForMultipleObjects, z bWaitAll = FALSE (zobacz windows_pool_of_n_t poniżej). Ale mam nadzieję, że pewnego dnia będę mógł przenieść to na inne systemy operacyjne, więc chciałbym trzymać się standardu. Zbiór zasobów, ze zmienną condition_variable na size()! = 0, wydawał się oczywistym rozwiązaniem (patrz puli_n_t poniżej).Dlaczego std :: condition_variable powoduje, że planowanie jest niesprawiedliwe?

Ale z przyczyn, których nie rozumiem, ten kod serializuje dostęp do wątku. Nie oczekuję ścisłej uczciwości, ale jest to najgorszy z możliwych przypadek - wątek, który ostatni raz miał blokadę, zawsze ma następną blokadę. Nie chodzi o to, że std :: mutex nie jest zgodny z bardziej lub mniej systemowym harmonogramem systemu Windows, ponieważ użycie tylko muteksu bez zmiennej warunkowej działa zgodnie z oczekiwaniami, chociaż tylko dla puli jednej, oczywiście (patrz puli_na_t poniżej).

Czy ktoś może to wyjaśnić? Czy istnieje sposób obejścia tego?

wyniki:

C:\temp\stdpool>bin\stdpool.exe 
pool:pool_of_one_t 
thread 0:19826 ms 
thread 1:19846 ms 
thread 2:19866 ms 
thread 3:19886 ms 
thread 4:19906 ms 
thread 5:19926 ms 
thread 6:19946 ms 
thread 7:19965 ms 
thread 8:19985 ms 
thread 9:20004 ms 
pool:windows_pool_of_n_t(1) 
thread 0:19819 ms 
thread 1:19838 ms 
thread 2:19858 ms 
thread 3:19878 ms 
thread 4:19898 ms 
thread 5:19918 ms 
thread 6:19938 ms 
thread 7:19958 ms 
thread 8:19978 ms 
thread 9:19997 ms 
pool:pool_of_n_t(1) 
thread 9:3637 ms 
thread 0:4538 ms 
thread 6:7558 ms 
thread 4:9779 ms 
thread 8:9997 ms 
thread 2:13058 ms 
thread 1:13997 ms 
thread 3:17076 ms 
thread 5:17995 ms 
thread 7:19994 ms 
pool:windows_pool_of_n_t(2) 
thread 1:9919 ms 
thread 0:9919 ms 
thread 2:9939 ms 
thread 3:9939 ms 
thread 5:9958 ms 
thread 4:9959 ms 
thread 6:9978 ms 
thread 7:9978 ms 
thread 9:9997 ms 
thread 8:9997 ms 
pool:pool_of_n_t(2) 
thread 2:6019 ms 
thread 0:7882 ms 
thread 4:8102 ms 
thread 5:8182 ms 
thread 1:8382 ms 
thread 8:8742 ms 
thread 7:9162 ms 
thread 9:9641 ms 
thread 3:9802 ms 
thread 6:10201 ms 
pool:windows_pool_of_n_t(5) 
thread 4:3978 ms 
thread 3:3978 ms 
thread 2:3979 ms 
thread 0:3980 ms 
thread 1:3980 ms 
thread 9:3997 ms 
thread 7:3999 ms 
thread 6:3999 ms 
thread 5:4000 ms 
thread 8:4001 ms 
pool:pool_of_n_t(5) 
thread 2:3080 ms 
thread 0:3498 ms 
thread 8:3697 ms 
thread 3:3699 ms 
thread 6:3797 ms 
thread 7:3857 ms 
thread 1:3978 ms 
thread 4:4039 ms 
thread 9:4057 ms 
thread 5:4059 ms 

kod:

#include <iostream> 
#include <deque> 
#include <vector> 
#include <mutex> 
#include <thread> 
#include <sstream> 
#include <chrono> 
#include <iomanip> 
#include <cassert> 
#include <condition_variable> 
#include <windows.h> 

using namespace std; 

class pool_t { 
    public: 
     virtual void check_in(int size) = 0; 
     virtual int check_out() = 0; 
     virtual string pool_name() = 0; 
}; 

class pool_of_one_t : public pool_t { 
    mutex lock; 

public: 
    virtual void check_in(int resource) { 
     lock.unlock(); 
    } 

    virtual int check_out() { 
     lock.lock(); 
     return 0; 
    } 

    virtual string pool_name() { 
     return "pool_of_one_t"; 
    } 

}; 


class windows_pool_of_n_t : public pool_t { 
    vector<HANDLE> resources; 

public: 
    windows_pool_of_n_t(int size) { 
     for (int i=0; i < size; ++i) 
      resources.push_back(CreateMutex(NULL, FALSE, NULL)); 
    } 

    ~windows_pool_of_n_t() { 
     for (auto resource : resources) 
      CloseHandle(resource); 
    } 

    virtual void check_in(int resource) { 
     ReleaseMutex(resources[resource]); 
    } 

    virtual int check_out() { 
     DWORD result = WaitForMultipleObjects(resources.size(), 
       resources.data(), FALSE, INFINITE); 
     assert(result >= WAIT_OBJECT_0 
       && result < WAIT_OBJECT_0+resources.size()); 

     return result - WAIT_OBJECT_0; 
    } 

    virtual string pool_name() { 
     ostringstream name; 
     name << "windows_pool_of_n_t(" << resources.size() << ")"; 
     return name.str(); 
    } 
}; 

class pool_of_n_t : public pool_t { 
    deque<int> resources; 
    mutex lock; 
    condition_variable not_empty; 

public: 
    pool_of_n_t(int size) { 
     for (int i=0; i < size; ++i) 
      check_in(i); 
    } 

    virtual void check_in(int resource) { 
     unique_lock<mutex> resources_guard(lock); 
     resources.push_back(resource); 
     resources_guard.unlock(); 
     not_empty.notify_one(); 
    } 

    virtual int check_out() { 
     unique_lock<mutex> resources_guard(lock); 
     not_empty.wait(resources_guard, 
       [this](){return resources.size() > 0;}); 
     auto resource = resources.front(); 
     resources.pop_front(); 
     bool notify_others = resources.size() > 0; 
     resources_guard.unlock(); 
     if (notify_others) 
      not_empty.notify_one(); 

     return resource; 
    } 

    virtual string pool_name() { 
     ostringstream name; 
     name << "pool_of_n_t(" << resources.size() << ")"; 
     return name.str(); 
    } 
}; 


void worker_thread(int id, pool_t& resource_pool) 
{ 
    auto start_time = chrono::system_clock::now(); 
    for (int i=0; i < 100; ++i) { 
     auto resource = resource_pool.check_out(); 
     this_thread::sleep_for(chrono::milliseconds(20)); 
     resource_pool.check_in(resource); 
     this_thread::yield(); 
    } 

    static mutex cout_lock; 
    { 
     unique_lock<mutex> cout_guard(cout_lock); 
     cout << "thread " << id << ":" 
      << chrono::duration_cast<chrono::milliseconds>(
        chrono::system_clock::now() - start_time).count() 
      << " ms" << endl; 
    } 
} 

void test_it(pool_t& resource_pool) 
{ 
    cout << "pool:" << resource_pool.pool_name() << endl; 
    vector<thread> threads; 
    for (int i=0; i < 10; ++i) 
     threads.push_back(thread(worker_thread, i, ref(resource_pool))); 
    for (auto& thread : threads) 
     thread.join(); 

} 

int main(int argc, char* argv[]) 
{ 
    test_it(pool_of_one_t()); 
    test_it(windows_pool_of_n_t(1)); 
    test_it(pool_of_n_t(1)); 
    test_it(windows_pool_of_n_t(2)); 
    test_it(pool_of_n_t(2)); 
    test_it(windows_pool_of_n_t(5)); 
    test_it(pool_of_n_t(5)); 

    return 0; 
} 
+0

To może być trudne pytanie. Mam na myśli łatwą odpowiedź: 'condition_variable' nie daje takich gwarancji. Trudną odpowiedzią jest dokładnie to, jak źle jest, zakładając, że nie zrobiłeś oczywistych oops w powyższym kodzie. – Yakk

+0

Nie widzę żadnych widocznych wiadomości. Podejrzewam, że jest to spowodowane nieznacznie różnymi interakcjami między 'this_thread :: yield()' i dwoma różnymi ścieżkami mutex. W Linuksie, spodziewam się, że twój kod będzie się odpowiednio planował. Zwróć uwagę, że Standard mówi o 'yield' jako * tylko o możliwości zmiany harmonogramu * ale szczegóły są specyficzne dla systemu operacyjnego. Interesującym eksperymentem może być próba zastąpienia 'this_thread :: yield();' z 'this_thread :: sleep_for (chrono :: nanoseconds (1));'. Spowoduje to utratę priorytetu wątku w kolejce planowania i prawdopodobnie wyeliminuje różnice w systemie Windows. –

+0

Ani sleep_for(), ani Win32's :: Sleep() nie dają lepszego planowania. Wygląda na to, że komentarz Yaak jest odpowiedzią - standard tego nie obiecuje i nie powinienem próbować na niej polegać. –

Odpowiedz

7

Zrobiłem test pool:pool_of_n_t(2) na Linux i widzę problemu w

this_thread::yield(); 

Zobacz wyniki na mój komp dla osób Pula testowa: puli_n_t (2):

1) this_thread :: wydajność():

$./a.out                  
pool:pool_of_n_t(2) 
thread 0, run for:2053 ms 
thread 9, run for:3721 ms 
thread 5, run for:4830 ms 
thread 6, run for:6854 ms 
thread 3, run for:8229 ms 
thread 4, run for:8353 ms 
thread 7, run for:9441 ms 
thread 2, run for:9482 ms 
thread 1, run for:10127 ms 
thread 8, run for:10426 ms 

Są one podobne do same.

2), a sam test kiedy wymienić this_thread::yield() z pthread_yield():

$ ./a.out                
pool:pool_of_n_t(2) 
thread 0, run for:7922 ms 
thread 3, run for:8853 ms 
thread 4, run for:8854 ms 
thread 1, run for:9077 ms 
thread 5, run for:9364 ms 
thread 9, run for:9446 ms 
thread 7, run for:9594 ms 
thread 2, run for:9615 ms 
thread 8, run for:10170 ms 
thread 6, run for:10416 ms 

Jest znacznie bardziej sprawiedliwy. Zakładasz, że this_thread :: yield() faktycznie przypisuje procesor do innego wątku, ale go nie podaje.

To disas dla this_thread :: wydajnością dla gcc 4.8:

(gdb) disassembl this_thread::yield 
Dump of assembler code for function std::this_thread::yield(): 
    0x0000000000401fb2 <+0>: push %rbp 
    0x0000000000401fb3 <+1>: mov %rsp,%rbp 
    0x0000000000401fb6 <+4>: pop %rbp 
    0x0000000000401fb7 <+5>: retq 
End of assembler dump. 

ja nie widzę żadnego restrukturyzacji

A to disas dla pthread_yield:

(gdb) disassemble pthread_yield 
Dump of assembler code for function pthread_yield: 
    0x0000003149c084c0 <+0>: jmpq 0x3149c05448 <[email protected]> 
End of assembler dump. 
(gdb) disassemble sched_yield 
Dump of assembler code for function sched_yield: 
    0x00000031498cf520 <+0>: mov $0x18,%eax 
    0x00000031498cf525 <+5>: syscall 
    0x00000031498cf527 <+7>: cmp $0xfffffffffffff001,%rax 
    0x00000031498cf52d <+13>: jae 0x31498cf530 <sched_yield+16> 
    0x00000031498cf52f <+15>: retq 
    0x00000031498cf530 <+16>: mov 0x2bea71(%rip),%rcx  # 0x3149b8dfa8 
    0x00000031498cf537 <+23>: xor %edx,%edx 
    0x00000031498cf539 <+25>: sub %rax,%rdx 
    0x00000031498cf53c <+28>: mov %edx,%fs:(%rcx) 
    0x00000031498cf53f <+31>: or  $0xffffffffffffffff,%rax 
    0x00000031498cf543 <+35>: jmp 0x31498cf52f <sched_yield+15> 
End of assembler dump. 
+0

Próbowałem tego samego testu z moim pool_of_one_t w linux i zachowanie mutex było podobnie niesprawiedliwe. Myślę, że tutaj odpowiedź brzmi, że interfejsy API współbieżności C++ nie są dostosowane do tego zadania i będę musiał to napisać przy użyciu interfejsów API specyficznych dla platformy. –

+2

Per [ta odpowiedź] (http://stackoverflow.com/questions/12523122/what-is-glibcxx-use-nanosleep-all-about/12961816#12961816), dla GCC 4.8 potrzebujesz '--enable-libstdcxx- time' przy budowaniu GCC, aby 'yield()' nie był no-op. –

+0

@MarkW Jeśli nie powiadomiłeś, musisz przeczytać powyższy komentarz T.C. – Yakk

2

I don Uważa się, że zmienną warunku jest sprawca.

Zarówno Linux "Completely Fair Queue", jak i program rozsyłający wątek systemu Windows zakładają, że idealnym celem jest nadanie każdemu wątkowi całego fragmentu czasu (tj. Zachowanie uczciwości). Niosą one ze sobą tyle, że zakładają, że jeśli wątek się wyda, zanim zużyje przez cały ten czas, że zbliża się do końca kolejki [to jest poważne uproszczenie], ponieważ jest to "uczciwa" rzecz do zrobienia.

Uważam to za bardzo niefortunne.Jeśli masz trzy wątki, z których jeden może wykonać pracę, a pozostałe dwa są zablokowane czekając na to, zarówno system Windows, jak i Linux, będą przeskakiwać pomiędzy zablokowanymi wątkami wiele razy, zanim nadasz "prawidłowy" wątek szansę .

+0

Obwiniam zmienną warunku, ponieważ pozostałe dwie pule - jedna, która czeka wyłącznie na muteks, druga (specyficzna dla okien), która czeka na pulę muteksów - oba mają uczciwe (lub wystarczająco fair) zachowanie. Tylko pula ze zmienną warunku pokazuje szeregowanie wątków szeregowych. –

Powiązane problemy