Biblioteka C++ do budowania potoku wykonawczego

Question

Szukałem biblioteki potokowej do ponownego uruchamiania w C++ (biblioteka programu do planowania zadań?). Nie mogłem znaleźć niczego w ramach Boost. Więc w końcu dowiedział się dwóch kandydatów:

• google-concurrency-library
• libpipeline

jestem brakuje żadnych innych kandydatów? Czy ktoś ich użył? Jak dobre są one w odniesieniu do równoległego io i wielowątkowości? W tych bibliotekach nadal brakuje obsługi zależności. Na przykład nie wydaje się dla mnie jasne, w jaki sposób można by napisać coś takiego:

$ cat /dev/urandom | tr P Q | head -3 

W tym bardzo prostym przypadku, rurociąg podszedł dołu do góry, a pierwsze cat przystanki wykonywania kiedy head proces zatrzymuje ciągnięcia.

Jednak nie widzę w jaki sposób mogę korzystać z wielowątkowości i czy równoległą IO w przypadku takim jak:

$ cat /raid1/file1 /raid2/file2 | tr P Q > /tmp/file3 

Nie ma dla mnie sposób, aby powiedzieć: wykonać tr na 7 wątki gdy 8 procesorów dostępny.

Answer 1

Czego oczekujesz to framework Dataflow. Pipeline to wyspecjalizowana forma przepływu danych, w której wszystkie komponenty mają 1 konsumenta i 1 producenta.

Zwiększ obsługuje przepływ danych, ale niestety nie jestem zaznajomiony z Boost. Oto link: http://dancinghacker.com/code/dataflow/dataflow/introduction/dataflow.html

W każdym razie powinieneś pisać swoje komponenty jako osobne programy i używać uniksowych potoków. Szczególnie, jeśli twoja charakterystyka danych jest (lub może być łatwo przekształcona) w linie/tekst.

Można również napisać własną rzecz przepływu danych. Nie jest to zbyt trudne, szczególnie, gdy masz ograniczenia (mam na myśli potok: 1-konsument/1-producent), nie powinieneś implementować pełnej struktury przepływu danych. Piping polega właśnie na wiązaniu pewnych funkcji, przekazując wynik do następnego argumentu. Struktura przepływu danych dotyczy interfejsu/wzorca komponentu i techniki wiązania. (Jest fajnie, napisałem jeden.)

Answer 2

Chciałbym dać Threading Building Blocks http://threadingbuildingblocks.org/ spróbować. Jest to ploter typu open source i krzyżowy. Artykuł w Wikipedii jest całkiem niezły: http://en.wikipedia.org/wiki/Intel_Threading_Building_Blocks

Answer 3

Właśnie przeczytałem dzisiaj o RaftLib, który wykorzystuje szablony i klasy do tworzenia elementów potoku o nazwie "jądra". Pozwala na szeregowy potok, taki jak pokazany przykład Bash, oprócz równoległych przepływów danych. Z Hello world example na pierwszej stronie:

#include <raft> 
#include <raftio> 
#include <cstdlib> 
#include <string> 

class hi : public raft::kernel 
{ 
public: 
    hi() : raft::kernel() 
    { 
     output.addPort<std::string>("0"); 
    } 

    virtual raft::kstatus run() 
    { 
     output[ "0" ].push(std::string("Hello World\n")); 
     return(raft::stop); 
    } 
}; 


int 
main(int argc, char **argv) 
{ 
    /** instantiate print kernel **/ 
    raft::print<std::string> p; 
    /** instantiate hello world kernel **/ 
    hi hello; 
    /** make a map object **/ 
    raft::map m; 
    /** add kernels to map, both hello and p are executed concurrently **/ 
    m += hello >> p; 
    /** execute the map **/ 
    m.exe(); 
    return(EXIT_SUCCESS); 
}