Jak używać sieci InfiniBand z Dask?

Question

Mam klaster z siecią o wysokiej wydajności (InfiniBand). Jednak kiedy ustawiam harmonogram zadań Dask i pracowników, wydajność nie wydaje się być tak szybka, jak oczekiwałbym. Jak mogę powiedzieć Daskowi, aby korzystał z tej sieci?

Oświadczenie: Po prostu zadaję to pytanie, aby móc na nie odpowiedzieć. Stało się często zadawane pytanie

Answer 1

Począwszy od wersji 1.16.3 dask.distributed można określić interfejs sieciowy do dask-scheduler i dask-worker wykonywalnych pomocą --interface słowa kluczowego tak:

dask-scheduler --interface ib0 --scheduler-file ~/my.cluster.yaml 
dask-worker --interface ib0 --scheudler-file ~/my.cluster.yaml 

w Powyższy przykład kodu Zakładam, że twój interfejs sieci Infininband nazywa się ib0. Możesz to sprawdzić, prosząc swój dział IT lub sprawdzając dane wyjściowe w postaci: ifconfig

$ ifconfig 
lo   Link encap:Local Loopback      # Localhost 
      inet addr:127.0.0.1 Mask:255.0.0.0 
      inet6 addr: ::1/128 Scope:Host 
eth0  Link encap:Ethernet HWaddr XX:XX:XX:XX:XX:XX # Ethernet 
      inet addr:192.168.0.101 
      ... 
ib0   Link encap:Infiniband       # Fast InfiniBand 
      inet addr:172.42.0.101