Parallel odrębny licznik słowo Przejdź

Question

Jakob Østergaard presented to wyzwanie:

Napisz program, który czyta tekst ze standardowego wejścia-i Returns (wydruki) ogólnej liczby występujących w tekście odrębnych słów.

Jak możemy sprostać temu wyzwaniu przy programowaniu równoległym (najlepiej w Go, ale wystarczający będzie opis w języku angielskim)?

Answer 1

Istnieje kilka możliwości, ale myślę, że masz na myśli "sprawnie"?

Ogólna koncepcja polegałaby na podzieleniu tekstu na porcje, wrzucenie tych porcji do kolejki i umożliwienie wielu konsumentom poradzenia sobie z porcjami.

To wygląda jak typowa mapa/Reduce aplikację do mnie:

  _ Worker_ 
     /  \ 
     /   \ 
Splitter--- Worker ---Aggregator 
     \   /
     \_ Worker _/ 

Idealnie „kilka” kolejki byłoby ani jednego z wielu konsumentów, tak, że jeśli jeden pracownik spowalnia cały proces nie spowalnia tak bardzo.

Chciałbym również użyć sygnału od Splittera do pracowników, aby dać im znać, że dane wejściowe zostały w pełni zużyte i mogą rozpocząć wysyłanie swoich wyników do agregatora.

Answer 2

Oto rozwiązanie, w Go, do Jakob Østergaard's problem.

/* 
    The problem: Write a program that reads text from 
    standard-input, and returns (prints) the total 
    number of distinct words found in the text. 

    C versus C++, Jakob Østergaard, February 24th, 2004 
    http://unthought.net/c++/c_vs_c++.html 
*/ 

package main 

import (
    "bufio" 
    "fmt" 
    "os" 
    "unicode" 
) 

func main() { 
    rdr := bufio.NewReader(os.Stdin) 
    words := make(map[string]bool, 1024*1024) 
    word := make([]int, 0, 256) 
    for { 
     r, n, _ := rdr.ReadRune() 
     if unicode.IsSpace(r) || n == 0 { 
      if len(word) > 0 { 
       words[string(word)] = true 
       word = word[:0] 
      } 
      if n == 0 { 
       break 
      } 
     } else { 
      word = append(word, r) 
     } 
    } 
    fmt.Println(len(words)) 
} 

To naiwne dodawanie wyrażenia "programowanie równoległe" do tego i większości innych problemów i spodziewać się magicznej poprawy. Odczytywanie danych wejściowych sekwencyjnie ze strumienia i wykonywanie prostych obliczeń nie daje znaczących możliwości dla parallel computing.