2013-10-04 15 views
8

EDITasynchronicznie i równolegle pobierania plików

Zmieniłem tytuł pytanie do zastanowienia problem miałem, ale również odpowiedzi, w jaki sposób to osiągnąć łatwo.


Próbuję dokonać 2nd metodę powrotu Task<TResult> zamiast Task jak w metodzie 1, ale jestem coraz kaskadę błędów wskutek próbuje go naprawić.

  • dodałem return przed await body(partition.Current);
  • Z kolei prosi mnie, aby dodać return poniżej więc dodałem return null poniżej
  • Ale teraz SELECT narzeka, że ​​nie można ustalić typ argumentu z kwerendy
  • Zmieniam Task.Run na Task.Run<TResult>, ale bez powodzenia.

Jak mogę to naprawić?

Pierwsza metoda pochodzi z http://blogs.msdn.com/b/pfxteam/archive/2012/03/05/10278165.aspx, drugą metodą jest przeciążenie, które próbuję utworzyć.

public static class Extensions 
{ 
    public static Task ForEachAsync<T>(this IEnumerable<T> source, int dop, Func<T, Task> body) 
    { 
     return Task.WhenAll(
      from partition in Partitioner.Create(source).GetPartitions(dop) 
      select Task.Run(async delegate 
      { 
       using (partition) 
        while (partition.MoveNext()) 
         await body(partition.Current); 
      })); 
    } 

    public static Task ForEachAsync<T, TResult>(this IEnumerable<T> source, int dop, Func<T, Task<TResult>> body) 
    { 
     return Task.WhenAll(
      from partition in Partitioner.Create(source).GetPartitions(dop) 
      select Task.Run(async delegate 
      { 
       using (partition) 
        while (partition.MoveNext()) 
         await body(partition.Current); 
      })); 
    } 
} 

Przykład użycia:

Dzięki tej metodzie Chciałbym pobierać wiele plików jednocześnie i asynchronicznie:

private async void MainWindow_Loaded(object sender, RoutedEventArgs e) 
{ 
    Artist artist = await GetArtist(); 
    IEnumerable<string> enumerable = artist.Reviews.Select(s => s.ImageUrl); 
    string[] downloadFile = await DownloadFiles(enumerable); 
} 

public static async Task<string[]> DownloadFiles(IEnumerable<string> enumerable) 
{ 
    if (enumerable == null) throw new ArgumentNullException("enumerable"); 
    await enumerable.ForEachAsync(5, s => DownloadFile(s)); 
    // Incomplete, the above statement is void and can't be returned 
} 

public static async Task<string> DownloadFile(string address) 
{ 
    /* Download a file from specified address, 
     * return destination file name on success or null on failure */ 

    if (address == null) 
    { 
     return null; 
    } 

    Uri result; 
    if (!Uri.TryCreate(address, UriKind.Absolute, out result)) 
    { 
     Debug.WriteLine(string.Format("Couldn't create URI from specified address: {0}", address)); 
     return null; 
    } 

    try 
    { 
     using (var client = new WebClient()) 
     { 
      string fileName = Path.GetTempFileName(); 
      await client.DownloadFileTaskAsync(address, fileName); 
      Debug.WriteLine(string.Format("Downloaded file saved to: {0} ({1})", fileName, address)); 
      return fileName; 
     } 
    } 
    catch (WebException webException) 
    { 
     Debug.WriteLine(string.Format("Couldn't download file from specified address: {0}", webException.Message)); 
     return null; 
    } 
} 
+1

Nie jest jasne, jaki byłby oczekiwany rezultat. Przekazujesz całą sekwencję wartości 'T' i uruchamiasz tę samą funkcję na obydwu z nich - jaki pojedynczy wynik powinieneś uzyskać z' Task 'zwrócony? –

+0

Chciałbym dostać zadanie w tym przypadku, dodałem przykład na moje pytanie. – Aybe

+0

* "Za pomocą tej metody chciałbym pobierać wiele plików równolegle i asynchronicznie" *: 'Parallel.Foreach' to za mało? –

Odpowiedz

23

Rozwiązałem go i umieszczenie go tutaj, może pomóc ktoś mający ten sam problem.

Moją pierwszą potrzebą był mały helper, który szybko pobierał obrazy, ale także po prostu zrzucił połączenie, jeśli serwer nie zareagował szybko, wszystko to równolegle i asynchronicznie.

Ten helper zwróci ci krotkę zawierającą ścieżkę zdalną, ścieżkę lokalną i wyjątek, jeśli wystąpił; jest to bardzo przydatne, ponieważ zawsze dobrze jest wiedzieć, dlaczego błędne pobieranie zostało uszkodzone. Myślę, że nie zapomniałem o żadnej sytuacji, która może wystąpić przy pobieraniu, ale możesz to skomentować.

  • określić listę adresów URL, aby pobrać
  • Można określić lokalną nazwę pliku, w którym zostanie on zapisany, jeśli nie jeden zostanie wygenerowany dla Ciebie
  • Opcjonalnie czas na anulowanie download (poręczny dla serwerów powolnych lub nieosiągalny)

można po prostu użyć DownloadFileTaskAsync się lub użyj ForEachAsync pomocnika dla równoległych i asynchronicznych do pobrania.

Kod z przykładem, w jaki sposób z niego korzystać:

private async void MainWindow_Loaded(object sender, RoutedEventArgs e) 
{ 
    IEnumerable<string> enumerable = your urls here; 
    var results = new List<Tuple<string, string, Exception>>(); 
    await enumerable.ForEachAsync(s => DownloadFileTaskAsync(s, null, 1000), (url, t) => results.Add(t)); 
} 

/// <summary> 
///  Downloads a file from a specified Internet address. 
/// </summary> 
/// <param name="remotePath">Internet address of the file to download.</param> 
/// <param name="localPath"> 
///  Local file name where to store the content of the download, if null a temporary file name will 
///  be generated. 
/// </param> 
/// <param name="timeOut">Duration in miliseconds before cancelling the operation.</param> 
/// <returns>A tuple containing the remote path, the local path and an exception if one occurred.</returns> 
private static async Task<Tuple<string, string, Exception>> DownloadFileTaskAsync(string remotePath, 
    string localPath = null, int timeOut = 3000) 
{ 
    try 
    { 
     if (remotePath == null) 
     { 
      Debug.WriteLine("DownloadFileTaskAsync (null remote path): skipping"); 
      throw new ArgumentNullException("remotePath"); 
     } 

     if (localPath == null) 
     { 
      Debug.WriteLine(
       string.Format(
        "DownloadFileTaskAsync (null local path): generating a temporary file name for {0}", 
        remotePath)); 
      localPath = Path.GetTempFileName(); 
     } 

     using (var client = new WebClient()) 
     { 
      TimerCallback timerCallback = c => 
      { 
       var webClient = (WebClient) c; 
       if (!webClient.IsBusy) return; 
       webClient.CancelAsync(); 
       Debug.WriteLine(string.Format("DownloadFileTaskAsync (time out due): {0}", remotePath)); 
      }; 
      using (var timer = new Timer(timerCallback, client, timeOut, Timeout.Infinite)) 
      { 
       await client.DownloadFileTaskAsync(remotePath, localPath); 
      } 
      Debug.WriteLine(string.Format("DownloadFileTaskAsync (downloaded): {0}", remotePath)); 
      return new Tuple<string, string, Exception>(remotePath, localPath, null); 
     } 
    } 
    catch (Exception ex) 
    { 
     return new Tuple<string, string, Exception>(remotePath, null, ex); 
    } 
} 

public static class Extensions 
{ 
    public static Task ForEachAsync<TSource, TResult>(
     this IEnumerable<TSource> source, 
     Func<TSource, Task<TResult>> taskSelector, Action<TSource, TResult> resultProcessor) 
    { 
     var oneAtATime = new SemaphoreSlim(5, 10); 
     return Task.WhenAll(
      from item in source 
      select ProcessAsync(item, taskSelector, resultProcessor, oneAtATime)); 
    } 

    private static async Task ProcessAsync<TSource, TResult>(
     TSource item, 
     Func<TSource, Task<TResult>> taskSelector, Action<TSource, TResult> resultProcessor, 
     SemaphoreSlim oneAtATime) 
    { 
     TResult result = await taskSelector(item); 
     await oneAtATime.WaitAsync(); 
     try 
     { 
      resultProcessor(item, result); 
     } 
     finally 
     { 
      oneAtATime.Release(); 
     } 
    } 
} 

Nie zmienił podpis ForEachAsync aby wybrać poziom równoległości, dam Ci dostosować go jak chcesz.Przykładem

wyjściowa:

DownloadFileTaskAsync (null local path): generating a temporary file name for http://cache.thephoenix.com/secure/uploadedImages/The_Phoenix/Music/CD_Review/main_OTR_Britney480.jpg 
DownloadFileTaskAsync (null local path): generating a temporary file name for http://ssimg.soundspike.com/artists/britneyspears_femmefatale_cd.jpg 
DownloadFileTaskAsync (null local path): generating a temporary file name for http://a323.yahoofs.com/ymg/albumreviewsuk__1/albumreviewsuk-526650850-1301400550.jpg?ymm_1xEDE5bu0tMi 
DownloadFileTaskAsync (null remote path): skipping 
DownloadFileTaskAsync (time out due): http://hangout.altsounds.com/geek/gars/images/3/9/8/5/2375.jpg 
DownloadFileTaskAsync (time out due): http://www.beat.com.au/sites/default/files/imagecache/630_315sr/images/article/header/2011/april/britney-spears-femme-fatale.jpg 
DownloadFileTaskAsync (time out due): http://cache.thephoenix.com/secure/uploadedImages/The_Phoenix/Music/CD_Review/main_OTR_Britney480.jpg 
DownloadFileTaskAsync (downloaded): http://newblog.thecmuwebsite.com/wp-content/uploads/2009/12/britneyspears1.jpg 
DownloadFileTaskAsync (downloaded): http://newblog.thecmuwebsite.com/wp-content/uploads/2009/12/britneyspears1.jpg 
DownloadFileTaskAsync (downloaded): http://static.guim.co.uk/sys-images/Music/Pix/site_furniture/2011/3/22/1300816812640/Femme-Fatale.jpg 
DownloadFileTaskAsync (downloaded): http://www.sputnikmusic.com/images/albums/72328.jpg 

co kiedyś trwać do 1 minuty teraz ledwo trwa 10 sekund do tego samego rezultatu :)

I wielkie dzięki dla autora tych 2 postów:

http://blogs.msdn.com/b/pfxteam/archive/2012/03/05/10278165.aspx

http://blogs.msdn.com/b/pfxteam/archive/2012/03/04/10277325.aspx

+1

Wielkie metody rozszerzenia! – nullable

+0

Tak, są bardzo pomocne, dzięki! – Aybe

+1

Dobra robota sir :) –

Powiązane problemy