Ograniczanie przetwarzania kolejki pamięci masowej Azure w aplikacji funkcji Azure

Question

Utworzyłem aplikację funkcji Azure z wyzwalaczem kolejki Azure Storage, która przetwarza kolejkę, w której każdy element kolejki jest adresem URL. Funkcja po prostu pobiera treść adresu URL. Mam inną funkcję, która ładuje i parsuje mapę witryny XML witryny i dodaje wszystkie adresy URL stron do kolejki. Problem polega na tym, że aplikacja Functions działa zbyt szybko i uderza w witrynę, więc zaczyna zwracać błędy serwera. Czy istnieje sposób ograniczenia/ograniczenia prędkości uruchamiania aplikacji Functions?

Mogę, oczywiście, napisać proste zadanie sieciowe, które przetwarza je seryjnie (lub z pewną asynchronizacją, ale ogranicza liczbę jednoczesnych żądań), ale bardzo podoba mi się prostota funkcji Azure i chciałem wypróbować "bez serwera" przetwarzanie danych.

Answer 1

Istnieje kilka opcji, które można rozważyć.

Po pierwsze, istnieje kilka pokręteł, które można skonfigurować w host.json, które kontrolują przetwarzanie kolejki (udokumentowane here). Pokrętło queues.batchSize określa liczbę pobranych wiadomości kolejki naraz. Jeśli ustawiono wartość 1, środowisko wykonawcze będzie pobierać 1 wiadomość naraz i będzie pobierać tylko następną, gdy przetwarzanie dla tej wiadomości zostanie zakończone. Może to spowodować pewien stopień serializacji na pojedynczym wystąpieniu .

Innym rozwiązaniem może być, aby ustawić NextVisibleTime na wiadomości, które enqueue w taki sposób, że są one rozmieszczone na zewnątrz - poprzez wiadomości domyślne, które są widoczne i stają skolejkowany gotowy do przetwarzania natychmiast.

Ostateczna opcja może polegać na tym, że możesz dodać kolejną wiadomość z kolekcją wszystkich adresów URL witryny zamiast pojedynczo, więc gdy wiadomość zostanie przetworzona, możesz przetworzyć adresy URL kolejno w swojej funkcji, i w ten sposób ograniczyć równoległość.