13
Tworzę aplikację, która wykonuje wiele połączeń api do niektórych stron. Problemem, który napotkam, jest to, że witryna ma limit liczby połączeń api, które można wykonać na minutę. Aby obejść to, miałem nadzieję użyć Tor w połączeniu z node-http-proxy, aby utworzyć tabelę proxy, która używa anonimowych adresów IP pobranych z tor api.Używanie aplikacji Tor api do tworzenia anonimowego serwera proxy
Moje pytanie brzmi: jak to możliwe i jakie narzędzia poleciłbyś, aby to zrobić. Moja aplikacja jest napisana w javascript, więc preferowane są rozwiązania obejmujące takie rzeczy jak node-tor.
Zamierzam zrobić skok i powiedzieć, że prawdopodobnie jest to niezgodne z warunkami świadczenia usług przez dostawcę API w celu obejścia limitu. Limit jest tam, ponieważ to wszystko, na co mogą sobie pozwolić.Powinieneś poprosić dostawcę API, aby pomógł Ci pracować w granicach swoich możliwości lub powinieneś powiedzieć im, dlaczego limit jest zbyt niski. –
Jak powiedział @Bergi - buforuj żądanie lub skonfiguruj serwer lokalny, aby zwracać sztuczne/realistyczne dane podczas pracy. Jeśli dane wracają jako JSON, mogą to być nawet proste pliki tekstowe, które serwujesz, tylko z odpowiednim typem MIME. –
Przykro mi, ale nie rozumiem, w jaki sposób twoja tabela proxy zmieni cokolwiek: czy odległa strona nadal nie otrzyma przychodzących żądań z tego samego adresu IP? Mam taki problem z robotami sieciowymi i zazwyczaj używam [async] (https://github.com/caolan/async), aby ograniczyć przepustowość mojego robota do limitu własnego. – Feugy