Jak ograniczyć równoczesne połączenia używane przez cURL

Question

Zrobiłem prosty robot sieciowy przy użyciu PHP (i cURL). Analizuje okrutnie 60 000 stron HTML i odzyskuje informacje o produkcie (jest to narzędzie w intranecie).

Moim głównym zmartwieniem jest połączenie równoległe. Chciałbym ograniczyć liczbę połączeń, więc cokolwiek się stanie, robot nigdy nie użyje więcej niż 15 równoczesnych połączeń.

Serwer blokuje IP po przekroczeniu limitu 25 równoczesnych połączeń IP iz jakiegoś powodu nie mogę tego zmienić po stronie serwera, więc muszę znaleźć sposób, aby mój skrypt nigdy więcej nie używał niż X równoczesnych połączeń.

Czy to możliwe?

A może powinienem przepisać całość w innym języku?

Dziękuję, każda pomoc jest doceniana!

Answer 1

dobrze można użyć curl_set_opt(CURLOPT_MAXCONNECTS, 15);, aby ograniczyć liczbę połączeń. Ale możesz również chcieć stworzyć prostego menedżera połączeń, jeśli nie zrobi tego za ciebie.

Answer 2

Może napisać prosty stolik połączenia:

target_IP   | active_connections 

1.2.3.4     10 
4.5.6.7     5 

każdy Curl wezwanie by zwiększyć liczbę połączeń, każda szczelnie ją zmniejszyć.

Można przechowywać tabelę w tabeli mySQL lub Memcache dla prędkości.

Po napotkaniu adresu IP, który już ma swoje maksymalne połączenia, należałoby zaimplementować kolejkę "spróbuj później".

Answer 3

Moja odpowiedź na another question zawiera kod do curl_multi_ *.