Jak zablokować dostęp do libwww-perl w .net?

Question

ja testował moją stronę z narzędzi internetowych, a jednym z narzędzi dał mi to ostrzeżenie:

Serwer wydaje się zezwolić na dostęp z User-agent libwww-perl. Skrypty Botnet automatycznie wyszukujące luki w twoim oprogramowaniu są czasami identyfikowane jako User-Agent libwww-perl. Blokując dostęp z libwww-perl możesz wyeliminować wiele prostych ataków. Dowiedz się więcej na temat blokowania dostępu do libinter-perl i poprawy bezpieczeństwa witryny.

Moja strona internetowa to witryna ASP.NET MVC 5 i po prostu dodałem te linie do mojego pliku "robots.txt".

User-agent: * 
Disallow:/

User-Agent: bingbot 
Allow:/

Narzędzie wciąż zgłasza ostrzeżenie. Jaki jest problem? Blokuję wszystkie boty i po prostu ustawiam bingbota, żeby na to zezwolił.

Answer 1

ile dajesz URL lub nazwa narzędzia do skanowania online, mogę się tylko domyślać, że próbował zaindeksować strony podczas wysyłania User-Agent: libwww-perl - nie, jeśli zablokujesz to w pliku robots.txt.

W tym kontekście plik robots.txt zawiera zasady dotyczące dobrze działających wyszukiwarek, a nie złośliwego oprogramowania. Od http://www.robotstxt.org/robotstxt.html:

• roboty mogą zignorować plik /robots.txt. Szczególnie złośliwe roboty, które skanują sieć pod kątem luk w zabezpieczeniach, a także adresy e-mailowe używane przez spamerów, nie będą zwracały na to uwagi.

Zakładam, że "naprawię" to ostrzeżenie, należy odrzucić wszystkie żądania dotyczące strony, obrazu lub pliku, jeśli nagłówki HTTP zawierają User-Agent: libwww-perl. Aby odrzucić te żądania bez modyfikowania witryny, zobacz this question on configuring IIS.

Osobiście nie odmówiłbym tych wniosków, ponieważ nie jest to warte kłopotów. Łatwo jest zmienić User-Agent w narzędziu skanującym, a większość już pozwala naśladować szeroko używane przeglądarki, aby zyski bezpieczeństwa były bardzo małe. Z drugiej strony może istnieć dobre/uzasadnione narzędzie, którego nie można użyć, ponieważ nie podrabia swojej tożsamości.

Answer 2

Spróbuj dodać to do pliku:

User-agent: Libwww-perl 
Disallow:/

Answer 3

Dodaj robot.txt do aplikacji i zawierać ten plik w katalogu głównym aplikacji. Dodaj poniżej do tego pliku robot.txt

User-agent: Libwww-perl 
Disallow:/

A Aby uzyskać więcej informacji prosimy o sprawdzenie informacji podanych poniżej ... http://www.iis.net/learn/application-frameworks/install-and-configure-php-applications-on-iis/translate-htaccess-content-to-iis-webconfig

Answer 4

To może być zablokowana za pomocą .htaccess Rewrite:

RewriteCond %{HTTP_USER_AGENT} libwww-perl.* 
RewriteRule .* ? [F,L]