Jak zatrzymać boty przed zwiększaniem licznika pobierania pliku w PHP?

Question

Kiedy użytkownik klika łącze, aby pobrać plik na mojej stronie, przechodzi do this PHP file, który zwiększa licznik pobrań dla tego pliku, a następnie header() - przekierowuje go do rzeczywistego pliku. Podejrzewam jednak, że boty podążają za linkiem pobierania, więc liczba pobrań jest niedokładna.

• Jak powiadomić boty, że nie powinny używać linku?
• Czy istnieje sposób na wykrycie większości botów?
• Czy istnieje lepszy sposób policzenia liczby pobrań pliku?

Answer 1

robots.txt: http://www.robotstxt.org/robotstxt.html

Nie wszystkie boty szanuję go, ale większość nie. Jeśli naprawdę chcesz uniemożliwić dostęp za pośrednictwem botów, umieść link do niego POST zamiast GET. Boty nie będą śledzić adresów URL POST. (I.E., użyj małego formularza, który powoduje powrót do witryny, która prowadzi do danego adresu URL.)

Answer 2

Myślę, że odpowiedź Godeke's robots.txt byłaby wystarczająca. Jeśli absolutnie nie możesz mieć botów do podniesienia swojego licznika, to polecam używanie pliku z robotami w połączeniu z niezasilaniem kliknięć przy pomocy jakiegoś common robot user agents.

Żadna droga nie jest idealna., Ale mieszanka tych dwóch jest prawdopodobnie nieco bardziej rygorystyczna. Jeśli to ja, prawdopodobnie trzymałbym się pliku robota, ponieważ jest to łatwe i prawdopodobnie najskuteczniejsze rozwiązanie.

Answer 3

Godeke ma rację, robots.txt jest pierwszą rzeczą, którą należy zrobić, aby nie pobierać botów.

Jeśli chodzi o liczenie, jest to naprawdę problem z analityką internetową. Czy nie przechowujesz swoich dzienników dostępu do stron WWW i nie uruchamiasz ich za pomocą programu analitycznego, takiego jak Webalizer lub AWStats (lub wyszukanych alternatyw, takich jak Webtrends lub Urchin)? Dla mnie jest to sposób na zbieranie tego rodzaju informacji, ponieważ jest to łatwe i nie ma PHP, przekierowania ani innej wydajności, gdy użytkownik pobiera plik. Używasz tylko dzienników Apache, które i tak trzymasz. (I grep -c da ci szybką 'n' brudną liczbę na konkretnym pliku lub wzorze wieloznacznym.)

Możesz skonfigurować oprogramowanie statystyczne, aby ignorowało trafienia przez roboty lub określone programy użytkownika i inne kryteria (a jeśli zmienisz twoje kryteria później, po prostu przerób stare dane dziennika). Oczywiście wymaga to wszystkich starych dzienników, więc jeśli rzuciłeś je z czymś w rodzaju logrotate, musisz zacząć bez żadnych danych historycznych.

Answer 4

Można również wykryć złośliwe roboty, które nie respektowałyby pliku robots.txt przy użyciu http://www.bad-behavior.ioerror.us/.