Programowa detekcja botów

Question

Potrzebuję napisać kod, aby przeanalizować, czy dany użytkownik na naszej stronie jest bota. Jeśli to bot, podejmiemy określone działanie. Patrzenie na User Agent nie jest czymś, co odnosi sukcesy tylko dla przyjaznych botów, ponieważ możesz określić dowolnego agenta użytkownika w bocie. Jestem po zachowaniu nieprzyjaznych botów. Różne pomysły jaki miałem do tej pory są:

• Jeśli nie masz identyfikatora przeglądarki
• Jeśli nie masz identyfikatora sesji
• stanie pisać cookie

Oczywiście, są przypadki, w których prawowity użytkownik będzie wyglądał jak bot, ale to jest w porządku. Czy istnieją inne programowe sposoby wykrywania bota lub wykrycia czegoś, co wygląda jak bot?

Answer 1

Można powiedzieć, że to jest w porządku, że niektórzy użytkownicy pojawiają się jako boty zatem

Większość botów nie uruchomić JavaScript. Użyj javascript do wykonania połączenia typu Ajax, takiego jak na serwerze, który identyfikuje ten adres IP jako NonBot. Przechowuj go przez określony czas, aby zidentyfikować przyszłe połączenia z tego adresu IP jako dobrych klientów i zapobiec dalszym marnotrawnym wywołaniom JavaScript.

Answer 2

Prosty test jest javascript:

<script type="text/javascript"> 
document.write('<img src="/not-a-bot.' + 'php" style="display: none;">'); 
</script> 

nie-a-bot.php może dodać coś do sesji do flagi, że użytkownik nie jest bot, a następnie powrócić do pojedynczego piksela gif.

Adres URL jest podzielony w celu ukrycia go przed bota.

Answer 3

Wyjaśnij, dlaczego chcesz wykluczyć boty i jak tolerancyjny jest błąd w klasyfikacji.

To znaczy, czy musisz wykluczyć każdego pojedynczego bota kosztem traktowania prawdziwych użytkowników, takich jak boty? Czy jest to w porządku, jeśli roboty indeksują Twoją witrynę, o ile nie mają wpływu na wydajność?

Jedynym sposobem na wykluczenie wszystkich botów jest zamknięcie witryny. Złośliwy użytkownik może dystrybuować swojego bota na tyle komputerów, że nie będzie w stanie odróżnić ich ruchu od prawdziwych użytkowników. Sztuczki takie jak JavaScript i CSS nie powstrzymają określonego agresora.

Jeśli "szczęśliwe medium" jest zadowalające, jedną lewą, która może być pomocna, jest ukrycie łączy za pomocą CSS, tak aby nie były widoczne dla użytkowników w przeglądarce, ale nadal są w kodzie HTML. Każdy agent korzystający z jednego z tych "trucizn" to bot.

Answer 4

Agenci użytkownika mogą zostać sfałszowani. Captchas zostały złamane. Prawidłowe pliki cookie mogą być wysyłane z powrotem do serwera za pomocą żądań strony. Autentyczne programy, takie jak Adobe Acrobat Pro, mogą wejść i pobrać twoją witrynę w jednej sesji. Użytkownicy mogą wyłączyć JavaScript. Ponieważ nie ma standardowej miary "normalnego" zachowania użytkownika, nie można go odróżnić od bota.

Innymi słowy: nie można zrobić nic, jak tylko wprowadzić użytkownika w interaktywną rozmowę i mieć nadzieję, że zda test Turinga, ale znowu może to być naprawdę dobry bot.

Answer 5

To naprawdę dotyczy konkretnej strony witryny. Nie chcemy, aby bot przesyłający formularz b/c pomija śledzenie. Szczerze mówiąc, przyjazne boty, Google, Yahoo itd. Nie stanowią problemu, ponieważ zazwyczaj nie wypełniają formularza na samym początku.Jeśli podejrzewamy, że ktoś jest botem, możemy pokazać im obraz captcha lub coś podobnego ... Jeśli minęli, nie są botami, a formularz przesyła ...

Słyszałem takie rzeczy jak umieszczanie formularza w pamięci flash lub wysyłanie javascript, ale wolę nie uniemożliwić prawdziwym użytkownikom korzystania z witryny, dopóki nie podejrzewam, że to bot ...

Answer 6

Myślę, że twój pomysł z sprawdzaniem identyfikatora sesji będzie już są całkiem przydatne.

Inny pomysł: Można sprawdzić, czy są również pobierane zasoby osadzone.

Bota, który nie ładuje obrazów (np. W celu zaoszczędzenia czasu i przepustowości), powinien być odróżniany od przeglądarki, która zazwyczaj ładuje obrazy osadzone na stronie.

Takie sprawdzenie może jednak nie być odpowiednie jako kontrola w czasie rzeczywistym, ponieważ trzeba by przeanalizować dziennik serwera, który może być czasochłonny.

Answer 7

Dla każdej sesji na serwerze można określić, czy użytkownik w dowolnym momencie kliknął lub pisał zbyt szybko. Po podanej liczbie powtórzeń ustaw flagę "isRobot" na wartość true i zachowaj zasoby w tej sesji. Zwykle nie mówisz użytkownikowi, że został wykryty przez robota, ponieważ właśnie rozpoczął nową sesję w tej sprawie.

Answer 8

Hej, dziękuję za wszystkie odpowiedzi. Myślę, że kombinacja kilku sugestii zadziała dobrze. Głównie ukryty element formularza, który razy wypełniał formę, i prawdopodobnie pomysł "połączenia zatrutego". Myślę, że obejmie to większość podstaw. Kiedy mówisz o botach, nie znajdziesz ich wszystkich, więc nie ma sensu myśleć, że ... Głupie roboty.

Answer 9

Oto pomysł:

Większość botów nie pobieraj CSS, JavaScript i obrazy. Oni po prostu analizują zawartość html.

Jeśli możesz śledzić sesję użytkownika, czy pobrać wszystkie powyższe dane, czy też nie, poprzez przekierowanie wszystkich żądań pobierania za pomocą skryptu, który rejestruje próby, można szybko zidentyfikować użytkowników, którzy pobierają tylko surowy html (zrobi to niewielu zwykłych użytkowników).