Jak sprawdzić, czy moja strona jest skrobana?

Question

Jak sprawdzić, czy moja witryna jest skrobana?

mam kilka punktów ...

1. Przepustowość sieci zawód, powodując problemy z przepustowością (pasuje jeśli proxy używany).
2. Podczas sprawdzania wyszukiwanych słów kluczowych nowe odsyłacze pojawiają się w innych podobnych zasobach z tą samą zawartością (pasuje, jeśli używany jest serwer proxy).
3. Wiele żądań z tego samego adresu IP.
4. Wysoki poziom żądań z jednego adresu IP. (przy okazji: jaka jest normalna stawka?)
5. Bezgłowy lub dziwny agent użytkownika (pasuje, jeśli używany jest serwer proxy).
6. Żądanie z przewidywalnymi (równymi) przedziałami czasu z tego samego adresu IP.
7. Niektóre pliki pomocy nigdy nie są wymagane, np. favicon.ico, różne pliki CSS i javascript (pasuje, jeśli używany jest serwer proxy).
8. Sekwencja żądań klienta. Dawny. dostęp do klienta nie jest bezpośrednio dostępny (pasuje, jeśli używany jest serwer proxy).

Czy dodać więcej do tej listy?

Jakie punkty można dopasować/dopasować, jeśli skrobak korzysta z proxy?

Answer 1

Chciałbym również dodać analizę tego, kiedy wnioski od tych samych osób są składane. Na przykład, jeśli ten sam adres IP żąda tych samych danych o tej samej porze każdego dnia, najprawdopodobniej proces jest wykonywany według automatycznego harmonogramu. Dlatego prawdopodobnie będzie skrobanie ...

Możliwa dodatkowa analiza liczby stron, na które wpłynęła każda sesja użytkownika. Na przykład, jeśli dany użytkownik danego dnia przeglądał każdą stronę w twojej witrynie i uważasz, że jest to niezwykłe, to być może jest to inny wskaźnik.

Wydaje się, że potrzebujesz wielu wskaźników i musisz je zdobyć i połączyć wynik, aby pokazać, kto najprawdopodobniej zgarnie.

Answer 2

Jako pierwsza uwaga; rozważ, czy warto go udostępnić dla botów na przyszłość. Jeśli jesteś zaindeksowany przez inną firmę/etc, jeśli to informacja, którą chcesz przekazać, tak czy inaczej Twoja witryna jest dla nich wartościowa. Utworzenie interfejsu API znacząco obniżyłoby obciążenie serwera i zapewni 100% jasność osobom, które Cię zaindeksują.

Po drugie, pochodzące z osobistych doświadczeń (przez pewien czas tworzyłem indeksowanie stron internetowych), generalnie można od razu stwierdzić, śledząc przeglądarkę, która przeglądała witrynę. Jeśli używają jednego z automatycznych lub jednego z języków programowania, będzie to wyjątkowo różniło się od przeciętnego użytkownika. Nie wspominając o śledzeniu pliku dziennika i aktualizowaniu pliku .htaccess z zakazem (jeśli tego właśnie szukasz).

Zwykle jest to inne, niż dość łatwe do wykrycia. Powtarzane, bardzo spójne otwieranie stron.

Sprawdź ten drugi wpis, aby uzyskać więcej informacji na temat sposobów radzenia sobie z nimi, a także zastanowić się, jak je zidentyfikować.

How to block bad unidentified bots crawling my website?