W jaki sposób witryny takie jak Hubspot śledzą linki przychodzące?

Question

Czy wszystkie te typy witryn po prostu nielegalnie pobierają Google lub inną wyszukiwarkę?
O ile mogę powiedzieć, że nie ma "legalnego" sposobu na uzyskanie tych danych na stronie komercyjnej .. Yahoo! api (http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html) jest przeznaczony tylko do użytku niekomercyjnego, Yahoo! Szef nie zezwala na automatyczne zapytania itp.
Jakieś pomysły?

Answer 1

Na przykład, jeśli chcesz znaleźć wszystkie linki do strony głównej Google, wyszukiwać

link:http://www.google.com 

więc jeśli chcesz znaleźć wszystkie linków, można po prostu przechodzić drzewo witryny, a dla każdego element, który znajdzie, zbuduj URL. Następnie Google dla zapytania:

link:URL 

a dostaniesz zbiór wszystkich linków, które Google od innych stron na swojej stronie.

Co się tyczy legalności takich zbiorów, jestem pewien, że nie jest to dokładnie legalne, aby czerpać z tego zyski, ale nigdy wcześniej nikogo to nie powstrzymało, prawda?

(Więc nie przejmuj się zastanawiać, czy zrobili to, czy nie. Po prostu zakładamy robią.)

Answer 2

nie wiem co HubSpot zrobić, ale jeśli chcesz dowiedzieć się, jakie strony odwołują się do Twojej witryny, a nie masz sprzętu do zaindeksowania sieci, możesz monitorować HTTP_REFERER odwiedzających Twoją witrynę. Jest to na przykład sposób, w jaki Google Analytics (o ile wiem) może ci powiedzieć, skąd pochodzą Twoi goście. To nie jest w 100% niezawodne, ponieważ nie wszystkie przeglądarki go ustawiają, szczególnie w "Trybie prywatności", ale potrzebujesz tylko jednego użytkownika na link, aby wiedzieć, że istnieje!

Jest to możliwe dzięki osadzeniu skryptu w każdej ze stron internetowych (często we wspólnym nagłówku lub stopce). Na przykład, jeśli przeanalizujesz źródło strony, którą właśnie czytasz, znajdziesz (bezpośrednio na dole) skrypt, który zgłasza się do informacji Google o Twojej wizycie.

Teraz nie powie Ci, czy istnieją linki, których nikt nigdy nie użył, aby dostać się do Twojej witryny, ale spójrzmy prawdzie w oczy, są one o wiele mniej interesujące niż te, których ludzie używają.