W jaki sposób wyszukiwarki indeksują fora?

Question

Jeśli mam witrynę forum z dużą liczbą wątków, czy bot wyszukiwarki przeszukuje całą witrynę za każdym razem? Czy w mojej witrynie mam ponad 1 000 000 wątków, czy będą one indeksowane za każdym razem, gdy bot zaindeksuje moją witrynę? lub jak to działa? Chcę, aby moja witryna była zindeksowana, ale nie chcę, żeby bot zabił moją stronę! Innymi słowy, nie chcę, aby bot ciągle indeksował stare wątki za każdym razem, gdy indeksuje moją witrynę.

Co dalej z indeksowanymi stronami? Czy bot zażąda ich za każdym razem, gdy zaindeksuje moją witrynę, aby upewnić się, że nadal znajdują się w witrynie? Pytam o to, ponieważ łączę się tylko z najnowszymi wątkami, tj. Istnieje strona zawierająca listę wszystkich najnowszych wątków, ale nie łączę się ze starszymi wątkami, muszą one być jawnie wymagane przez URL, np. http: // przyklad.com/showthread.aspx?threadid=7, czy to działa, aby powstrzymać bota przed opuszczeniem mojej witryny i pochłonięciem całej mojej przepustowości?

P.S. Strona jest wciąż w fazie rozwoju, ale chcę ją poznać, aby zaprojektować witrynę, aby boty wyszukiwarek jej nie usuwały.

Answer 1

Skomplikowane rzeczy.

Z mojego doświadczenia wynika, że ​​bardziej zależy to od schematu URL, za pomocą którego łączone są strony, które określają, czy robot indeksuje strony.

• Większość indeksowania silnik cała strona, jeśli to wszystko prawidłowo linkiem z indeksowania przyjaznych adresów URL przykład korzystaj z przepisywania adresów URL zamiast topic_test = 123 querystrings, a wszystkie strony można łatwo połączyć kilka kliknięć od strony głównej.

• Innym przypadkiem jest stronicowanie, jeśli masz stronicowanie, bot przeszukuje tylko pierwszą stronę i zatrzymuje się, gdy stwierdzi, że link do następnej strony uderza w ten sam dokument, np. jeden index.php dla całej witryny.

• Nie chcesz, aby bot przypadkowo uderzył w stronę wykonującą określone czynności, np. link "Usuń temat", który prowadzi do "delete.php? topicID = 123", więc większość robotów sprawdzi również te przypadki.

• The Tools page at SEOmoz zapewniają również wiele informacji i wgląd w sposób działania niektórych robotów i informacje, które będą pobierać i żuć itp. Można ich użyć do określenia stron w głębi forum, np. roczny post może zostać zaindeksowany lub nie.

• Niektóre roboty umożliwiają dostosowanie sposobu indeksowania ... podobnie jak Google Sitemaps. Możesz powiedzieć im, aby robili indeksowanie i nie indeksują stron i kolejności itp. Pamiętam, że takie usługi są dostępne również w MSN i Yahoo, ale nigdy nie wypróbowałem ich samodzielnie.

• Można przechwytywać robota indeksującego, aby nie przytłoczyć witryny, podając plik robots.txt w katalogu głównym witryny.

Zasadniczo, jeśli projekt forum tak, że adresy URL nie wygląda na wrogie roboty, to będzie wesoło indeksuje całą witrynę.

Answer 2

Aby zbudować na podstawie tego, co powiedział chakrit, niektóre wyszukiwarki (w szczególności Google) będą indeksować tylko strony, które mają tylko jeden lub dwa parametry.Po tym strona jest generalnie ignorowana prawdopodobnie dlatego, że jest postrzegana jako zbyt dynamiczna i dlatego niewiarygodny URL.

Najlepiej tworzyć przyjazne dla SEO adresy URL, które są pozbawione parametrów, ale zamiast tego ukrywają implementację za czymś takim jak mod_rewrite w Apache lub routes w Railsach. (np. http://domain.com/forum/post/123 mapy do http://domain.com/forum/post.php?id=123).

Chakrit wspomina także o Google Sitemaps. Są one użyteczne w zapewnieniu Google skanowania każdego wpisu i trwałego utrzymywania go w indeksie. Jeff Atwood omawia to na stronie Stackoverflow podcast24, w której wyjaśnia, że ​​Google nie przechowywało wszystkich postów Stackoverflow, dopóki nie umieści ich w mapie witryny.

Answer 3

Roboty indeksujące nie przeszukują całej witryny od razu, ale niektóre strony przy każdej wizycie. Częstotliwość indeksowania i liczba stron indeksowanych za każdym razem znacznie się różnią w zależności od witryny.

Każda strona indeksowana przez Google jest od czasu do czasu indeksowana, aby upewnić się, że nie ma żadnych zmian.

Korzystanie z mapy witryny jest zdecydowanie pomocne, aby upewnić się, że wyszukiwarki indeksują jak najwięcej stron.