Jak zatrzymać indeksowanie stron serwisowych w wyszukiwarkach?

Question

Potrzebuję skonfigurować stronę konserwacji dla strony, na której pracuję, np. do wyświetlania, gdy wykonuję konserwację witryny (zaplanowany czas przestoju) lub jeśli coś naprawdę się zepsuło i muszę wstawić stronę wstrzymującą.

Czy jest coś szczególnego, co muszę zrobić, aby roboty indeksujące nie indeksowały tego i nie sądziły, że to moja witryna. Czy powinienem zrobić 404, dodać tymczasowy plik robots.txt czy coś takiego? Zasadniczo nie chcę, aby były one indeksowane jako moja witryna, ale nie chcę też, aby sądzili, że moja strona jest martwa i nie wróci.

Edit: Oto co zrobiłem w Apache:. ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule^serwera maintenance.html/serwer konserwacji Przekierowanie 503/serwer konserwacji mocny tekst

Answer 1

Należy wysłać 503 Service Unavailable kod stanu HTTP, a nie 404. Użyj tego w połączeniu z nagłówkiem , aby poinformować roboty, kiedy mają wrócić.

Answer 2

można używać robots.txt

http://www.robotstxt.org/

również Google ma walidator w swoich narzędzi webmasterów.

https://www.google.com/webmasters/tools/

Answer 3

Innym podejściem byłoby nie powiązanie strony konserwacji z jakiejkolwiek innej strony w witrynie (lub jakiejkolwiek innej stronie internetowej).

Answer 4

Powracanie 503 Service Unavailable mówi Google boty, aby wrócić później. Istnieje Google support page opisujący kody błędów HTTP i ich interpretację.

Możesz również użyć Retry-After response header, aby zaproponować minimalny czas, po którym Twoja witryna zostanie ponownie sprawdzona pod kątem dostępności.