Czy mogę zapobiec indeksowaniu przez indeksowanie całego katalogu w mojej witrynie?

Question

Mam witrynę testową, której używam do tworzenia nowych funkcji, zmian i treści do mojej rzeczywistej witryny.

Nie chcę tego, aby uzyskać indeksowane, ale mam nadzieję na rozwiązanie trochę łatwiej niż konieczności dodawania poniżej do każdej strony na mojej stronie:

<meta name="robots" content="noindex, nofollow"> 

można zrobić to w sposób podobny do tego, jak dodałem hasło do domeny przy użyciu pliku .htaccess?

Answer 1

Do tego przeznaczone jest robots.txt standard. Przykład

User-agent: * 
Disallow: /protected-directory/ 

Wyszukiwarki będą słuchać tego, ale oczywiście zawartość będzie jeszcze opublikowane (i prawdopodobnie łatwiej wykrywalne jeśli umieścić adres URL w pliku robots.txt), więc ochrona hasłem poprzez .htaccess jest opcją , także.

Answer 2

Co chcesz to robots.txt file

Plik powinien znajdować się w katalogu głównym serwera i treść powinny być coś podobnego;

User-agent: * 
Disallow: /mybetasite/ 

To będzie grzecznie poprosić usługi indeksowania wyszukiwania, aby nie indeksować stron w tym katalogu, co wszystkie dobrze zachowane wyszukiwarki będą szanować.

Answer 3

Utwórz plik o nazwie Robots.txt w katalogu public_html.

Umieść następujący kod w nim:

User-agent: * 
    Disallow: /foldername/ 

nazwa_folderu jest nazwą katalogu, który chcesz zablokować

Answer 4

Put następujący kod w robot.txt który powinien znajdować się w katalogu głównym odmówić swoją całej karty witryna z indeksowania.

User-agent: * 
Disallow:/

Answer 5

Blok konkretnego pliku dla SEO: Aby określić dopasowanie końca adresu URL, użyj $. Na przykład, aby blokować adresy URL, które kończą się XLS:

User-agent: * Disallow: /*.xls$

Ref http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic

Answer 6

Rzeczywiście robots.txt na stronie głównej jest do zrobienia. Aby dodać wiele wpisów (jak sugeruje OP), wykonaj następujące czynności:

User-agent: * 
Disallow: /test_directory_aaa/ 
Disallow: /test_directory_bbb/ 
Disallow: /test_directory_ccc/ 

---

Albo wziąć trasę .htpasswd:

w .htaccess dodać:

AuthType Basic 
AuthName "Marty's test directory" 
AuthUserFile /test_directory_aaa/.htpasswd 
AuthUserFile /test_directory_bbb/.htpasswd 
AuthUserFile /test_directory_ccc/.htpasswd 
require valid-user 

In.htpasswd, dodaj:

username1:s0M3md5H4sh1 
username2:s0M3md5H4sh2 
username3:s0M3md5H4sh3