Jeśli chcę zezwolić robotom indeksującym na dostęp do pliku index.php, czy to zadziała?Jak zezwolić robotom na dostęp tylko do pliku index.php za pomocą pliku robots.txt?
User-agent: *
Disallow:/
Allow: /index.php
Możesz użyć Google Robots tool do kasy. Nigdy nie umieszczałabym żadnych tajnych katalogów w pliku robotów, jak przypuszczam, że linia jak poniżej będzie jak miód dla niektórych pająków.
Disallow: /secret
Spróbuj zamiana kolejności Disallow/Allow:
User-agent: *
Allow: /index.php
Disallow:/
Zobacz to info z Wikipedii:
„Jednak, aby być kompatybilny z wszystkimi robotów, jeśli chcesz zezwolić na umieszczanie pojedynczych plików wewnątrz katalogu, który w innym wypadku jest zabroniony, musisz najpierw umieścić dyrektywę Allow , a następnie Disallow, na przykład:”
http://en.wikipedia.org/wiki/Robots.txt
Wciąż nie spodziewaj się, że działa zbyt konsekwentnie
Tak, to będzie działać. Oto wynik testu z Google Webmaster Tool.
Url
http://www.example.org/index.php
Googlebot
Allowed by line 3: Allow: /index.php
Googlebot-Mobile
Allowed by line 3: Allow: /index.php
Należy jednak pamiętać, że przy tej konfiguracji Twoja strona internetowa nie będą indeksowane, chyba że strona jest dostępna z pełną kwalifikowaną ścieżkę. Innymi słowy, http://www.example.org/ jest zabronione, natomiast http://www.example.org/index.php jest dozwolone.
Jeśli chcesz, aby Twoja strona główna była dostępna, oto lepsza wersja Twojego pliku.
User-agent: *
Disallow:/
Allow: /index.php
Allow: /$
Czy możesz wyjaśnić, dlaczego/$ działa, lub co robi? –
Wyjaśnienie '/ $' można znaleźć [tutaj] (http://stackoverflow.com/a/29475539/1973409) –
User-agent: *
Allow: /index.php
Disallow:/
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow:/
Sitemap: http://www.your-site-name.com/sitemap.xml
Czy mógłbyś wyjaśnić nieco swoją odpowiedź? – Qix
Jestem ciekaw, dlaczego chcesz to zrobić ... nie chcesz roboty do indeksu znacznie więcej od swojej stronie? –