Robots.txt: czy ta reguła jest ważna?

Question

Proste pytanie. Chcę dodać:

Disallow */*details-print/ 

Zasadniczo reguły blokowania w formie /foo/bar/dynamic-details-print --- foo i bar w tym przykładzie może być również całkowicie dynamiczna.

myślałem, że to będzie proste, ale wtedy na www.robotstxt.org nie jest to wiadomość:

Należy również zauważyć, że masek i wyrażenie regularne nie są obsługiwane w obu User-agent lub zezwalaj na linie. "*" W polu User-agent jest specjalną wartością oznaczającą "dowolny robot". W szczególności nie możesz mieć linii takich jak "User-agent: bot", "Disallow:/tmp/*" lub "Disallow: * .gif".

Więc nie możemy tego zrobić? Czy wyszukiwarki go przestrzegają? Ale wtedy, nie Quora.com's robots.txt file:

Disallow: /ajax/ 
Disallow: /*/log 
Disallow: /*/rss 
Disallow: /*_POST 

Więc kto ma rację - Albo ja niezrozumienia tekstu na robotstxt.org?

Dzięki!

Answer 1

Odpowiedź brzmi: "to zależy". Standardowy plik robots.txt zdefiniowany na stronie robotstxt.org to minimum, które powinny obsługiwać roboty. Googlebot, MSNbot i Yahoo Slurp obsługują niektóre typowe rozszerzenia i naprawdę nie wiadomo, co obsługują inne roboty. Niektórzy mówią, co popierają, a inni nie.

Ogólnie rzecz biorąc, można oczekiwać, że największe roboty wyszukiwarek obsługują znaki wieloznaczne, które napisałeś, a ten, który masz, wygląda na to, że zadziała. Najlepszym rozwiązaniem byłoby przeprowadzenie go przez co najmniej jeden z walidatorów robots.txt w wersji these lub skorzystanie z usługi Google Webmaster tools, aby to sprawdzić.