Jaki jest najmądrzejszy sposób obsługi pliku robots.txt w Expressie?

Question

Obecnie pracuję nad aplikacją zbudowaną za pomocą Express (Node.js) i chcę wiedzieć, jaki jest najmądrzejszy sposób obsługi różnych plików robots.txt w różnych środowiskach (programowanie, produkcja).

To co mam teraz, ale nie jestem przekonany przez rozwiązanie, myślę, że jest brudna:

app.get '/robots.txt', (req, res) -> 
    res.set 'Content-Type', 'text/plain' 
    if app.settings.env == 'production' 
    res.send 'User-agent: *\nDisallow: /signin\nDisallow: /signup\nDisallow: /signout\nSitemap: /sitemap.xml' 
    else 
    res.send 'User-agent: *\nDisallow: /' 

(Uwaga: to coffeescript)

Nie powinno być lepiej droga. Jak byś to zrobił?

Dziękuję.

Answer 1

Użyj funkcji middleware. W ten sposób będą obsługiwane robots.txt przed każdą sesją, cookieParser, etc:

app.use(function (req, res, next) { 
    if ('/robots.txt' == req.url) { 
     res.type('text/plain') 
     res.send("User-agent: *\nDisallow: /"); 
    } else { 
     next(); 
    } 
}); 

Z express 4 app.get dostaje teraz obsługiwane w kolejności okazuje się, dzięki czemu można używać tylko, że:

app.get('/robots.txt', function (req, res) { 
    res.type('text/plain'); 
    res.send("User-agent: *\nDisallow: /"); 
}); 

Answer 2

Wygląda jak w porządku.

Alternatywą, jeśli chcesz móc edytować robots.txt jako zwykły plik, i ewentualnie mieć inne pliki, których potrzebujesz tylko w trybie produkcyjnym lub programistycznym, byłoby użycie 2 oddzielnych katalogów i aktywacja jednego lub drugiego uruchomienie.

if (app.settings.env === 'production') { 
    app.use(express['static'](__dirname + '/production')); 
} else { 
    app.use(express['static'](__dirname + '/development')); 
} 

Następnie dodajesz 2 katalogi z każdą wersją pliku robots.txt.

PROJECT DIR 
    development 
     robots.txt <-- dev version 
    production 
     robots.txt <-- more permissive prod version 

Możesz dodawać kolejne pliki do dowolnego katalogu i zachować prostszy kod.

(przepraszam, to jest javascript, nie coffeescript)

Answer 3

za wybranie pliku robots.txt w zależności od środowiska w sposób middleware:

var env = process.env.NODE_ENV || 'development'; 

if (env === 'development' || env === 'qa') { 
    app.use(function (req, res, next) { 
    if ('/robots.txt' === req.url) { 
     res.type('text/plain'); 
     res.send('User-agent: *\nDisallow: /'); 
    } else { 
     next(); 
    } 
    }); 
} 

Answer 4

1. Tworzenie robots.txt o następującej treści:

   User-agent: * 
   Disallow: 
   

2. dodać go do public/ katalogu.

swój robots.txt będą dostępne dla robota na http://yoursite.com/robots.txt