Jak mogę kontrolować PhantomJS, aby pominąć pobieranie jakiegoś zasobu?

Question

phantomjs ma config LoadImage,

ale chcę więcej,

jak mogę kontrolować phantomjs pominąć pobieranie jakiś zasób,

takich jak CSS etc ...

== ===

dobra wiadomość: ta funkcja została dodana.

https://code.google.com/p/phantomjs/issues/detail?id=230

Istota:

page.onResourceRequested = function(requestData, request) { 
    if ((/http:\/\/.+?\.css/gi).test(requestData['url']) || requestData['Content-Type'] == 'text/css') { 
     console.log('The url of the request is matching. Aborting: ' + requestData['url']); 
     request.abort(); 
    } 
}; 

Answer 1

Więc w końcu można spróbować to http://github.com/eugenehp/node-crawler

inaczej można jeszcze spróbować poniższego podejście PhantomJS

Prosty sposób, jest załaduj stronę -> przeanalizuj stronę -> wykryj niechciane zasoby -> załaduj do PhatomJS.

Innym sposobem jest po prostu zablokowanie hostów w zaporze.

Opcjonalnie można użyć serwera proxy do blokowania określonych adresów URL i zapytań.

I dodatkowy, załaduj stronę, a następnie usuń niechciane zasoby, ale myślę, że nie jest to właściwe podejście.

Answer 2

Nie ma mowy na razie (phantomjs 1.7), NIE obsługuje tego.

Ale paskudna rozwiązaniem jest użycie serwera proxy HTTP, dzięki czemu można odfiltrowania jakiś wniosek, że nie trzeba

Answer 3

Korzystając page.onResourceRequested, jak w przykładzie loadurlwithoutcss.js:

page.onResourceRequested = function(requestData, request) { 
    if ((/http:\/\/.+?\.css/gi).test(requestData['url']) || 
      requestData.headers['Content-Type'] == 'text/css') { 
     console.log('The url of the request is matching. Aborting: ' + requestData['url']); 
     request.abort(); 
    } 
}; 

Answer 4

aktualizowane, Praca !

Od wersji PhantomJS 1.9 istniejąca odpowiedź nie działa. Musisz użyć tego kodu:

var webPage = require('webpage'); 
var page = webPage.create(); 

page.onResourceRequested = function(requestData, networkRequest) { 
    var match = requestData.url.match(/wordfamily.js/g); 
    if (match != null) { 
    console.log('Request (#' + requestData.id + '): ' + JSON.stringify(requestData)); 
    networkRequest.cancel(); // or .abort() 
    } 
}; 

Jeśli używasz abort() zamiast anulować(), będzie to powodować onResourceError.

Można look at the PhantomJS docs