W jaki sposób mogę używać wget do pobierania plików ze skruty?

Question

scrapy nie pobiera poprawnie plików. Mam adresy URL moich produktów, więc pomyślałem, że mogę użyć wget do pobrania plików.

Jak korzystać z wget wewnątrz funkcji scrapy process_item? Czy istnieje inny sposób pobierania plików?

class MyImagesPipeline(ImagesPipeline): 
    #Name download version 
    def image_key(self, url): 
     image_guid = url.split('/')[-1] 
     return 'full/%s' % (image_guid) 

    def get_media_requests(self, item, info): 
     if item['image_urls']: 
      for image_url in item['image_urls']: 
      # wget -nH image_ul -P images/ 
      yield Request(image_url) 

Answer 1

Ten kod wykona wget, można zastąpić swój komentarz z poniższych linii

import subprocess 

    ... 

subprocess.call(['wget','-nH', image_url, '-P images/']) 

można przeczytać o subprocess.call tutaj: http://docs.python.org/2/library/subprocess.html