urllib.request: jakikolwiek sposób na odczytanie z niego bez modyfikowania obiektu żądania?

Question

Biorąc pod uwagę standard urllib.request obiekt, pobierane tak:

req = urllib.urlopen('http://example.com') 

Jeśli czytam jego zawartości poprzez req.read(), potem obiekt żądania będzie pusta.

Jednak w przeciwieństwie do zwykłych obiektów podobnych do plików, obiekt żądania nie ma metody seek, ponieważ jestem pewien, że są to doskonałe powody.

Jednak w moim przypadku mam funkcję i chcę, aby to ona ustaliła pewne żądania, a następnie zwróciła tę prośbę "bez szwanku", aby można ją było ponownie przeczytać.

Rozumiem, że jedną z opcji jest jej ponowne przesłanie. Ale chciałbym móc uniknąć tworzenia wielu żądań HTTP dla tego samego adresu url &.

Jedyną alternatywą, o której mogę pomyśleć, to przywrócenie funkcji zwracanej krotki wyodrębnionej treści i obiektu żądania, przy założeniu, że wszystko, co wywołuje tę funkcję, będzie wymagało pobrania treści w ten sposób.

Czy to moja jedyna opcja?

Answer 1

Delegat buforowanie do StringIO obiektu (kod nie testowane, tak aby dać pomysł):

import urllib 
from io import StringIO 


class CachedRequest(object): 
    def __init__(self, url): 
     self._request = urllib.urlopen(url) 
     self._content = None 

    def __getattr__(self, attr): 
     # if attr is not defined in CachedRequest, then get it from 
     # the request object. 
     return getattr(self._request, attr) 

    def read(self): 
     if self._content is None: 
      content = self._request.read() 
      self._content = StringIO() 
      self._content.write(content) 
      self._content.seek(0) 
      return content 
     else: 
      return self._content.read() 

    def seek(self, i): 
     self._content.seek(i) 

Jeśli kod faktycznie spodziewa prawdziwy Request obiektu (tj wzywa isinstance aby sprawdzić typ), a następnie podklasa Request i nie musisz nawet implementować __getattr__.

Należy zauważyć, że jest możliwe, że funkcja sprawdza dokładnie klasę (iw tym przypadku nie można nic zrobić) lub, jeśli jest napisana w języku C, wywołuje metodę za pomocą wywołań C/API (w takim przypadku nadpisywana metoda nie będzie wywoływana).

Answer 2

Utwórz podklasę o nazwie urllib2.Request, która korzysta z cStringIO.StringIO do przechowywania wszystkiego, co zostanie odczytane. Następnie możesz wdrożyć seek i tak dalej. Właściwie możesz po prostu użyć łańcucha, ale to będzie więcej pracy.