Jak mogę sprawdzić wykorzystanie pamięci obiektów w iPythonie?

Question

Używam iPython do uruchomienia mojego kodu. Zastanawiam się, czy istnieje moduł lub polecenie, które pozwoliłoby mi sprawdzić wykorzystanie pamięci obiektu. Na przykład:

In [1]: a = range(10000) 
In [2]: %memusage a 
Out[2]: 1MB 

Coś takiego jak %memusage <object> i zwróć pamięć używaną przez obiekt.

zduplikowane

Find out how much memory is being used by an object in Python

Answer 1

Niestety nie jest to możliwe, ale istnieje wiele sposobów zbliżenia odpowiedź:

1. dla bardzo prostych obiektów (np. Ints, string, floats, doubles), które są reprezentowane mniej więcej jako proste typy języka C, można po prostu obliczyć liczbę bajtów tak jak w przypadku John Mulder's solution.

2. Dla bardziej złożonych obiektów dobrym przybliżeniem jest serializacja obiektu do ciągu znaków przy użyciu cPickle.dumps. Długość łańcucha jest dobrym przybliżeniem ilości pamięci wymaganej do przechowywania obiektu.

Istnieje jeden duży szkopuł z rozwiązaniem 2, który polega na tym, że obiekty zwykle zawierają odniesienia do innych obiektów. Na przykład dyktaf zawiera klucze łańcuchowe i inne obiekty jako wartości. Te inne obiekty mogą być udostępniane. Ponieważ pickle zawsze próbuje wykonać pełną serializację obiektu, zawsze przeinwestuje ilość pamięci wymaganej do przechowywania obiektu.

Answer 2

UPDATE: Oto another, może być bardziej dokładny przepis szacowania rozmiaru obiektu pytona.

Oto thread adresowania podobne pytanie

Proponowane rozwiązanie jest napisanie własnego ... korzystania z niektórych szacunków znanej wielkości prymitywów, obiekt napowietrznych Pythona, oraz wielkość wbudowanych typów kontenerów.

Ponieważ kod nie jest tak długo, tutaj jest bezpośrednią kopią go:

def sizeof(obj): 
    """APPROXIMATE memory taken by some Python objects in 
    the current 32-bit CPython implementation. 

    Excludes the space used by items in containers; does not 
    take into account overhead of memory allocation from the 
    operating system, or over-allocation by lists and dicts. 
    """ 
    T = type(obj) 
    if T is int: 
     kind = "fixed" 
     container = False 
     size = 4 
    elif T is list or T is tuple: 
     kind = "variable" 
     container = True 
     size = 4*len(obj) 
    elif T is dict: 
     kind = "variable" 
     container = True 
     size = 144 
     if len(obj) > 8: 
      size += 12*(len(obj)-8) 
    elif T is str: 
     kind = "variable" 
     container = False 
     size = len(obj) + 1 
    else: 
     raise TypeError("don't know about this kind of object") 
    if kind == "fixed": 
     overhead = 8 
    else: # "variable" 
     overhead = 12 
    if container: 
     garbage_collector = 8 
    else: 
     garbage_collector = 0 
    malloc = 8 # in most cases 
    size = size + overhead + garbage_collector + malloc 
    # Round to nearest multiple of 8 bytes 
    x = size % 8 
    if x != 0: 
     size += 8-x 
     size = (size + 8) 
    return size 

Answer 3

Jeśli używasz numpy array, można użyć atrybutu ndarray.nbytes ocenić jego wielkość pamięci:

from pylab import * 
d = array([2,3,4,5]) 
d.nbytes 
#Output: 32 

Answer 4

do całkowitej wielkości mieszkańców (w MB):

from sys import getsizeof 
sum([getsizeof(k) for k in locals().keys()])/10**6