Dlaczego pandy konwertują unsigned int większe niż 2 ** 63-1 na obiekty?

Question

Kiedy konwertować numpy tablicę do pand ramka danych pandy zmienia uint64 rodzajów typów obiektów, jeżeli całkowita jest większa niż 2^63 - 1.

import pandas as pd 
import numpy as np 

x = np.array([('foo', 2 ** 63)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) 
y = np.array([('foo', 2 ** 63 - 1)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) 

print pd.DataFrame(x).dtypes.unsigned 
dtype('O') 
print pd.DataFrame(y).dtypes.unsigned 
dtype('uint64') 

Jest to uciążliwe, ponieważ nie może zapisać dane rama do pliku hDF formatu tabeli:

pd.DataFrame(x).to_hdf('x.hdf', 'key', format = 'table') 

wyjściami:

Błąd typu: nie może szeregować kolumnę [znaku] ponieważ zawartość nim dane są [całkowita] przedmiotem dtype

Czy ktoś może wyjaśnić konwersję typu?

Answer 1

To open bug, ale można zmusić go do uint64usingDataFrame.astype()

x = np.array([('foo', 2 ** 63)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) 

a = pd.DataFrame(x) 
a['unsigned'] = a['unsigned'].astype(np.uint64) 
>>>a.dtypes 
string  object 
unsigned uint64 
dtype: object 

Inne metody stosowane do konwersji typów danych dla wartości liczbowych podniesionymi błędy lub nie działa:

>>>pd.to_numeric(a['unsigned'], errors = coerce) 
OverflowError: Python int too large to convert to C long 

>>>a.convert_objects(convert_numeric = True).dtypes 
string  object 
unsigned object 
dtype: object 

Answer 2

x = np.array([('foo', 2 ** 63)], 
      dtype = np.dtype([('string', np.str_, 3), 
           ('unsigned', 'f4')])) 

y = np.array([('foo', 2 ** 63 - 1)], 
      dtype = np.dtype([('string', np.str_, 3), 
           ('unsigned', 'i8')]))