Odwrócić losowy wybór kluczy w numpy tablicy

Question

Mam ogromny np.array nazwie arr z wartości N i wybrać 10% tych wartości losowo przez:

choice=random.sample(range(N), int(N*percent)) # percent has values 0-1 
newarr=arr[choice] 

N może być ponad 2 mln wartości.

Właściwie potrzebuję również tablicy z pozostałymi 90% wartości. W tej chwili używam następującego, który jest bardzo powolny:

def buildRevChoice(choice, nevents): 
     revChoice=[] 
     for i in range(N): 
      if not i in choice: 
       revChoice.append(i) 
     return revChoice 

Czy możesz wymyślić metodę, aby to wzmocnić?

Answer 1

Możesz po prostu random.shuffle listę, a następnie podzielić go, jak chcesz.

def choice(N, percent): 
    tmp = range(N) 
    random.shuffle(tmp) 
    cut = int(N * percent) 
    return tmp[:cut], tmp[cut:] 

a dostaniesz swoje dwie listy, pierwszy zawierający wybrańców i drugi zawierający resztę.

Answer 2

Jeśli masz problem z obciążeniem pamięci w macierzy masowej, wydaje się, że jest to szybsze niż wybieranie innych wartości przez indeks i zachowuje kolejność elementów w are. Oto co mam z synchronizacją z ipython Notebook:

N = 2000000 
arr = random.random(N) 
percent = 0.10 

Moje rozwiązanie:

%% timeit 
choice = random.choice(N, N*percent) 
mask = zeros_like(arr, bool) 
mask[choice] = True 
newarr = arr[mask] 
revchoice = arr[~mask] 

10 pętle, najlepiej z 3: 18.1 ms na pętli

0605002 za rozwiązanie:

tmp = range(N) 
random.shuffle(tmp) 
cut = int(N * percent) 
newarr, revchoice = tmp[:cut], tmp[cut:] 

1 pętle, najlepiej 3: 603 ms na pętlę