Pandy: Zastosowanie Lambdy do wielu ramek danych

Question

Próbuję dowiedzieć się, jak zastosować funkcję lambda do wielu ramek danych jednocześnie, bez wcześniejszego scalania ramek danych razem. Pracuję z dużymi zbiorami danych (> 60MM rekordów) i muszę zachować szczególną ostrożność przy zarządzaniu pamięcią.

Mam nadzieję, że istnieje sposób zastosowania lambda tylko do podstawowych ramek danych, aby uniknąć kosztu łączenia ich najpierw, a następnie upuścić tę pośrednią ramkę danych z pamięci, zanim przejdę do następnego kroku. proces.

Mam doświadczenie unikania problemów z pamięcią przy użyciu opartych na HDF5 ramek danych, ale wolę najpierw spróbować czegoś innego.

Podałem problem z zabawkami, aby pokazać, o czym mówię.

import numpy as np 
import pandas as pd 

# Here's an arbitrary function to use with lambda 
def someFunction(input1, input2, input3, input4): 
    theSum = input1 + input2 
    theAverage = (input1 + input2 + input3 + input4)/4 
    theProduct = input2 * input3 * input4 
    return pd.Series({'Sum' : theSum, 'Average' : theAverage, 'Product' : theProduct}) 

# Cook up some dummy dataframes 
df1 = pd.DataFrame(np.random.randn(6,2),columns=list('AB')) 
df2 = pd.DataFrame(np.random.randn(6,1),columns=list('C')) 
df3 = pd.DataFrame(np.random.randn(6,1),columns=list('D')) 

# Currently, I merge the dataframes together and then apply the lambda function 
dfConsolodated = pd.concat([df1, df2, df3], axis=1) 

# This works just fine, but merging the dataframes seems like an extra step 
dfResults = dfConsolodated.apply(lambda x: someFunction(x['A'], x['B'], x['C'], x['D']), axis = 1) 

# I want to avoid the concat completely in order to be more efficient with memory. I am hoping for something like this: 
# I am COMPLETELY making this syntax up for conceptual purposes, my apologies. 
dfResultsWithoutConcat = [df1, df2, df3].apply(lambda x: someFunction(df1['A'], df1['B'], df2['C'], df3['D']), axis = 1) 

Answer 1

Jedną z opcji byłoby jawnie tworzyć pożądane agregacji:

theSum = df1.A + df1.B 
theAverage = (df1.A + df1.B + df2.C + df3.D)/4. 
theProduct = df1.B * df2.C * df3.D 
theResult = pd.concat([theSum, theAverage, theProduct]) 
theResult.columns = ['Sum', 'Average', 'Product'] 

Inną możliwością jest użycie query, ale to naprawdę zależy od przypadku użycia i jak zamierzają gromadzić dane. Oto przykład na dokumenty, które mogą być dla Ciebie odpowiednie.

map(lambda frame: frame.query(expr), [df, df2]) 

Answer 2

Wiem, że to pytanie jest trochę stare, ale oto sposób, w jaki wymyśliłem. To nie jest miłe, ale działa.

Podstawową ideą jest zapytanie o drugą ramkę danych wewnątrz zastosowanej funkcji. Używając nazwy przekazanej serii, możesz zidentyfikować kolumnę/indeks i użyć go do pobrania potrzebnej wartości z innych ramek danych.

def func(x, other): 
    other_value = other.loc[x.name] 
    return your_actual_method(x, other_value) 

result = df1.apply(lambda x: func(x, df2))