Jak dołączyć wybrane kolumny do pandasowej ramki danych z df z różnymi kolumnami

Question

Chcę móc dołączyć df1 df2, df3 do jednego df_All, ale ponieważ każda z ramek danych ma inną kolumnę. Jak mogę to zrobić w pętli for (mam inne rzeczy, które muszę zrobić w pętli for)?

import pandas as pd 
import numpy as np 

df1 = pd.DataFrame.from_items([('A', [1, 2, 3]), ('B', [4, 5, 6])]) 
df2 = pd.DataFrame.from_items([('B', [5, 6, 7]), ('A', [8, 9, 10])]) 
df3 = pd.DataFrame.from_items([('C', [5, 6, 7]), ('D', [8, 9, 10]), ('A',[1,2,3]), ('B',[4,5,7])]) 
list = ['df1','df2','df3'] 
df_All = pd.DataFrame() 
for i in list: 
    # doing something else as well --- 
    df_All = df_All.append(i) 

chcę mój df_All mieć tylko (A & b) jedynie, czy jest jakiś sposób, aby to w pętli powyżej? coś jak dodać tylko te dwie kolumny?

Answer 1

Jeśli dobrze rozumiem, co chcesz, to musisz wybrać tylko kolumnach „A” i „B” z df3 a następnie użyć pd.concat:

In [35]: 

df1 = pd.DataFrame.from_items([('A', [1, 2, 3]), ('B', [4, 5, 6])]) 
df2 = pd.DataFrame.from_items([('B', [5, 6, 7]), ('A', [8, 9, 10])]) 
df3 = pd.DataFrame.from_items([('C', [5, 6, 7]), ('D', [8, 9, 10]), ('A',[1,2,3]), ('B',[4,5,7])]) 
df_list = [df1,df2,df3[['A','B']]] 
pd.concat(df_list, ignore_index=True) 
Out[35]: 
    A B 
0 1 4 
1 2 5 
2 3 6 
3 8 5 
4 9 6 
5 10 7 
6 1 4 
7 2 5 
8 3 7 

pamiętać, że w oryginalnym kodzie jest biedny praktyka:

list = ['df1','df2','df3'] 

Ten cienie wbudowanego typu list Plus, nawet jeśli to było rzeczywiście poprawna nazwa var jak df_list utworzeniu listy ciągów, a nie listę DFS.

Jeśli chcesz określić wspólne kolumny następnie można określić to stosując metodę np.intersection na kolumnach:

In [39]: 

common_cols = df1.columns.intersection(df2.columns).intersection(df3.columns) 
common_cols 
Out[39]: 
Index(['A', 'B'], dtype='object') 

Answer 2

Można również użyć ustawiony zrozumienie dołączyć wszystkie typowe kolumny z dowolnej listy DataFrames:

df_list = [df1, df2, df3] 
common_cols = list(set.intersection(*(set(c) for c in df_list))) 
df_new = pd.concat([df[common_cols] for df in df_list], ignore_index=True) 
>>> df_new 
    A B 
0 1 4 
1 2 5 
2 3 6 
3 8 5 
4 9 6 
5 10 7 
6 1 4 
7 2 5 
8 3 7