pandas EDA 中如何管理多次筛选的 DataFrame,避免出错后全部重跑?
建议保留一份稳定的起始数据,用不同变量保存关键筛选阶段的结果,并把经常调整的筛选逻辑集中起来。改正筛选条件后,就可以从最近保留的阶段重新计算。
copy() 可以用来保存副本,但不会自动记录历史。如果不断执行 filtered_df = filtered_df.loc[...].copy(),旧的筛选结果仍会被覆盖。
为什么覆盖变量后难以恢复?
例如:
filtered_df = df.loc[condition_a]
filtered_df = filtered_df.loc[condition_b]
第二次赋值后,filtered_df 指向进一步筛选后的结果,第一次的结果不再由这个变量保留。如果没有用其他变量保存中间状态,就需要从 df 重新计算。
下面的赋值会让两个变量指向同一个 DataFrame,并不会创建副本:
backup_df = filtered_df
如果希望保存一份以后可以独立修改的副本,可以显式调用 copy():
backup_df = filtered_df.copy()
为关键阶段保留结果
下面是一个例子,age、score 和筛选阈值仅用于说明写法:
import pandas as pd
raw_df = pd.DataFrame({
"age": [16, 22, 35, 41],
"score": [80, 55, 90, 70],
})
# 保存第一个筛选阶段
adults_df = raw_df.loc[raw_df["age"] >= 18].copy()
# 从上一阶段生成最终结果
filtered_df = adults_df.loc[adults_df["score"] >= 60].copy()
如果分数条件要改为 >= 75,重新运行以下代码即可:
filtered_df = adults_df.loc[adults_df["score"] >= 75].copy()
如果年龄条件有误,就从 raw_df 重新生成 adults_df,再运行后续筛选。数据无需重新加载,与这些筛选无关的分析也无需重跑。
变量名最好能体现数据的含义,例如 adults_df、valid_rows_df。保留少量有意义的阶段,通常比不断增加 df1、df2 更容易维护。
把经常修改的筛选集中到函数中
筛选条件逐渐稳定后,可以把它们封装成函数,每次从相同的起点生成结果:
def filter_data(data, min_age=18, min_score=60):
mask = (
(data["age"] >= min_age)
& (data["score"] >= min_score)
)
return data.loc[mask].copy()
filtered_df = filter_data(raw_df)
# 修改条件后重新计算
filtered_df = filter_data(raw_df, min_score=75)
每次调用都读取 raw_df,因此不会在上次筛选后的数据范围内继续筛选。放宽条件时,之前排除的记录也能重新参与计算。
在 Notebook 中如何安排?
可以把数据加载、基础清洗、筛选和分析分别放在不同的单元格中。修改筛选条件后,重新运行筛选单元格,以及依赖它的图表、统计或模型训练单元格。
保留下来的中间结果不会随上游代码自动更新。如果修改了基础清洗逻辑,仍需重新执行后续依赖步骤,避免新旧结果混用。
数据量较大时,保存多个副本会增加内存占用。优先保留加载或清洗成本较高的阶段,以及经常需要回头调整的阶段,不必为每次临时筛选都保存副本。示例中的 .copy() 是为了明确后续独立修改的意图,单纯查看结果时不必机械地添加。
备注:内容仅供参考。
