PAYATHON 2026

pandas EDA 中如何管理多次筛选的 DataFrame,避免出错后全部重跑?

数据阿明

建议保留一份稳定的起始数据,用不同变量保存关键筛选阶段的结果,并把经常调整的筛选逻辑集中起来。改正筛选条件后,就可以从最近保留的阶段重新计算。

copy() 可以用来保存副本,但不会自动记录历史。如果不断执行 filtered_df = filtered_df.loc[...].copy(),旧的筛选结果仍会被覆盖。

为什么覆盖变量后难以恢复?

例如:

filtered_df = df.loc[condition_a]
filtered_df = filtered_df.loc[condition_b]

第二次赋值后,filtered_df 指向进一步筛选后的结果,第一次的结果不再由这个变量保留。如果没有用其他变量保存中间状态,就需要从 df 重新计算。

下面的赋值会让两个变量指向同一个 DataFrame,并不会创建副本:

backup_df = filtered_df

如果希望保存一份以后可以独立修改的副本,可以显式调用 copy():

backup_df = filtered_df.copy()

为关键阶段保留结果

下面是一个例子,age、score 和筛选阈值仅用于说明写法:

import pandas as pd

raw_df = pd.DataFrame({
    "age": [16, 22, 35, 41],
    "score": [80, 55, 90, 70],
})

# 保存第一个筛选阶段
adults_df = raw_df.loc[raw_df["age"] >= 18].copy()

# 从上一阶段生成最终结果
filtered_df = adults_df.loc[adults_df["score"] >= 60].copy()

如果分数条件要改为 >= 75,重新运行以下代码即可:

filtered_df = adults_df.loc[adults_df["score"] >= 75].copy()

如果年龄条件有误,就从 raw_df 重新生成 adults_df,再运行后续筛选。数据无需重新加载,与这些筛选无关的分析也无需重跑。

变量名最好能体现数据的含义,例如 adults_df、valid_rows_df。保留少量有意义的阶段,通常比不断增加 df1、df2 更容易维护。

把经常修改的筛选集中到函数中

筛选条件逐渐稳定后,可以把它们封装成函数,每次从相同的起点生成结果:

def filter_data(data, min_age=18, min_score=60):
    mask = (
        (data["age"] >= min_age)
        & (data["score"] >= min_score)
    )
    return data.loc[mask].copy()


filtered_df = filter_data(raw_df)

# 修改条件后重新计算
filtered_df = filter_data(raw_df, min_score=75)

每次调用都读取 raw_df,因此不会在上次筛选后的数据范围内继续筛选。放宽条件时,之前排除的记录也能重新参与计算。

在 Notebook 中如何安排?

可以把数据加载、基础清洗、筛选和分析分别放在不同的单元格中。修改筛选条件后,重新运行筛选单元格,以及依赖它的图表、统计或模型训练单元格。

保留下来的中间结果不会随上游代码自动更新。如果修改了基础清洗逻辑,仍需重新执行后续依赖步骤,避免新旧结果混用。

数据量较大时,保存多个副本会增加内存占用。优先保留加载或清洗成本较高的阶段,以及经常需要回头调整的阶段,不必为每次临时筛选都保存副本。示例中的 .copy() 是为了明确后续独立修改的意图,单纯查看结果时不必机械地添加。

备注:内容仅供参考。