PAYATHON 2026

DolphinDB keyedStreamTable 两条 Python 写入路径为何未去重?

数据阿明

结论

给出的示例中,数据没有去重是因为两条路径使用的 unixTime 单位不同:批量路径使用毫秒,逐条路径使用秒。即使两列都是 LONG,1746000000000 和 1746000000 也不是同一个键值。

这只能解释示例中的现象。实际批量写入代码没有展示 DataFrame 中 unixTime 的生成过程,因此还不能断定实际问题一定是秒与毫秒混用造成的。如果数据库中的复合主键逐值相同,或者改用 date + time 后仍然重复,就需要继续排查。

为什么 LONG 相同仍然无法去重

LONG 是整数类型,本身不携带时间单位。下面两组键的 unixTime 数值不同:

(AAPL, 1746000000000)  // epoch milliseconds
(AAPL, 1746000000)     // epoch seconds

这两个整数按各自单位解释时可以代表同一时刻,但数据库不会根据位数自动换算,并将它们视为相同的复合主键。

逐条写入中的这行代码生成秒级整数:

int(bar.datetime.timestamp())

timestamp() 返回以秒为单位的数值,int() 会截去小数部分。如果另一条路径保存的是毫秒级整数,两边的值就不会相等。

数据来自 pandas,也不能说明 unixTime 一定是毫秒。实际单位取决于该列的生成和转换方式;示例中的毫秒数值是显式构造的。

先检查数据库实际收到的键值

直接从同一张目标表查询原始整数,避免只比较格式化后的日期或日志显示值:

select symbol, date, time, unixTime
from stock_candle_stream
where symbol = `AAPL
order by unixTime

再检查是否存在完全相同的复合主键:

select symbol, unixTime, count(*) as n
from stock_candle_stream
group by symbol, unixTime
having count(*) > 1

第一条查询可以帮助发现秒、毫秒等数值差异;第二条查询可以确认数据库中的键值是否完全相同,即使数据在业务上看起来属于同一根 K-line。

Python 侧也应在提交前打印两条路径的 symbol 原始表示和 unixTime 整数,例如使用 repr(symbol)。同时确认两条路径连接的是同一节点、写入的是同一个共享表对象,并检查 writer 的写入结果或错误信息。

统一两条路径的时间单位

可以约定 unixTime 一律保存 epoch milliseconds,让两条路径使用同一套转换逻辑。时区也需要统一,并确定 K-line 使用开始时间还是结束时间。

下面的函数要求输入带时区的 Python datetime,通过整数运算生成毫秒值:

from datetime import datetime, timezone

EPOCH = datetime(1970, 1, 1, tzinfo=timezone.utc)

def to_unix_ms(dt):
    if dt.tzinfo is None or dt.utcoffset() is None:
        raise ValueError("A timezone-aware datetime is required")

    delta = dt.astimezone(timezone.utc) - EPOCH
    return (
        (delta.days * 86400 + delta.seconds) * 1000
        + delta.microseconds // 1000
    )

逐条写入时,将最后一个参数改为统一生成的毫秒值:

unix_time_ms = to_unix_ms(bar.datetime)

self.writer.insert(
    bar.symbol,
    mapp.get(bar.exchange, ''),
    day,
    bar.datetime.date(),
    _time,
    round(bar.open_price, 2),
    round(bar.high_price, 2),
    round(bar.low_price, 2),
    round(bar.close_price, 2),
    int(bar.volume),
    bar.amount,
    unix_time_ms
)

批量路径也应使用对应的 bar 时间调用同一个函数,生成 DataFrame 的 unixTime 列。如果已经确认该列是毫秒整数,可以统一为 int64 后提交:

# unixTime must already contain epoch milliseconds.
data["unixTime"] = data["unixTime"].astype("int64")

self.session.run(
    "tableInsert{objByName('" + stream_table + "')}",
    data
)

astype("int64") 只调整数据类型,不会把秒转换成毫秒。确认源数据是整秒时间戳后,才可以乘以 1000 换算;已经截掉的亚秒信息无法通过乘法恢复。

用独立小表验证键值行为

可以先用只有三个字段的小表,隔离 Python 序列化、其他时间列及持久化配置的影响。以下代码用于验证思路,未在 DolphinDB 2.00.16.1 环境中实际运行:

t = keyedStreamTable(
    `symbol`unixTime,
    100:0,
    `symbol`unixTime`close,
    [SYMBOL, LONG, DOUBLE]
)

tableInsert(t, `AAPL, 1746000000000L, 101.5)
tableInsert(t, `AAPL, 1746000000L, 101.5)
select count(*) from t
// Expected: 2

tableInsert(t, `AAPL, 1746000000000L, 101.5)
select count(*) from t
// Expected: 2

在这个小规模、未发生缓存清理的测试中,前两次写入的键不同,预期保留两行;第三次写入重复的键,预期总行数不再增加。随后可以分别通过实际使用的批量路径和 writer 路径提交相同的整数,再检查结果。

原示例中需要注意的地方

原 DolphinDB 示例的 unixTime_test = 1746000060000L 已经出现在 batchData 中,即 1746000000000L + 60000。因此,后面再次插入两次后,查询得到一行,不能说明“第一次新增了一行、第二次被丢弃”。在预期去重行为下,两次追加都不应新增记录。若要验证首次插入,应换一个尚未使用的键,或使用独立空表。

原 Python 示例中,for i in range(n): 后面的 s.run(...) 缺少缩进,运行前需要修正。示例通过 s.run 执行脚本模拟两种单位,没有实际覆盖 DataFrame 上传和 self.writer.insert 的完整转换过程,因此不能据此确定两种 Python 写入接口存在差异。

示例中的 date、time 和 unixTime 分别构造,不能仅凭 date、time 相同就认定 unixTime 相同。

如果换成 date + time 后仍然出现完全相同的键,秒与毫秒混用就不足以解释该现象。应核对表是否按新的键定义重新创建、所有键列的实际值是否一致,并记录重复发生在连续写入期间,还是缓存清理、重建或恢复之后。后一种情况需要结合 DolphinDB 2.00.16.1 的具体去重范围和恢复行为进一步确认。

切换 enableTableShareAndCachePurge 与 enableTableShareAndPersistence 不会将不同单位的 LONG 自动转换为相同键;持久化配置也不能代替输入数据的单位规范。对于同一根 K-line 后续价格或成交量发生变化的场景,还应单独确认所需的更新语义,不能仅凭去重测试认定后写数据会覆盖已有记录。

备注:内容仅供参考。