DolphinDB keyedStreamTable 两条 Python 写入路径为何未去重?
结论
给出的示例中,数据没有去重是因为两条路径使用的 unixTime 单位不同:批量路径使用毫秒,逐条路径使用秒。即使两列都是 LONG,1746000000000 和 1746000000 也不是同一个键值。
这只能解释示例中的现象。实际批量写入代码没有展示 DataFrame 中 unixTime 的生成过程,因此还不能断定实际问题一定是秒与毫秒混用造成的。如果数据库中的复合主键逐值相同,或者改用 date + time 后仍然重复,就需要继续排查。
为什么 LONG 相同仍然无法去重
LONG 是整数类型,本身不携带时间单位。下面两组键的 unixTime 数值不同:
(AAPL, 1746000000000) // epoch milliseconds
(AAPL, 1746000000) // epoch seconds
这两个整数按各自单位解释时可以代表同一时刻,但数据库不会根据位数自动换算,并将它们视为相同的复合主键。
逐条写入中的这行代码生成秒级整数:
int(bar.datetime.timestamp())
timestamp() 返回以秒为单位的数值,int() 会截去小数部分。如果另一条路径保存的是毫秒级整数,两边的值就不会相等。
数据来自 pandas,也不能说明 unixTime 一定是毫秒。实际单位取决于该列的生成和转换方式;示例中的毫秒数值是显式构造的。
先检查数据库实际收到的键值
直接从同一张目标表查询原始整数,避免只比较格式化后的日期或日志显示值:
select symbol, date, time, unixTime
from stock_candle_stream
where symbol = `AAPL
order by unixTime
再检查是否存在完全相同的复合主键:
select symbol, unixTime, count(*) as n
from stock_candle_stream
group by symbol, unixTime
having count(*) > 1
第一条查询可以帮助发现秒、毫秒等数值差异;第二条查询可以确认数据库中的键值是否完全相同,即使数据在业务上看起来属于同一根 K-line。
Python 侧也应在提交前打印两条路径的 symbol 原始表示和 unixTime 整数,例如使用 repr(symbol)。同时确认两条路径连接的是同一节点、写入的是同一个共享表对象,并检查 writer 的写入结果或错误信息。
统一两条路径的时间单位
可以约定 unixTime 一律保存 epoch milliseconds,让两条路径使用同一套转换逻辑。时区也需要统一,并确定 K-line 使用开始时间还是结束时间。
下面的函数要求输入带时区的 Python datetime,通过整数运算生成毫秒值:
from datetime import datetime, timezone
EPOCH = datetime(1970, 1, 1, tzinfo=timezone.utc)
def to_unix_ms(dt):
if dt.tzinfo is None or dt.utcoffset() is None:
raise ValueError("A timezone-aware datetime is required")
delta = dt.astimezone(timezone.utc) - EPOCH
return (
(delta.days * 86400 + delta.seconds) * 1000
+ delta.microseconds // 1000
)
逐条写入时,将最后一个参数改为统一生成的毫秒值:
unix_time_ms = to_unix_ms(bar.datetime)
self.writer.insert(
bar.symbol,
mapp.get(bar.exchange, ''),
day,
bar.datetime.date(),
_time,
round(bar.open_price, 2),
round(bar.high_price, 2),
round(bar.low_price, 2),
round(bar.close_price, 2),
int(bar.volume),
bar.amount,
unix_time_ms
)
批量路径也应使用对应的 bar 时间调用同一个函数,生成 DataFrame 的 unixTime 列。如果已经确认该列是毫秒整数,可以统一为 int64 后提交:
# unixTime must already contain epoch milliseconds.
data["unixTime"] = data["unixTime"].astype("int64")
self.session.run(
"tableInsert{objByName('" + stream_table + "')}",
data
)
astype("int64") 只调整数据类型,不会把秒转换成毫秒。确认源数据是整秒时间戳后,才可以乘以 1000 换算;已经截掉的亚秒信息无法通过乘法恢复。
用独立小表验证键值行为
可以先用只有三个字段的小表,隔离 Python 序列化、其他时间列及持久化配置的影响。以下代码用于验证思路,未在 DolphinDB 2.00.16.1 环境中实际运行:
t = keyedStreamTable(
`symbol`unixTime,
100:0,
`symbol`unixTime`close,
[SYMBOL, LONG, DOUBLE]
)
tableInsert(t, `AAPL, 1746000000000L, 101.5)
tableInsert(t, `AAPL, 1746000000L, 101.5)
select count(*) from t
// Expected: 2
tableInsert(t, `AAPL, 1746000000000L, 101.5)
select count(*) from t
// Expected: 2
在这个小规模、未发生缓存清理的测试中,前两次写入的键不同,预期保留两行;第三次写入重复的键,预期总行数不再增加。随后可以分别通过实际使用的批量路径和 writer 路径提交相同的整数,再检查结果。
原示例中需要注意的地方
原 DolphinDB 示例的 unixTime_test = 1746000060000L 已经出现在 batchData 中,即 1746000000000L + 60000。因此,后面再次插入两次后,查询得到一行,不能说明“第一次新增了一行、第二次被丢弃”。在预期去重行为下,两次追加都不应新增记录。若要验证首次插入,应换一个尚未使用的键,或使用独立空表。
原 Python 示例中,for i in range(n): 后面的 s.run(...) 缺少缩进,运行前需要修正。示例通过 s.run 执行脚本模拟两种单位,没有实际覆盖 DataFrame 上传和 self.writer.insert 的完整转换过程,因此不能据此确定两种 Python 写入接口存在差异。
示例中的 date、time 和 unixTime 分别构造,不能仅凭 date、time 相同就认定 unixTime 相同。
如果换成 date + time 后仍然出现完全相同的键,秒与毫秒混用就不足以解释该现象。应核对表是否按新的键定义重新创建、所有键列的实际值是否一致,并记录重复发生在连续写入期间,还是缓存清理、重建或恢复之后。后一种情况需要结合 DolphinDB 2.00.16.1 的具体去重范围和恢复行为进一步确认。
切换 enableTableShareAndCachePurge 与 enableTableShareAndPersistence 不会将不同单位的 LONG 自动转换为相同键;持久化配置也不能代替输入数据的单位规范。对于同一根 K-line 后续价格或成交量发生变化的场景,还应单独确认所需的更新语义,不能仅凭去重测试认定后写数据会覆盖已有记录。
备注:内容仅供参考。
