PAYATHON 2026

Python 如何按嵌套列表中的消息去重,再按 ngram count 排序?

数据阿明

可以用 set 记录已经出现过的消息,保留每条消息第一次出现时的完整记录,再用 sorted() 按 ngram count 排序。相同消息的分数相同,保留哪个 alphabet 都不会影响按分数排序的结果。

按消息去重,再按分数排序

output = [[10, 'HELLO', 'ABCD'], [10, 'HELLO', 'ABDC'], [18, 'HLELO', 'BCDA']]

seen_messages = set()
unique_output = []

for row in output:
    message = row[1]
    if message not in seen_messages:
        seen_messages.add(message)
        unique_output.append(row)

sorted_output = sorted(unique_output, key=lambda row: row[0])

print(sorted_output)

输出为:

[[10, 'HELLO', 'ABCD'], [18, 'HLELO', 'BCDA']]

row[1] 是用于判断重复的消息,row[0] 是排序依据。unique_output.append(row) 会保留整条记录,包括 alphabet 中未参与解密的字母。

set 可以直接判断消息是否出现过,不必先按消息排序。

排序后取前 200 条

如果分数越小越符合你的筛选标准,使用升序:

results = sorted(unique_output, key=lambda row: row[0])[:200]

如果分数越大越好,则使用降序:

results = sorted(
    unique_output,
    key=lambda row: row[0],
    reverse=True,
)[:200]

仅凭“ngram count”无法确定哪个方向代表更接近正常英语频率分布,需要根据实际评分方式选择。先去重再截取,避免重复消息占用前 200 条的名额。

去重规则与注意事项

这段代码保留每条消息第一次出现的记录。按照题目给出的条件,相同消息的 ngram count 相同,alphabet 的差异只涉及不影响当前解密结果的部分,因此保留第一次出现的记录即可。

去重依据是消息字符串的精确相等。大小写、空格或标点不同的消息会分别保留;如果这些差异也应忽略,需要先明确相应的归一化规则。

不要直接使用 set(output):内部记录是列表,不能作为 set 元素。即使先将记录转换成 tuple,也会比较整条记录,无法合并 alphabet 不同但消息相同的结果。

备注:内容仅供参考。