Python 如何按嵌套列表中的消息去重,再按 ngram count 排序?
数据阿明
可以用 set 记录已经出现过的消息,保留每条消息第一次出现时的完整记录,再用 sorted() 按 ngram count 排序。相同消息的分数相同,保留哪个 alphabet 都不会影响按分数排序的结果。
按消息去重,再按分数排序
output = [[10, 'HELLO', 'ABCD'], [10, 'HELLO', 'ABDC'], [18, 'HLELO', 'BCDA']]
seen_messages = set()
unique_output = []
for row in output:
message = row[1]
if message not in seen_messages:
seen_messages.add(message)
unique_output.append(row)
sorted_output = sorted(unique_output, key=lambda row: row[0])
print(sorted_output)
输出为:
[[10, 'HELLO', 'ABCD'], [18, 'HLELO', 'BCDA']]
row[1] 是用于判断重复的消息,row[0] 是排序依据。unique_output.append(row) 会保留整条记录,包括 alphabet 中未参与解密的字母。
set 可以直接判断消息是否出现过,不必先按消息排序。
排序后取前 200 条
如果分数越小越符合你的筛选标准,使用升序:
results = sorted(unique_output, key=lambda row: row[0])[:200]
如果分数越大越好,则使用降序:
results = sorted(
unique_output,
key=lambda row: row[0],
reverse=True,
)[:200]
仅凭“ngram count”无法确定哪个方向代表更接近正常英语频率分布,需要根据实际评分方式选择。先去重再截取,避免重复消息占用前 200 条的名额。
去重规则与注意事项
这段代码保留每条消息第一次出现的记录。按照题目给出的条件,相同消息的 ngram count 相同,alphabet 的差异只涉及不影响当前解密结果的部分,因此保留第一次出现的记录即可。
去重依据是消息字符串的精确相等。大小写、空格或标点不同的消息会分别保留;如果这些差异也应忽略,需要先明确相应的归一化规则。
不要直接使用 set(output):内部记录是列表,不能作为 set 元素。即使先将记录转换成 tuple,也会比较整条记录,无法合并 alphabet 不同但消息相同的结果。
备注:内容仅供参考。
