文本去重

如何删除重复行和重复关键词

1. 1

   粘贴列表或拖入文件

   每行一个关键词或一项，粘贴到输入框里，或者放在最大5 MB的.txt、.csv或.md文件里。

2. 2

   设定什么算重复

   在“保留哪些”里选择“每组的第一个”、“每组的最后一个”、“只保留重复的行”或“只保留出现一次的行”。“更多设置”里还有“忽略大小写”和“忽略标点”。

3. 3

   核对行数并下载

   每一栏都显示自己的行数，右栏预览前400行，“下载TXT”保存完整的列表。

删除列表里的重复关键词

关键词列表一合并就容易出现重复：两份调研导出的数据、粘贴在这个月列表下面的上个月列表、从几个工具里拿到的同一个词组。每行放一个词组，页面会保留每个词组的第一份，删掉其余的，顺序不动。导出的CSV也按行比较：关键词相同、搜索量不同的两行，算两行不同内容，所以只粘贴关键词那一列。2026年10月20日，在Mac上的Chrome里，一份10,000个词组（241 KB）的测试列表约五分之一秒就清理完毕。

什么算同一行

默认情况下，去掉两端的空格、制表符和不间断空格之后，字符完全相同的两行就算同一行。“忽略大小写”让Running shoes和running shoes算作一行。“忽略标点”在比较前去掉所有标点和符号，所以[running shoes]、"running shoes"、+running +shoes和running shoes?都算同一行。“删除空行”也是默认打开的，它会删掉空白行和只有空格的行。这些设置都不会改变你下载的内容：留下的每一行都和原来一模一样。

它找不出的重复

有些行在人看来是一样的，按字符精确比较却不同。词的顺序可能不一样（buy running shoes和running shoes buy），词形可能不一样（shoe和shoes）。词与词之间可能有两个空格，或者同一个字母一个带重音符号、一个不带（café和cafe）。没有哪个设置能把这些合并，因为页面比较的是字符，而不是意思。我们做了一份10,000行、重复项已知的测试列表：所有设置都打开后，仍有300行带双空格的行和200行词序颠倒的行留了下来。空格和字母可以先在查找替换里处理：选择“正则表达式”，在“查找”里填[ ]{2,}，在“替换为”里填一个空格，再为每个这样的字母加一组替换，比如é和e。然后在结果下方选择“文本去重”；在测试列表上，这一步把7,500行减到了7,200行。词序和词形，两个页面都没有办法处理。

顺序不变

很多去重方法会先给列表排序，因为排序会把相同的行排到一起，但这样就丢掉了原来的顺序。这里只把列表读一遍，每一行都和已经读过的行比对，留下的行按输入时的顺序输出。选择“每组的最后一个”时，则保留每一行最后出现的那一份。后面的行是对前面的修正时，这一点很重要，比如日志，或者包含更新行的导出数据。如果还想给结果排序，结果下方提供的工具里就有文本排序。

重复的行、只出现一次的行和计数

有两种模式反过来用。“只保留重复的行”为出现两次或以上的每一行保留一份。这样能找出重复ID、重复预订，或者两个广告系列共用的关键词。“只保留出现一次的行”保留没有重复的行。把两份已经去重的列表上下放在一起，用这个模式就能得到只在其中一份里出现的内容。“在每行前标出次数”会先写出每行出现的次数，然后是一个制表符，再是这一行。之后在文本排序里选择“按数值”，在“按列排序（0 = 整行）”里填1，方向选“从大到小”，重复最多的行就排在最上面。

常见问题