免费工具 在线文本去重与文本清理
从表格、PDF、聊天记录或后台导出的文字，常常带着重复行、空行、多余空格和断开的换行。勾选要做的操作，一次全部清理干净：去重复行、去空行、合并空格、去段内换行、全角转半角、排序、给每行加前后缀，结果可复制或下载。
- 多个操作可叠加
- 边改边出结果
- 本地处理
勾选要做的清理
粘贴文字，勾选的操作按固定顺序依次执行（顺序见下方「处理顺序」）。点上方按钮换一组示例。
一行一条处理起来更方便：关键词、网址、名单、编号都可以。文字不会上传。
例如「、」「 | 」；\n 是换行，\t 是 Tab。
加在每个非空行前面，{n} 换成行号。
加在每个非空行后面，同样支持 {n}。
原来的行数
10
清理后的行数
5
去掉的重复行
4
去掉的空行
1
网站统计
网站统计工具
网站流量统计
小程序数据分析
在线客服系统版本 v1.0更新于 更新记录
几个数字分别说明什么
清理结果在代码框里，可以直接复制或下载成 .txt。上面几个数字帮你确认清理有没有按预期进行。
原来的行数 / 清理后的行数
粘贴进来的文字有多少行，清理后还剩多少行。合成一行时清理后是 1 行；去段内换行时每个段落一行，段落之间留一个空行。
去掉的重复行
只统计「去重复行」删掉的行数。示例里「网站统计」出现 2 次、「网站统计工具」2 次、「在线客服系统」2 次，各删 1 行；「小程序数据分析」第二次出现时行尾带空格，先去首尾空格后才和第一次相同，也被去掉，共 4 行。
去掉的空行
「去空行」删掉的空行和只有空格的行。
结果没变化
勾选的操作都没改到文字时会提示。比如文字里本来就没有重复行，或者只勾了「全角转半角」而文字里没有全角字符。
去重比较的是整行。想按「包含某个词」删行、或把某个词换成另一个，用批量查找替换（支持正则）。
三步清理一份清单
大多数清理需求是几个操作的组合：先去空格，再去空行，再去重，最后排序或拼成一行。
-
1
粘贴文字
从 Excel 一列、后台导出、PDF 或聊天记录里复制过来。
-
2
勾选操作
不用管先后：工具按固定顺序执行，例如总是先去首尾空格再去重，避免「看起来一样的行没被去掉」。
-
3
复制或下载
结果在下方代码框里，复制回表格或下载成 .txt。
勾选的操作按这个顺序依次执行
顺序固定，所以同样的勾选永远得到同样的结果。
- 去重时空行不参与比较（不勾「去空行」时，段落之间的空行会保留下来）
- 排序按语言习惯：中文页按拼音（使用浏览器内置的排序规则），英文页按字母；自然排序把数字当成数值比较
- 前缀和后缀只加在有内容的行上，
{n}是加前后缀时的行号（从 1 开始，跳过空行） - 「去段内换行」：中文和中文之间直接接上，英文之间补一个空格，行尾是连字符的英文单词会接回去
| 顺序 | 操作 | 说明 |
|---|---|---|
| 1 | 去不可见字符 | 零宽字符、BOM、软连字符删除；不换行空格等换成普通空格 |
| 2 | 全角转半角 | 全角字母、数字、标点和全角空格 |
| 3 | 去 HTML 标签 | 删除标签和注释，保留文字 |
| 4 | 去行首行尾空格 | 每一行单独处理 |
| 5 | 合并连续空格 | 连续空格、Tab 合成一个空格 |
| 6 | 去空行 | 空行、只有空格的行 |
| 7 | 去重复行 | 保留第一次出现的行 |
| 8 | 排序 | 升序 / 降序 / 自然 / 长度 / 倒序 |
| 9 | 加前后缀 | 只加在非空行上 |
| 10 | 换行处理 | 保留 / 去段内换行 / 合成一行 |
一份重复的关键词清单
本页默认示例：从搜索后台导出的 10 行关键词，勾选「去重复行」「去空行」「去行首行尾空格」。
| 步骤 | 处理后 | 剩余行数 |
|---|---|---|
| 原文 | 10 行，含 1 个空行、2 行首尾带空格 | 10 |
| 去行首行尾空格 | 「 网站流量统计」「小程序数据分析 」去掉空格 | 10 |
| 去空行 | 删掉 1 个空行 | 9 |
| 去重复行 | 删掉第二次出现的「网站统计」「网站统计工具」「在线客服系统」「小程序数据分析」 | 5 |
最终剩下 5 行：网站统计、网站统计工具、网站流量统计、小程序数据分析、在线客服系统，顺序和第一次出现时一致。如果不勾「去行首行尾空格」，最后一行带空格的「小程序数据分析」不会被当成重复。
去重没去干净？多半是这几种
两行看起来一样却没被去掉，通常是有看不见的差别。
行尾有空格或 Tab
从表格复制的数据常带行尾空格。同时勾「去行首行尾空格」，或在去重选项里勾「忽略大小写和首尾空格」。
藏着不可见字符
网页、Word、微信里复制的文字可能带零宽空格或不换行空格，肉眼看不出来。勾「去不可见字符」。
全角和半角混着
「ABC」和「ＡＢＣ」、英文逗号和中文逗号是不同的字符。需要时勾「全角转半角」。
想按列去重
这里比较的是整行。从表格里只复制要去重的那一列进来，或者先用批量替换把不需要的部分删掉。
清理过的清单，拿去做什么
关键词、网址、来源名单清理好以后，往往要拿去对照统计数据。
怎么在线去除重复的行？
把文字粘贴进来，勾选「去重复行」，结果里每行只保留第一次出现的那一次，顺序不变。建议同时勾「去行首行尾空格」和「去空行」，避免带空格的行和空行干扰。Excel 里的一列也可以直接复制进来去重再粘回；想在 Excel 里直接做，用「数据 → 删除重复项」（WPS 是「数据 → 重复项 → 删除重复项」）。
文本去重区分大小写吗？
默认区分，「TapCub」和「tapcub」算两行。勾选「去重时忽略大小写和首尾空格」后算同一行，保留第一次出现的写法。
怎么去掉文字里的换行？
「换行处理」里有几种：「去段内换行，保留段落」适合从 PDF、邮件复制出来每行都断开的文字；「去掉所有换行」直接把各行接起来；「合成一行」用空格、英文逗号或自定义的分隔符（如顿号「、」）隔开，适合把一列数据变成一行。在 Word 里去回车符和换行符，可以用「查找和替换」：查找 ^p（段落标记）或 ^l（手动换行符），替换为空。
中文排序是按什么排的？
中文页的升序按拼音排序（浏览器内置的中文排序规则），英文按字母顺序；「自然排序」会把数字当成数值比较，item2 排在 item10 前面。
怎么给每行加上编号或引号？
在「每行前缀」里写 {n}. 就是加编号；前缀和后缀都写英文单引号、换行处理选「合成一行，用英文逗号隔开」，就能把一列编号变成 SQL 里 IN (…) 能用的格式（见「编号排序加引号」示例）。
数据太多会卡吗？
几万行的清单在浏览器里也能很快处理完。结果在下方代码框里，可以直接下载成 .txt 文件。
粘贴的文字会上传吗？
不会。所有处理在你的浏览器里完成，不进网址、不发给 TapCub。