它只删完全一模一样的行,保留第一次出现的位置,别的什么都不做。所以多一个空格、换一下大小写、全角半角不同,都会被当成两行原样留下。名单是手打的或者从聊天记录里粘来的,去重结果经常看着像没生效。
哪些情况它一定去不干净?
它比的是整行的原始字符,不做任何整理:不 trim、不分大小写、不做全角半角归一。我把页面里那行去重逻辑抄到本地实测了一组用例:apple、apple (尾部一个空格)、 apple(开头一个空格)三行全部保留;Apple、apple、全角的Apple也各自留一份。
这不是 bug,它只是没打算猜你的意思。页面的选项区是空的,没有「忽略大小写」,也没有「去掉首尾空格」的开关,想让它认出来,得先把文本洗一遍。
换行符不是标准的那种,会怎样?
分行只认 \n 和 \r\n。老 Mac 留下的纯 \r,以及 U+2028 这类行分隔符,它都不分。结果是整段被当成一行,去重等于没做,而且不报错,输出就是原样。
空行也算一行。连续几个空行会被压成一个空行,这是副作用,不算功能。反过来说,想把多余空行顺手清掉,这页倒挺合适。
什么情况下别用它?
| 你要的 | 这页会怎样 | 更该怎么做 |
|---|---|---|
| 表格里按某一列去重 | 整行一样才删,同一客户的不同订单全留下 | 先把那一列单独拆出来再去重 |
| 忽略大小写、忽略多余空格 | 认不出,全部保留 | 先统一大小写、清掉首尾空白 |
| 知道到底删了多少行 | 结果区没有任何计数 | 用能统计重复次数的工具 |
| 把「张 三」和「张三」算重复 | 两个都留 | 先自己规整写法,它不懂语义 |
硬参数:单次上限 2,000,000 字符,超了提示 Text limit: 2 MB;导入文件只收 12 种纯文本扩展名(.txt、.json、.csv、.tsv、.xml、.html、.css、.js、.sql、.md、.yaml、.yml),.xlsx 和 .docx 打不开;全程在浏览器里跑,不上传,免费也不用登录;结果可以复制,也能存成 dedupe.txt。
只想把手打名单、日志或粘贴来的文本快速清一遍,用这个文本去重页面就够了。但要拿到干净结果,统一空格和大小写这一步得你自己先做,它替不了你。
功能与参数以 toolpug.com 该工具页面 2026 年 11 月的版本为准。
