TEXT LAB / LIVE重复行统计加载中
重复行统计 - 文本工具 · 萤炬工具箱 · 工具说明与使用指南
重复行统计 - 文本工具 · 萤炬工具箱
重复行统计逐行扫描文本,找出出现两次以上的行并列出各自的出现次数,而不是简单去重。可以选择先 trim 掉行首尾空白再比较,也可以忽略大小写,避免同一条内容因为空格或大小写差异被判成不同行。常用于排查导入数据里的重复记录、统计日志中反复出现的报错、检查名单有没有重名。按整行完全匹配比较,不做模糊匹配或分词。
重复行统计逐行扫描文本,找出出现两次以上的行并列出各自的出现次数,而不是简单去重。可以选择先 trim 掉行首尾空白再比较,也可以忽略大小写,避免同一条内容因为空格或大小写差异被判成不同行。常用于排查导入数据里的重复记录、统计日志中反复出现的报错、检查名单有没有重名。
使用步骤
- 粘贴多行文本。
- 按需勾选去首尾空白、忽略大小写。
- 执行统计,查看重复行及各自出现次数。
- 复制统计结果。
功能与限制
- 按整行完全匹配比较,不做模糊匹配或分词。
- 纯前端处理,文本不上传;超大文本受浏览器内存限制。
常见问题
- 和「行去重」有什么区别?
- 去重是输出一份没有重复的清单,这里是输出「哪些行重复了、各重复几次」的诊断报告。想直接得到干净清单请用行排序 / 去重工具。
- 为什么看起来一样的两行没被判为重复?
- 多数是不可见字符差异:行尾多了空格、用了全角空格、或者混入了不同的换行符。勾上去首尾空白能解决大部分情况,仍有问题就用 Unicode 码位工具查具体字符。
- 只出现一次的行会显示吗?
- 不会。输出只保留出现次数大于一的行,这样重复问题一眼可见,不会被大量唯一行淹没。