整理重复名单：先清空格，再去重，最后编号

先定义什么叫“重复”

下面例子有 5 行，其中一行为空。第一行的 apple 两侧有空格，第三行是 apple，第五行是 Banana。原始行数不等于有效项目数，大小写是否等价取决于使用场景。

整理标签时可以忽略大小写；整理区分大小写的标识符或路径时，忽略大小写可能合并不同内容。工具只能实施你选择的规则，不能替你判断两条记录是不是同一个人。

 apple 
banana
apple

Banana

在流水线里观察每一步的行数

打开文本清理流水线载入示例。开启去首尾空格后仍然是 5 行；过滤空行后是 4 行；区分大小写去重后为 3 行；改为忽略大小写后为 2 行。保留首次出现的原文，因此结果是 apple、banana。

行数变化是核对规则的线索，而不是质量评分。若一份真实名单一下少了一半，应回头检查比较规则，不要因为输出整齐就直接覆盖原件。

为什么要在清理之后排序与编号？

如果先添加编号，原本相同的两行会因为序号不同而不再相等。如果排序规则改变了，先前添加的序号也不能反映最终次序。因此本工具固定按清空格、去空行、去重、排序、编号的顺序运行。

排序选择文本或数值时要区分数据类型。字符串 10、2、1 的字典顺序与数值顺序不同；手机号、邮编这样的编号即便只包含数字，也未必应该参与数值运算。

交付前做三次核对

原文始终留在左侧，结果在右侧。复制与下载不会修改输入。页面刷新不会恢复内容，所以请在关闭前保存必要文件。

1. 看每一步计数，确认没有意外合并或丢弃。
2. 抽查大小写、首尾空格和含特殊字符的条目。
3. 把输出用于正式系统前，按业务规则确认身份与唯一性；不要把按行去重当作数据库去重。