脚本如何过滤重复行

过滤重复行可以通过多种编程语言实现，以下我将使用Python语言来展示如何过滤一个文本文件中的重复行。我们将使用Python的内置模块`io`和`collections`中的`Counter`类来读取文件内容，并统计每行的出现次数，然后输出不重复的行。

```python

from collections import Counter

import io

def filter_duplicate_lines(file_path):

读取文件内容

with io.open(file_path, 'r', encoding='utf-8') as file:

lines = file.readlines()

使用Counter统计每行的出现次数

line_counts = Counter(lines)

过滤出只出现一次的行

unique_lines = [line for line in lines if line_counts[line] == 1]

输出过滤后的结果

with io.open(file_path, 'w', encoding='utf-8') as file:

file.writelines(unique_lines)

使用示例

filter_duplicate_lines('example.txt')

```

在上面的脚本中，`filter_duplicate_lines`函数接受一个文件路径作为参数。它会读取该文件的所有行，使用`Counter`来统计每行的出现次数，然后只保留出现一次的行，并将这些行写回原文件，从而过滤掉重复的行。

请确保替换`example.txt`为你要处理的实际文件路径。如果你想要处理一个字符串而不是文件，可以先将字符串写入到一个临时文件中，然后按照上述方式处理。