Удалить дубликаты строк и ключевых слов

Как удалить дубли строк и ключевых слов

1. 1

   Вставьте список или перетащите файл

   По одному ключевому слову или элементу на строку: вставьте список в поле или перетащите файл .txt, .csv или .md до 5 МБ.

2. 2

   Выберите, что считать дублем

   Оставьте «Первую из одинаковых», «Последнюю из одинаковых», «Только строки, которые повторяются» или «Только строки, которые встречаются один раз». В разделе «Ещё настройки» есть «Игнорировать регистр» и «Игнорировать знаки препинания».

3. 3

   Проверьте счетчик и скачайте

   У каждой колонки свой счетчик строк, в правой виден предпросмотр первых 400 строк результата, а кнопка «Скачать TXT» сохраняет весь список.

Удаление дублей ключевых слов из списка

Списки ключевых слов обрастают дублями, когда их сводят вместе: две выгрузки из сервисов подбора слов, список за прошлый месяц, вставленный под нынешний, одна и та же фраза из нескольких инструментов. Поставьте по одной фразе на строку — от каждой останется первая копия, остальные удалятся, а порядок не изменится. Выгрузка CSV тоже сравнивается построчно. Две строки с одним ключевым словом, но разной частотностью — это разные строки, поэтому вставляйте только столбец с ключевыми словами. 20 октября 2026 года тестовый список из 10 000 фраз (241 КБ) очистился примерно за пятую долю секунды в Chrome на Mac.

Что считается одной и той же строкой

По умолчанию две строки совпадают, если совпадают их символы без учета пробелов, табуляций и неразрывных пробелов по краям. Параметр «Игнорировать регистр» сводит «Беговые кроссовки» и «беговые кроссовки» в одну строку. «Игнорировать знаки препинания» перед сравнением убирает все знаки препинания и символы, поэтому [беговые кроссовки], "беговые кроссовки", +беговые +кроссовки и беговые кроссовки? считаются одной строкой. «Убирать пустые строки», тоже включенное по умолчанию, удаляет пустые строки и строки из одних пробелов. На скачиваемый файл все это не влияет: каждая оставшаяся строка записывается ровно такой, какой была.

Неявные дубли, которые не удаляются

Некоторые строки для человека одинаковы, а при точном сравнении — разные. Слова могут стоять в другом порядке («купить беговые кроссовки» и «беговые кроссовки купить») или в другой форме («кроссовка» и «кроссовки»). Между словами может оказаться два пробела, а на месте одной и той же буквы — то «ё», то «е» («ёлка» и «елка»). Такие строки не сводит ни одна настройка: сравниваются символы, а не смысл. Мы собрали тестовый список из 10 000 строк с известными повторами: со всеми включенными настройками в нем остались 300 строк с двойным пробелом и 200 с переставленными словами. Пробелы и буквы можно сначала исправить в «Найти и заменить». Выберите «Регулярное выражение», впишите [ ]{2,} в поле «Найти» и один пробел в поле «Заменить на», а для каждой буквы добавьте пару вроде «ё» и «е». Затем выберите «Удалить дубликаты» под результатом: на тестовом списке это сократило 7 500 строк до 7 200. Порядок слов и словоформы не исправляются ни на одной из этих двух страниц.

Порядок не меняется

Многие способы удалить дубликаты сначала сортируют список: после сортировки одинаковые строки оказываются рядом. Но исходный порядок при этом теряется. Здесь список читается один раз, и каждая строка сверяется с теми, что уже встречались. Оставшиеся строки выходят в том же порядке, в каком были на входе. Вариант «Последнюю из одинаковых» вместо этого оставляет самую позднюю копию каждой строки. Это важно, когда поздние строки исправляют ранние, как в логе или в выгрузке с обновленными строками. Если результат нужно еще и отсортировать, среди инструментов под результатом есть «Сортировка строк».

Повторы, строки без пары и счетчик

Два режима работают наоборот. «Только строки, которые повторяются» оставляет по одной копии каждой строки, которая встречается два раза и больше. Так видны повторяющиеся ID, двойные бронирования или ключевые слова, общие для двух кампаний. «Только строки, которые встречаются один раз» оставляет строки без пары. Если поставить два списка без дублей один под другим, останется то, что есть только в одном из них. «Писать счетчик перед строкой» выводит, сколько раз встретилась строка, затем табуляцию, затем саму строку. Если потом в «Сортировка строк» выбрать «Как числа» по столбцу 1 и порядок «От большего к меньшему», самые частые строки окажутся наверху.

Частые вопросы