Посчитать частоту слов в тексте

Как посчитать частоту слов

1. 1

   Вставьте или перетащите текст

   Файл .txt, .md или .csv до 5 МБ, либо введите текст прямо в поле.

2. 2

   Выберите, что считать

   Отдельные слова, пары или триплеты, с минимальным числом вхождений и фильтром по стоп-словам.

3. 3

   Изучите таблицу или экспортируйте ее

   Сортировка по частоте, с долей текста для каждого термина. Скачайте как CSV.

Одно и то же слово, написанное по-разному, считается одним словом

Текст, скопированный с Mac, часто приходит в разложенном виде: русская й превращается в и плюс отдельная краткая, а é — в e плюс отдельный акцент. На экране это то же самое, что и составные символы, а в виде ключей словаря это уже две разные строки. Поэтому одно и то же слово незаметно расползается по двум строкам с половинным счетчиком в каждой. Здесь все символы нормализуются к одному виду еще до подсчета, поэтому суммы сходятся. Регистр по умолчанию тоже игнорируется по той же причине: Word и word — одно и то же слово для читателя, а разделять их в таблице бессмысленно.

Зачем фильтруются стоп-слова и когда их не трогать

В любом английском тексте первые строки таблицы займут the, of, and, to, a и их родственники. Такая таблица формально верна и ничего не говорит о тексте. Фильтр по стоп-словам нужен, чтобы стало видно все остальное. Поэтому по умолчанию включен список стоп-слов для языка страницы, доступны списки для десяти языков и есть переключатель, если нужно сырое распределение. Для пар и триплетов фильтр специально не применяется: если выбросить из них стоп-слова, то end of the day превратится в end day — фразу, которой в тексте нет. Во фразах шум убирает порог минимального числа вхождений.

Пары и триплеты находят то, что прячут отдельные слова

Частоты отдельных слов показывают тему текста. Частоты двух- и трехсловных фраз показывают привычки: стандартные заходы, повторяющийся эпитет, оборот, который попадается в каждом втором абзаце, а автор этого уже не замечает. Такой режим полезно включать для собственного текста перед публикацией и для страницы конкурента, если нужно понять, под какие запросы она оптимизирована. Фразы считаются по последовательным словам с той же нормализацией, что и отдельные слова, поэтому фраза, один раз написанная с заглавной буквы, а другой — со строчной, все равно идет одной строкой.

Одинаковые частоты специально сортируются по алфавиту

Обычно у десятков терминов одинаковый счетчик, и их порядок зависит от того, в каком месте текста они встретились впервые. В результате один и тот же текст может дать два разных варианта таблицы. Здесь термины с одинаковой частотой упорядочиваются по алфавиту с помощью коллатора для вашего языка. Поэтому таблица воспроизводима: один и тот же текст с теми же настройками всегда дает одинаковые строки в одном и том же порядке, и экспортированные файлы можно сравнивать напрямую.

Частые вопросы