词频统计
看清一段文本真正倚重哪些词、出现多少次、占全文多少比例。支持单个词、两词和三词短语,常用词会被过滤掉。
把文件拖到这里
.txt, .md, .csv · 最大5 MB
如何统计词频
- 1
粘贴或拖入文本
不超过5 MB的.txt、.md或.csv文件,也可以直接在输入框里输入。
- 2
选择统计对象
单个词、两词或三词短语,可设置最少出现次数,并开关常用词过滤。
- 3
查看表格或导出
按出现频率排序,并显示每个词条占全文的比例。可下载为CSV。
同一个词的两种写法,仍然是一个词
从Mac复制的文本常常是分解形式:俄语的й变成и加一个单独的短音符,é变成e加一个重音符。在屏幕上它们和合成形式一模一样;但作为字典的键,它们是不同的字符串,于是同一个词悄悄拆成两行,各占一半次数。这里在统计前把所有文本规范化为同一种形式,所以总数能对得上。出于同样的原因,默认忽略大小写:对读者来说,Word和word是同一个词,把它们分开,表格顶部就没有意义了。
为什么过滤常用词,什么时候不该过滤
任何英文文本里,排在前十的词都是the、of、and、to、a这一类。这样的表格没错,却什么也说明不了。把它们过滤掉,其余的词才显现出来。所以默认会使用页面语言的停用词表;内置十种语言的词表,想看原始分布时也可以关掉过滤。过滤有意不用于两词和三词短语:如果在短语里去掉常用词,end of the day就成了end day,而这个短语在文本里根本不存在。在短语中,噪音改由最少出现次数来去除。
两词和三词短语能找出单个词藏住的东西
单个词的次数告诉你主题是什么。两词和三词短语告诉你写作习惯:套路化的开头、反复出现的修饰语、每隔一段就出现而作者没察觉的短语。发布前用它检查自己的文章,或者想知道竞争对手的页面实际针对什么做了优化时,都值得用这个视图。短语按连续的词统计,规范化方式与单个词相同,所以同一个短语在两处大小写不同,仍然只算一个。
次数相同时按字母排序,是有意为之
通常会有几十个词条次数相同,它们的输出顺序取决于首次出现的顺序,这意味着同一段文本统计两次,可能得到两个不同的表格。这里次数相同的词条使用你的语言的排序规则按字母排序,所以表格可以复现:同样的文本、同样的设置,总是得到同样的行和同样的顺序,这样两次导出的结果才能对比。
什么都不会离开你的浏览器
文本在你已经打开的页面里读取、统计并生成表格。不上传,不经过服务器,无需账号,不做存储;停用词表是随页面一起提供的小JSON文件。断开网络照样能用,关闭标签页就能把文本清除。
常见问题
什么是停用词?
一种语言里常见的功能词(英语的the、of、and;俄语的и、в、не),它们在任何词频表里都占据前列,却说明不了文本的内容。内置十种语言的词表,默认按页面语言启用,也可以关闭。
为什么两词和三词短语里还有常用词?
因为去掉它们会凭空造出文本里没有的短语:end of the day会被算成end day。对于短语,改由最少出现次数来过滤。
支持中文和日语吗?
支持。词语由浏览器的文本分词器识别,而不是按空格切分。对于词与词之间不加空格的语言,这是得到合理结果的唯一办法。
能导出表格吗?
能,导出为三列的CSV:词条、次数和占全文的百分比。可以直接用Excel、Numbers或Google Sheets打开。
为什么同一个词出现了两次?
通常不会:统计前已忽略大小写并规范化Unicode形式。如果仍然出现,说明两个写法之间差了一个看不见的字符,比如软连字符或零宽空格。
最多能处理多大的文本?
最大5 MB或一百万个字符。更长的文本只统计到这个上限,而不会让标签页卡死;更大的文件请先拆分。
会上传什么吗?
不会。所有统计都在你的浏览器中完成,文本不会发送到任何地方。