SEO优化算法之:TF-IDF算法计算网页关键词权重

今天和大家分享一下网页的关键词权重算法:TF-IDF算法

我们知道,用户在百度上搜索时,会输入一个搜索词,百度会根据这个搜索词,去匹配相关的网页,我们以“漂亮MM的秘密想法” 为例,来说明这整个过程。

首先是分词

“漂亮MM的秘密想法” 这个搜索词可以分为: 漂亮MM 、的、秘密想法 。我这里只是举例,至于百度如何分词,它有它自己的一套算法,或是基于它自己的字典词库、或是基于大数据分析得到的词库。总之一句话,用户输入搜索词后,百度会按他的一套算法,把用户输入的搜索词进行分词。

同样的方法,百度还会对他收录的网页进行分词处理,分词的逻辑和上诉逻辑是一样的。那么如何计算搜索词和网页的相关性呢?

按照正常人的直觉:网页里包含上诉三个词越多的越相关。没错!就是这样,不过如果真的简单粗暴这么去认为的话,我们看至少存在这么两个漏洞:

1、网页内容多的要比网页内容少的占便宜啊,哪个讲的内容多的一定比内容少的相关呢?

2、即然包含关键词多就越相关,那么好,我网页里就全堆砌关键词(机器他就是单纯的可爱),这样网页就高相关了呀,但他一定是和用户想找的内容相关吗?

首先对于第一个问题,怎么解决呢? 词频(Term Frequency)! 简称TF。

TF = 网页词出现的次数/网页中总共包含的总字数。TF可称之为关键词频率,也可以称为关键词密度。也就是TF值越大,网页和关键词就越相关。

那么页面的相关性 = TF值(漂亮MM) + TF值(的)+TF(秘密想法)

大家看看以上的公式,是不是哪里不对呢,关键词“的”的重要性明显没有用呢,另外“漂亮MM”明显比秘密想法重要呢?

那么这个问题咋解决呢?权重!一个词预测主题能力越强,权重就越大,反之,权重就越小。

那么如何计算关键词的权重呢?

如果一个关键词只在很少的网页中出现,通过它就容易锁定搜索目标,它的权重也就应该大。反之如果一个词在大量网页中出现,我们看到它仍 然不很清楚要找什么内容,因此它应该小。

我们设总体网页的个数为 D,称出现关键词W的网页个数称之为DW。

那么得出一个公式: IDF = log(D/DW);

这个IDF,就可以认为是词的权重,大家可以简单的理解成,关键词在越多的网页中出现,它越普通,权重就越小,反之就越大。

比如的这个关键词:几科每个网页都出现,那么有

IDF值(的) = log(1) = 0 。 也即他的权重值为0.

那么页面相关性的最终算法:

那么页面的相关性 = TF值(漂亮MM)* IDF值(漂亮MM) + TF值(的)* IDF值(的)+TF(秘密想法)*IDF值(秘密想法)

好了IF-TDF的算法就是这些了,希望大家能够看得明白

那么我们如何用这个算法呢?

一个页面,主题一定要明确,关键词定位一定要精准,内容上要自然的让关键词多出现。

另外用户的搜索词千差万别,比如我们定位的关键词是自媒体 ,那么用户的搜索词可能是:每天晚上花3个小时经营自媒体平台值吗?

这个搜索词,分词成关键词可能是:每天晚上 3个小时 自媒体 ,你的内容套用公式,相关度除了自媒体这个关键词有贡献,别的词有贡献吗? 所以研究好用户的需求,考虑好你想引流的用户,一切都在细节里面!


小舟,为你用心

021-5996 5621

周一至周五 8:00-18:00