其实就是一个词在一篇文章中出现的频率在开平方,频率越高,说明这个词在这篇文章中的权重越高
idf(word) = 1+log(numDocs/(docFreq +1)) numdocs是所有文档的数量,docFreq 是包含有word的文档的数量。可以看出当docFreq越大,则IDF越小,例如像the这样的词,几乎每篇文章里都有,所以这样的词权重就很低
可以想象,如果文档的长度越小,那么某个词在这个文档中的权重就越高。Field-length norm 的计算方法 norm(d) = 1/sqrt(numTerms) 在全文索引中Filed-length norm是很重要的,而其他类型的检索可能不需要field-length norm。对于每个string field norms大约消耗一个字节的存储容量,所以当我们不需要全文索引,仅仅是查找关键词的时候,不要norms功能可以节省不少的存储空间。
上述的三个因素—词频(TF),逆向文件频率(IDF)和filed-length norm, 实在在索引时间计算和保存的。这些被用来计算一个单词在某个特定文档中的权重。
当然我们在索引文件的时候并不是单单用一个单词,当我们用多个词来搜索某个文件的时候怎么办呢? 这时候我使用向量空间模型。一个向量中的每一个数字是一个单词在这个文档中的权重(用TF/IDF计算的)。 首先先计算查询字符串的对于每个词的权重向量,然后再计算文档的向量。然后再用余弦定理计算两个文档向量的距离d,d越接近于1说明访问字符串和这个文档的相关度越高。