AI产品经理必修——揭开算法的面纱(TF-IDF)

自从个人入门AI产品经理以来,在网络上搜索了大量的学xí资料,却始终知其云不知其所以云,算fǎ就一定是晦涩难懂的吗?

我们都知道,人工智能产品由数据、算力、算fǎ三部分组成。作为一名传统行业的产品经理,数据和算力好dǎi看词汇能够知其一,唯独这个高高在上的算fǎ让人伤透了脑筋。自从个人入门AI产品经理以来,在网络上搜索了大量的学xí资料,却始终知其云不知其所以云,算fǎ就一定是晦涩难懂的吗?

我想说,NO!让我们一起来揭开算fǎ神秘的面纱。

什么是算fǎ?

算fǎ就是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令。算fǎX着用系统的方fǎ描述解决问题的策略机制。也就是说,能够对一定规范的输入,在有限时间内获得所要qiú的输出。

简单理解,算fǎ和红烧鲫鱼的处理liú程很类似,如下图:

计算机算fǎ,是用计算机解决问题的方fǎ、步骤。解决不同的问题,需要不同的算fǎ。

具体理解什么是算fǎ, 一个非常典型的例子, 排序就是一个很经典的算fǎ, 杂乱无章的数字堆在一起, 我们要一从大到小给它排列出来。然后,我们会规定一个过程, 让这串数据进去, 然后整齐从大到小的出来,这就是一个算fǎ。

我们可以如何做呢?

有无数种方fǎ,最简单的让每个数据从左到右与旁边数据比较,每次遇到比自己大的,就右移一格,遇到不如自己的,就不动。这样下来,然后那个小的继续比较,这样最小的那个就沉到最后,这样再对剩下的数处理,往复循环,就可以从小到大的出来。

当然我们可以发明无数过程实现这个东西,比如Xfǎ,堆排序等。但是万变不离其综的是,一个可以自动实现的过程,每一步按照一定规则行进,得到一个我们想要的结果。我们可以看到算fǎ是把人的逻辑过程给自动化了。

介绍一种信息检索中最常用的算fǎ——TF-IDF

在信息检索中,TF-IDF(词频-逆文档频率)是一种统计方fǎ,用以评估一个单词在一个文档X或语料库中的重要程度。经常被用作信息检索、文本挖掘以及用户模型的泉重因素。tf-idf的值会随着单词在文档X现的次数的增加而增大,也会随着单词在语料库X现的次数的增多而减小。TF-IDF是如今最liú行的词频加泉方案之一。

TF-IDF的各种改进版本,经常被搜索引擎用作在给定用户查询时,对文档的相关性进行评分和排序的主要工具。TF-IDF可以成功地用于各种主题字段的停用词过滤,包括文本摘要和分类。

典型应用场景:如何zhēn对某个查询,找到最相关的网页?

(1)什么是TF?

需要根据网页的长度,对关键词的次数进行归一化,也就是用关键词的次数除以网页的总字数。我们把这个商称为“关键词的频率”,或者“单文本词频(TF:Term Frequency)

短语“原子能的应用”可以分成三个关键词:原子能,的,应用。

例如,某个网页上一共有1000个词,其中“原子能”、“的”和“应用”分别出现了2次、35次和5次,那么它们的词频就分别是0.002、0.035 和0.005。将这三个数相加,其和0.042就是相应网页和查询“原子能的应用”的“单文本词频”。

(2)什么是IDF?

假定一个关键词w在DW个网页X现过,那么DW越大,w的泉重越小,反之亦然。在信息检索中,这个泉重称为“逆文本频率指数”(IDFInverse Document Frequency)。

这个概率解释得更通俗一点:

  • 一个词X主题的能力越强,泉重越大,反之,泉重越小。
  • 停止词的泉重为零。

比如,假定中文网页数是D=10亿。停止词“的”在所有网页中都出现,即DW=10亿,那么它的IDF=log(10亿/10亿)=log(1)=0 ; 假如“原子能”在200万个网页X现,即DW=200万,那么它的IDF=log(200万/10亿)=log(500)=8.96 ;假如通用词“应用”在5亿个网页X现,即DW=5亿,那么它的IDF=log(5亿/10亿)=log(2)=1 . 0.01792。

(3)什么是TF-IDF?

上述相关性的计算公式就由词频的简单qiú和变成了加泉qiú和,即:TF1·IDF1 + TF2·IDF2 + …… + TFn·IDFn

从以上计算公式便可以看出,某一特定文件内的高词语频率,以及该词语在整个文件X中的低文件频率,可以产生出高泉重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。

在上面的例子中,该网页和“原子能的应用”的相关性为0.0161,其中“原子能”贡献了0.0126,而“应用”只贡献了0.0035.这个比例和我们的直觉就比较一致了。

X大量网页的计算,我们就可以把相关性最高的网页作为检索结果呈现给用户,这就是最直接的评分和排序的应用了。

怎么样,是不是很简单?是不是很神奇?

后续

如果你们都听懂了,接下来我们可以再来讲讲

  • 隐hán马尔可夫模型
  • 最大熵模型
  • 动态规划
  • 维特比算fǎ
  • 期望最大值算fǎ
  • 等等
收藏 (0) 打赏

以上内容不错,打赏支持一下!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

声明:本站所有教程资源,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

雄发创业网 自媒体是如何赚钱的 AI产品经理必修——揭开算法的面纱(TF-IDF) https://www.xiongfawang.com/2391.html

常见问题

相关文章

AI产品经理必修——揭开算法的面纱(TF-IDF)-海报

分享本文封面