少数人的智慧,基于专家的协同过滤算法,这也是一篇关联上寻找「人」 的文章。本文是豆瓣的算法工程师写的解读一篇推荐算法论文和他的感受的文章。文章中作者提出的基于专家的协同过滤(CF,collaborative filtering)在某些方面要优胜于传统的协同过滤算法。
文章要探究问题
- 一个庞大的用户集的偏好是否可以通过一个比较小的用户集的偏好预测出来?
- 对于一个数据集来说,另一个与之不同源的、无直接相关的数据集是否具有对它进行推荐的能力?
- 分析专家的收藏是否可以用作普通用户的推荐使用?
文中定义的专家是在一个特定的领域内,他们能对该领域内的条目给出深思熟虑的、一致的、可靠的评价,使用了 Netflix 的电影数据打分作为测试内容,测试结果如:
- 专家用户的打分比一般用户要多得多,数据也要稠密得多。
- 专家用户的曲线在高分段占有更多的电影,说明他们和一般用户相比,他们对好电影的认同更为一致。
- 专家用户自己平均评分的变化范围不大,但对电影的覆盖面更广,专家用户的打分并不依赖于这是否好片。
- 一般用户正好相反,一般用户并不倾向于收藏烂片。
至少在大部分的场合,我们需要的并不是与自己相似的用户的推荐,而是与自己相似的专家的推荐。无论是看书、看电影、买手机、买笔记本,那批“行内人物”的观点往往是左右我们决定的主要因素。2017 年豆瓣的工程师觉察到这个结论在个性化要求相对比较低的中国显得更为真实,4年之后的2021年结论仍然适用吗?文中引出另一个话题,「 如何寻找这些专家?」
Peter Thiel 一直遵从他哲学导师 Rene Girard 的模仿理论(参见专题:妒忌与暴力的根源:模仿欲望 ),Thiel 将人脑描述为“巨大的模仿机器”,模仿论构成了Thiel 世界观的基石。当两个人渴望相同的、稀缺的资源时,就会产生模仿冲突。 就像笼子里的狮子,我们反映我们的敌人,因为我们的同一性而战斗,提升地位等级而不是为社会提供价值。只有通过观察他人,我们才能学会如何以及渴望什么。 而我们模仿的趋同对象就是大众媒体制造出来的少数人。
大众传媒不会向你展示世界,而是向你展示他们构建的世界。通信系统的条件和个人环境塑造了它们对世界的表现。而这个构建的现实世界是由一小撮人开始制定的规则,由规则去规训世人,而事实上是他们又能代表这个世界吗?
原文:少数人的智慧(The Wisdom of the Few) | 读卢曼《The Reality of Mass Media》
