IT技术博客大学习 共学习 共进步

只有算法的个性化推荐没有未来

阿里技术沙龙 2013-08-08 23:27:38 浏览 3,342 次

作者:郝运 (淘宝产品平台部-工具平台)

   最近这段时间,在研究和思考个性化推荐的命题,想谈一下,对于个性化推荐的理解,算是给先行者的回馈,给同行者的参考。

   个性化推荐主要分为黑盒推荐与白盒推荐。

   黑盒推荐主要通过机器学习、数据挖掘等统计方式和人工智能的方法对数据进行分析,建立相关模型并持续优化,在一定约束条件下求得最优解或局部最优解作为向用户推荐的内容,并不需要太多关注推荐的具体内容。

   白盒推荐则是深入到被推荐的条目内容之中,依据对条目的先验知识和对用户的理解进行相关匹配的推荐,推荐的过程中也会用到机器学习和数据挖掘的算法,但先验知识的来源往往是专家领域的知识。

   淘宝现有实际应用以及推荐的文档来看,基于可扩展性及系统成本的考虑,商用的个性化推荐系统以黑盒推荐为基础。黑盒推荐的核心是机器学习和数据挖掘算法,有着坚实的数学基础和明确的优化指标与方法,所以推荐质量有基本的保证。搭建系统既不需要领域内的知识,也不需要过多的人工干预,同时可扩展性较强,应对用户和条目的增长成本相对可控。

   在浩如烟海的文档中,阅读了其中部分资讯,有一种强烈的感觉---个性化推荐的路好像走偏了!几乎所有的内容,都在不断强调算法、公式、逻辑,但互联网的根本是用户。所有产品都是为用户服务的,所有先进的技术、算法也只有通过服务好用户才能产生价值。而过于依赖算法而忽视“人”的黑盒推荐,是不稳定的。只有基于算法,又充分融入“人的认知”的推荐才是未来。

一、经济学——“理性”与“非理性”


   “理性人(又称经济人)假设”是经济学的基本假设之一,是指作为经济决策的主体都是充满理智的, 既不会感情用事, 也不会盲从, 而是精于判断和计算, 其行为是理性的。本质上来说,就是对“人”进行抽象,是指为了经济学分析、解释、推导的需要,对微观的人的特点进行抽象,并根据这种抽象分析其决策和行为。通过抽象可以避免陷入对“人性”本身无边无际的争论,以更有效地讨论相关的经济学主题。

   问题在于,这种抽象实际上就是将人不当成“人”,而是当成一个的“经济机器”,显然,这种“人”在现实中并不存在。与此相似,所谓算法模型就是把人和人的行为抽象成数字,并基于数学的规律和模型对人的行为进行模拟,进而对其需求进行预判。但是,人不是数字。首先,人是活的,有情感的,其行为具备不确定性。举个案例,假设一个人是我们可以明确定义的上海地区、白领、有车一族,同时告诉你他最近30天的淘宝全部行为记录,那么我们能否预测他们今天的需求呢。如果那个人就是你周围的伙伴,或者是你自己呢?真的可以判断出来吗?如果这个样本量扩展到100W呢?其次,人与人是存在差异性的。即便两个过往15天内看到、收藏过、买过商品路径一模一样的两个人,他们的下一个潜在需求也很不一样。基于黑盒推荐,其结果就是忽视人与人的个体差异而得到的群体偏好。所以,“人”所特有的非理性决策产生的行为不可预期性,加之个体差异,就注定了黑盒推荐的局限。

二、原则——解释行为

   优秀的推荐系统的原则:

1. Make decision based on data

2. Canprovide detailed explanation on how it works

3. Caneasily add domain knowledge

   无论复杂或简单的算法,都必须尊重一个原则“能够提供推荐如何运营的详细解释”。这就意味着,算法必须把“数字”还原成“人”,让数学模型真正解释人的行为。

三、个性化推荐的未来——融合常识的推荐

   当算法可以融合常识,当技术与运营紧密结合的时候,个性化推荐就可以达到新的高度。

--

提示:本文同步发表于微信号alibabatech

建议继续学习

  1. 基于综合兴趣度的协同过滤推荐算法 (阅读 4,822)
  2. 推荐系统的问题 (阅读 4,641)
  3. 如何从无到有建立推荐系统 (阅读 4,381)
  4. 推荐算法Slope One初探 (阅读 4,342)
  5. 淘宝搜索中Query下拉推荐技术 (阅读 4,241)
  6. 音乐智能推荐 (阅读 4,222)
  7. 基于关联规则的推荐系统 (阅读 3,882)
  8. 用搜索的倒排轻松搞定“好友的文章”类相关推荐功能 (阅读 3,361)
  9. 一起来看看淘宝首页的个性化 (阅读 3,243)
  10. 数据驱动销售――个性化推荐引擎 (阅读 3,141)