个性化推荐的十大挑战[J].PDFVIP

2012 6 《程序员》 年第 期 个性化推荐的十大挑战 周 涛 电子科技大学，互联网科学中心 百分点推荐技术研究所 /home.php?mod=spaceuid=3075do=blogid=554630 一、数据稀疏性问题 • MovieLens-4.5% • Netflix-1.2% • Bibsonomy-0.35% • Delicious-0.046% • 高阶关联 • 缺省打分 • 迭代寻优 • 转移相似性 二、冷启动问题 • 如何针对新用户新产品进行推荐 • 利用属性/文本/标签信息 • 利用品类信息 • 利用跨领域的交叉信息 • 团购和维品会的例子 三、大数据处理与增量计算问题 • 用户商品连接数目已经达到了百亿至十万 亿规模时代 • 复杂性低：时间、空间、代码 • 可并行化程度高 • 局部近似增量算法 • 自适应算法 四、多样性与精确性的两难困境 • 精确性高的算法不一定就是好的算法 • 信息价值 • 凹透镜和凸透镜 • 个性化的精髓 • 如何评价多样性 • 直接调整推荐列表 • 物质扩散和热传导的混合算法 五、推荐系统的脆弱性问题 • 噪音 • 恶意用户 • 道高一尺，魔高一丈 • 信誉系统 六、用户行为模式的挖掘和利用 • 新用户倾向于选择热门的商品，而老用户 对于小众商品关注更多 • 新用户所选择的商品相似度更高，老用户 所选择的商品多样性较高 • 不同用户打分的模式也很不一样 • 用户针对不同商品的行为模式也不一样 • 对用户移动模式的理解对于基于位置的推 荐至关重要 七、推荐系统效果评估 • 四大类：准确度、多样性、新颖性、覆盖率 • 准确度又可以分为四大类：预测评分准确度、 预测评分关联、分类准确度、排序准确度 • 分类准确度包含6种常见指标：准确率、召回 率、准确率提高率、召回率提高率、F1指标和 AUC值 • 第一层次：数据和算法指标 • 第二层次：商业应用的关键指标 • 第三层次：用户体验 八、用户界面与用户体验 • 推荐结果的可解释性，对于用户体验有至关重要的 影响 • 协同过滤有明显的优势，譬如亚马逊基于商品的协 同过滤在发送推荐的电子邮件时会告诉用户之所以 向其推荐某书，是因为用户以前购买过某些书。相 对地，矩阵分解或者集成学习算法就很难向用户解 释推荐结果的起源。 • 用户更喜欢来自自己朋友的推荐而不是系统的推荐 • A/B 建立一个可以进行 测试的系统 九、多维数据的交叉利用 • 交叠社会网络 • 相当比例的用户都具有交叉购物的习惯 • 交叉推荐的重要商业价值 • 交叉推荐可以提高多样性 • 交叉推荐可以解决冷启动问题 十、社会推荐 • “ 用户更喜欢来自朋友的推荐而不是被系统 算出来 的推荐” • 社会影响力被认为比历史行为的相似性更加重要 • 通过社会关系的分析，可以大幅度提高从科研文 献到网购商品推荐的精确度 • 社会推荐有两方面的效果：一是增加销售，二是 在销售后提高用户的评价 • 如何利用社会关系提高推荐的精确度？ • 如何建立更好的机制以促进社会推荐？ • 如何将社会信任关系引入到推荐系统中？ 推荐参考的综述和专著 • 刘建国，周涛，汪秉