大数据时代的互联网行为定向广告技术.pdf

大数据时代的互联网行为定向 广告技术 品友互动 •互联网广告介绍 • Hadoop云计算平台 •用户行为分析和挖掘 互联网广告分类 • 有哪些信誉好的足球投注网站广告 – 有哪些信誉好的足球投注网站广告是指广告主根据自己产品的内容和特点 等，确定相关的关键词，自主定价投放的广告 • 展示广告 – 应用广泛 – 形式多样：图片、文字链接、视频广告、移动广 告、社交广告等形式 – 前景广阔 展示广告增长强劲 互联网广告的计费方式 • CPT/CPD(Cost-Per-Time):每小时/天费 用 • CPM(Cost-Per-Mille/Impressions):每 千次曝光费用 • CPC(Cost-Per-Click):每次点击费用 • CPA/CPS(Cost-Per-Action):每次效果 费用 • …… 传统展示广告的缺点 • 广告资源价值没充分体现；存在浪费 • 广告投放效果不明显 • 用户体验差 互联网行为定向广告 • 通过获取用户行为（浏览、点击、购 买等），分析其用户属性（关注点、 兴趣取向等），从而实现“定向投放” 的广告 • 优点 – 网站广告资源充分利用 – 广告主实现最大的投放效果 – 网民体验更好，看到自己感兴趣的信息 Hadoop云计算平台 用到的工具和技术 LibSVM 日志收集系统 - Flume Flume在品友的使用 • 良好的可扩展性 – 简单的source和sink APIs。 – 基于事件流的设计易于把简单的操作组合成复杂的操作。 – 插件式的架构易于用户使用自己编写的sources、 sinks和 decorators。 • 良好的可管理性 – Web Page – Flume Shell • 良好的可靠性 – 三种级别的故障恢复模式 Flume在品友的使用 • 优化前Flume占用的系统资源 • 优化后Flume占用的系统资源 通过优化，Flume在内存和CPU的使用上都 有较大的降低：2/3 Sqoop 在品友的使用 • 品友的数据源多样，数据种类众多，支持 的业务复杂，怎么解决各个不同数据库与 hadoop的快速、简易的传输？ • Sqoop作为Hadoop DB ETL的利器，在品友 得到了广泛的使用 Pig在品友的使用 • 大量的业务、需求、分析需要大量的开发 工作，怎么在有限的人力资源和时间成本 中平衡 • Pig的广泛使用 – 简单易学 – Pig Script转换为Map Reduce程序,缩短开发时 间 – 丰富的Pig Built- In Function – 可扩展的Pig User Defined Function MapReduce程序 Oozie在品友的使用 • 由于我们的分析内容多种多样，一个分析 过程可能就需要对HDFS进行操作、 MapReduce、Pig、Sqoop和定时任务的提交 • 为了整合分析过程的各个阶段，使分析的 过程更有逻辑性，并且提高Job在Hadoop上 的执行效率，我们使用Oozie作为基于 Hadoop的工作流引擎管理数据流水线。 Oozie在品友的使用 Ganglia在品友的使用 • Ganglia 是 UC Berkeley 发起的一个开源 实时监视项目，我们使用Ganglia监控品友 云的各个节点，提供系统静态数据以及重 要的性能度量数据。 • Nagios:良好的邮件或短信报警功能，我们 用其对我们的系统进行异常预警 Ganglia在品友的使用 Redis在品