倍业科技:浅析广告点击率CTR预估方法
2021年09月18日

点击率(CTR)是开发者进行流量分发的核心依据之一。比如某知名APP,为了精细化权衡和保障用户、广告收益的利益,准确的CTR预估是不可或缺的。CTR预估技术从传统的逻辑回归,到深度学习,新的算法层出不穷:DeepFM, NFM, DIN, AFM, DCN,PBODL……那么CTR是如何做到高精度预估的呢?开发者为什么要准确预估CTR?

虽然用户使用APP时没有强意图,但是根据用户之前的浏览行为以及习惯,我们是可以提取出一些弱意图的。比如用户在什么广告位、什么广告内容等上停留的时间最长,点击什么样的内容的次数最多,多久重复关注高度类似广告等lookalike,还有类似协同过滤的把用户的行为抽象成特征向量的做法。这其中的核心是理解用户意图,通过设计网络结构进行组合特征的挖掘。

一、CTR对开发者的影响

CTR是从点击到曝光的链接枢纽,为流量智能分发排序提供基础。开发者关心自己的广告收益,即流量效益。开发者一般按广告点击转化向广告主/平台收费(这是被动的),然后根据广告主/平台点击出价计算出ECPM进行排序收费。比如某知名app有几千万次日曝光,它应该卖给出价5元每个点击的广告投放平台c,还是2.5元每个点击的广告投放平台t?盲目的将流量分发给平台c是严重的错误,因为忽视了点击率的影响。



如果平台c投放的广告点击率为1%,平台t投放的广告点击率为5%,将这些流量对半分发给两个平台,那么给c的收益A=曝光数*1%*5,而给t的收益B=曝光数*5%*2.5,平台t的收益是c的2.5倍,开发者收益直接增加150%。从这个案例可以看出,CTR直接影响着开发者收益,所以CTR预估的精度决定着流量分发顺序。

二、为什么不进行部分投放测试出 CTR,不比预估更省事?

假设c平台投放电子产品类广告和t平台投放奢侈品包类广告,同时在该广告位出价都是5元每个点击。两个平台均等随机少量投放测试1万个曝光,最后发现CTR一样5%,那流量分发的优先级应该是什么呢?随机?

由于用户意图不同,所表现的特征差异导致试投测试误差大,所以通过设计网络结构,进行组合特征的挖掘能高度个性化预估CTR。在随机之前,我们要先明白为什么CTR一样?我们剖析这2万个曝光,分为男性用户观看产生的1万个曝光,女性用户观看产生的1万个曝光。我们会发现男性用户对电子产品类广告点击10%,对奢侈品包类广告不点击;女性用户对奢侈品包类广告点击10%,对电子产品类广告不点击。当我们随机投放,两个广告受众男女均等时,也就出现了CTR相同。测试少投这个阶段依然存在,但我们会通过某个模型用交叉特征地看每一个个体的点击率,从而下一个拥有该特征的用户出现时,我们就能相对更加准确地预估了。正确预估CTR进行精准定向展现,同时可以将原来5%点击率提升到了10%,开发者的收益自然提升,这就是CTR预估的意义。

三、如何预估CTR?

预估CTR时将这些因素称之为特征,并从这些特征数据化找到特征向量。虽然上述举例中,我们只看到用户性别、广告内容两个特征,但实际上无数特征都决定了广告的点击率。大致可以分为开发者技术服务商侧、用户侧、广告主技术服务商侧。开发者技术服务商侧,比如频次控制策略、广告位、流量分发机制、历史CTR、时间等;用户侧,年龄、性别、地域、手机型号、WiFi环境、兴趣等;广告主技术服务商侧,广告主行业、广告图片、广告形式、广告文案等。然后把所有的特征变成0和1的二值化,把连续的特征离散化,把特征的值平滑化、把多个特征向量化…….

四、如何衡量CTR预估?

简而言之,预估CTR就是将高CTR的广告筛选出来然后展现。此外,开发者需要注意不要将预估点击率神化,从预估点击率单一角度进行排序。如开文上例,我们要计算的是 点击出价* CTR,排序应该以预估ECPM=预估CTR*点击出价 为核心标准之一,此外我们还需要关注用户体验,注意广告素材质量为排序另一核心标准。

开发者如何判断预估CTR的精度呢?直接把预估CTR和真实CTR直接进行对比,由于预估CTR针对每一次广告展示都会预估,比如这一次预估CTR为5%,但单次广告真实CTR只有两个结果1或0,即100%、0%,所以从单次观察判断是没有意义的,我们应该从一个足够大的样本观察判断精度。

将每一次广告曝光按照预测的CTR从小到大排序,然后按某个单位(比如每10万次曝光)分别统计平均预估CTR和实际CTR,就能知道预测CTR的精度了。

五、选择何种模型进行CTR预估?

通过设计网络结构进行组合特征的挖掘,其在各个模型的实现方式如下:

FM其实是对嵌入特征进行两两内积实现特征二阶组合;FNN在FM基础上引入了MLP;

DeepFM通过联合训练、嵌入特征共享来兼顾FM部分与MLP部分不同的特征组合机制;

NFM、PNN则是通过改造向量积的方式来延迟FM的实现过程,在其中添加非线性成分来提升模型表现力;

AFM更进一步,直接通过子网络来对嵌入向量的两两逐元素乘积进行加权求和,以实现不同组合的差异化,也是一种延迟FM实现的方式;

DCN则是将FM进行高阶特征组合的方向上进行推广,并结合MLP的全连接式的高阶特征组合机制;

Wide&Deep是兼容手工特征组合与MLP的特征组合方式,是许多模型的基础框架;

Deep Cross是引入残差网络机制的前馈神经网络,给高维的MLP特征组合增加了低维的特征组合形式,启发了DCN;

DIN则是对用户侧的某历史特征和广告侧的同领域特征进行组合,组合成的权重反过来重新影响用户侧的该领域各历史特征的求和过程;

多任务视角则是更加宏观的思路,结合不同任务(而不仅是同任务的不同模型)对特征的组合过程,以提高模型的泛化能力。

当然,广告点击率预估深度学习模型还有很多,深度学习的算法层出不穷,开发者可以选择有充分的广告商业化服务从业经验,积淀了一些特征数据、模型训练经验,同时有扎实算法理论基础,倍业科技此前与天津大学产学结合:让流量价值度量衡回归媒体

倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。

参考资料:

《点击率预估界的“神算子”是如何炼成的?》

《学界 | 腾讯提出并行贝叶斯在线深度学习框架PBODL:预测广告系统的点击率 》

《从FM推演各深度CTR预估模型(附代码)》

Card image cap
倍业科技:新版网络安全法对移动开发者的影响
2022年09月23日
9月14日,国家网信办发布关于公开征求《关于修改〈中华人民共和国网络安全法〉的决定(征求意见稿)》意见的通知(详情可见参考资料)。移动开发者团队、网络安全管理、网络运营关键岗位赶紧重视起来,别领到罚款或从业禁止措施。《中华人民共和国网络安全法》自2017年6月1日起施行以来,充分维护了网络空间主权和国家安全、社会公共利益,保护公民、法人和其他组织的合法权益。可随着2021年《数据安全法》和《个人信息保护法》先后实施,《网络安全法》部分条款与新法出现交叉重叠等情况,比如《网络安全法》中网络信息保护章节与《个人信息保护法》类似,故将在四部分进行主要修改征求意见以改适应新的环境。新版《网络安全法》对移动开发者有什么影响呢?首先,将原有关个人信息保护的法律责任修改为转致性规定。也就是说,如果移动开发者的APP违反了原有个人信息保护的有关条款,那么将按照有关法律行政法规的规定处罚,即按照《个人信息保护法》等法律行政法规的规定进行处罚。“采取监测、记录网络运行状态、网络安全事件的技术措施,并按照规定留存相关的网络日志不少于六个月。”在这里特别强调,《网络安全法》中网络日志留存时间不少于6个月的规定未进行调整或改为转致性规定,也就是说包含个人信息的相关网络日志还是要至少需要保存6个月。其次,对某些违反网络安全法规定行为处罚力度加大。对严重的违法行为,按照上限5000万元,或者上一年度营业额5%罚款,对中部和头部APP来说威慑力十足。小而美APP移动开发者,更需时刻遵守网络运行安全保护义务,不然也可能接到100万的罚单。(下图对比:新版左侧,旧版右边侧)最后,从业禁止措施和关键信息基础设施运营者违法行为处罚加大。从业禁止措施将处罚从原来对单位单一处罚范围增加到单位具体责任人。对于单位具体责任人不履职尽责,缺少安全意识,导致发生违反新版网络安全法的情况,将会对该直接责任人处以10万至100万罚款。同时可能会对该直接责任人执行从业禁止措施,比如禁止一定期限内从事网络安全管理、网络运营关键岗位或董事监事高管工作。关键信息基础设施运营者违法行为处罚加大是指,使用未经安全审查或安全审查未通过的网络产品或服务的罚款数额从“采购金额一倍以上十倍以下”改为“采购金额一倍以上十倍以下或者上一年度营业额百分之五以下罚款”。倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。参考资料:关于公开征求《关于修改〈中华人民共和国网络安全法〉的决定(征求意见稿)》意见的通知
Card image cap
数据驱动APP流量变现智能化
2022年09月16日
APP广告商业化越来越精细化,从开始关注流量成交、价格、广告源到交易细节,越来越细,越来越需要数据。那么APP广告商业化数据有什么价值呢?大致归为两大方面:1.是数据驱动决策比方说移动开发者广告商业化团队,需要上游渠道核减变化、填充成功率等数据,决定下一步重点拓展维系哪家广告源;比如调整广告技术栈、改版广告位和广告形式,产品经理和广告商业化运营都需要数据;再比如做管理,需要数据进行沟通。假如广告商业化团队和用户体验(UX)团队/拉新留存team之间PK,有数据支撑的一方占优,胜负也就显而易见。2.是数据驱动APP流量变现智能化如用AI统一分析流量变现业务数据,获得智能、自动化的报告,从而帮助运营简化报告、创建动态仪表板并提高运营效率,以更好地识别新的收入机会并优化收益。我们说要重视数据分析,但真正要做好很有挑战。比如,你需要一个数据,但不是直接就能给你看的;数据可能需要找数据工程师统计,也许一天,也许要一个月才出结果。如果各家数据统一口径不一,甚至一个月都统计不出来;再或者给了你一个宏观数据,你想分析也分析不了——总会出现各种现实问题耗费时间成本。理想状态是:每个业务人员能掌握数据,从底层数据体系去支撑分析。倍联Blink让您的广告商业化业务数据智能化可视通过自动报告消除手动、繁琐和重复性的任务,为您快速汇总和规范化数据。以指数方式提高数据性能、决策制定以及日常和长期运营效率和收益。将更多时间花在创收上,而不是繁重的数据统计上。1.数据统计更全自动聚合来自所有连接的数据,包括 DSP、SSP 、直客等,以全面了解流量变现效果。2.数据统计更细自动将分散的数据集整合和组织成一个单一的数据层次结构,做到随时点开随时使用。3.数据标准化自动识别各家接口字段并规范化,无需分配人力手动整理。倍联Blink数据工具特点:1.通过自动汇总每日绩效指标消除手动任务2.提高商业智能以优化广告变现策略3.全面了解您的流量变现路径4.识别顶级广告源以产生新的线索5.简化问题识别、沟通和故障排除6.轻松衡量所有需求来源的绩效...倍联Blink实时动态数据看板创建可视化数据看板,以突出显示您的主要 KPI:通过可配置的数据看板,帮助您提高效率和决策。您可以快速可视化业务数据,以突出广告收入趋势、改善流量库存、发现新机会等。倍联Blink程序报告增强您的程序化操作:以程序化方式销售的开发者与数百个买家、合作伙伴和平台合作。统一分析将整个程序化供应链整合在一起,让您可以快速轻松地综合复杂数据集以进行优化。倍联Blink全景诊断简化您的问题识别、沟通和故障排除:全景诊断对海量广告填充次数进行批量审查检测,批量自动化生成异常因素全方位数据报表。使无技术背景的商业化运营人员也可揪出异常原因,并依据问题详情制定优化调整方案,下发需求给对应产品技术修改解决,迅速响应广告商业化业务变化。倍联Blink智能连接直客渠道连接:智能连接包括自动将字段从广告源映射过来,解决数据限制以消除手动流程。建立连接后,在数据报表中会立即呈现可视化数据。确定哪些广告合作伙伴提供了最有价值的需求,您准备好简化运营工作内容并最大限度地实现广告商业化创收了吗?通过倍联Blink一套全面的解决方案获得有价值的见解,这些解决方案通过自动汇总报告、全景诊断、广告源质量衡量和流量库存优化,为您的广告商业化业务提供动力。倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。