- 元宇宙：本站分享元宇宙相关资讯，资讯仅代表作者观点与平台立场无关,仅供参考.
混排层负责将多个异构队列的结果如广告、游戏、自然量等进行融合，需要在上下游和业务多重限制下取得最优解，相对复杂和难以控制。本文主要从业务、模型等角度介绍了 vivo 广告策略团队在信息流和应用商店混排上的一些探索和思考。
首先介绍一下什么是混排。所谓混排，如图所示就是需要在保障用户体验前提下，通过对不同队列中的异构内容进行合理混合，实现收益最优，更好的服务广告主和用户。
混排的核心挑战体现在：
1．不同队列 item 建模目标不同，难以直接对比。比如有的队列按照 ctr 建模，有的队列按照 ecpm 建模，无法直接对比。
2．候选队列常受到大量产品规则约束，常见的有比如间隔位的约束、保量、首位等约束。
3．由于候选队列由上游各方精排算法产生，由于业务限制混排时往往不能修改候选队列的序，也就是需要实现保序混排。
本次介绍的主要是 vivo 信息流和商店场景的混排实践。
vivo 的信息流场景，包括像浏览器、i 视频、负一屏等，他的特点是场景众多，下拉深度较高，广告形式多样，用户个性化需求较强。而对于商店场景，是一个整体偏垂直的场景，
它涉及到广告、游戏、自然量多方均衡，需要在保量和用户体验等严格要求下，取得综合最优解。后续我们将对这 2 个场景的特点展开逐一介绍。
我们开始介绍下信息流场景的混排实践。
对于信息流场景来说，如下图所示，混排侧所主要解决的问题是内容队列与广告队列的混排问题。也就是如何在平衡好用户体验和广告主利益的情况下，将广告插入到合适的位置。
对于传统信息流媒体来说早期的主要混排方式可能主要是以固定位模板为主。也就是运营人工定下广告与内容的插入关系，简单直接。
但也带来了三个明显的问题：
1．用户方来说，广告在偏好场景与非偏好场景同等概率出现，有损用户体验。
2．业务方的角度出发，流量未精准投放，业务服务效率低，广告主体验差。
3．平台方，资源错配导致平台资源浪费。
2.2 业界方案调研
接下来介绍下业界常见的几种解决方案。
以某职场社交平台的方案为例。它将优化目标设定为在用户体验价值大于一定值的前提下最优化营收价值。对于待插入广告，将用户体验货币化，与商业化价值加权衡量整体价值。
如果整体价值大于用户体验价值时投放广告内容，否则投放产品内容。此外在投放时还会根据右图所示考虑间隔等约束。
他的方法简单直接，很多团队采用类似的方案取得较好效果。但该方案只考虑单一 item 价值，未考虑 item 间相互影响，缺乏长期收益的考虑。
接下来介绍的是某小视频的方案，他们采用强化学习的方法进行混排。该方案将信息流混排问题抽象为序列插入问题，将不同广告对于不同槽位的插入情况抽象为不同 action，通过强化学习进行选择。在考虑奖励设计时融合了广告价值（如收入等）与用户体验价值（比如下滑与离开）。通过调节超参对两者进行平衡。
但是该方案对工程依赖较高且论文中已离线测试为主，缺乏线上的分析。并且该模型只考虑单广告插入，未考虑多广告情况。
具体到 vivo 信息流场景的迭代，混排迭代包括固定位混排，Qlearning 混排和深度解空间型混排三个阶段。
整体思路是希望在 Qlearning 阶段通过简单的强化学习方案累积样本，快速探索收益。后续升级为深度学习方案。
上面是强化学习的基本流程，强化学习最大的特点是在交互中学习。Agent 在与环境的交互中根据获得的奖励或惩罚不断的学习知识，更加适应环境。state，reward 和 action 是强化学习中最为关键的三个要素，后续详细展开。
vivo 信息流的 Qlearning 混排机制有什么好处呢？首先它会考虑全页面收益，并考虑长期收益，符合多刷场景诉求。此外 Qlearning 模型可以小步快跑，积累样本同时，快速验证效果。
当前整体系统架构，混排系统位于 adx 后，接收到内容队列与广告队列后，通过 Qlearning 模型下发调权系数，对广告进行调权，叠加业务策略后，生成融合队列。而用户行为也会触发 Qlearning 模型更新。
Qlearning 模型运行原理如图，首先初始化 qtable，然后选择一个 action，根据 action 所得到的 reward 进行 qtable 的更新，而在损失函数既考虑短期收益也考虑长期收益。
在 vivo 的实践中，在奖励设计上，我们综合考虑时长等用户体验指标与广告价值，两者进行平滑后，通过超参进行权衡。在动作设计上，一期采用数值型的方式，生成广告调权系数，作用于广告精排得分，与内容侧进行混合，从而实现混排。
在状态设计上包含用户特征、上下文特征、内容侧特征和广告侧特征四个部分。像统计特征和上下文特征等对 Qlearning 模型有较大影响。
在 vivo 信息流场景中，Qlearning 混排取得了较好的效果，已经覆盖绝大部分场景。
Qlearning 混排存在一定的局限性：
Qtable 结构简单，信息容量小。
Qlearning 模型可使用特征有限，难以对如行为序列等细致化建模。
当前 Qlearning 混排依赖于上游打分，上游打分波动，会引发效果震荡。
为了解决 Qlearning 的问题，我们研发了深度位置型混排。在混排机制上由原本的数值型升级为直接生成位置的位置型混排，而在模型本身我们由 Qlearning 升级成了深度学习。
这带来 3 个好处：
1．与