导读本文将潜入琢磨强化学习的有关内容パナソニック 分電盤 大形リミッタースペース付 露出・半埋込両用形。

主要内容包括：

1. 强化学习算法

2. 强化学习经典算法—DQN 算法

3. 强化学习保举算法提高短视频留存

4. 强化学习改日挑战

共享嘉宾｜蔡庆芃博士 快手高等算法人人

黄世宇博士 前第四范式强化学习科学家

裁剪整理｜王振甲

内容校对｜李瑶

出品社区｜DataFun

01

强化学习算法

1. 强化学习的方针：通用东谈主工智能

图片パナソニック 分電盤 大形リミッタースペース付 露出・半埋込両用形

强化学习的方针是打造通用东谈主工智能。这意味着通过智能体与环境的捏续交互，期骗动作、奖励和不雅测终结来渐渐更新和优化智能体的磨练经过。其中枢想想是通过最大化环境奖励来竣事通用东谈主工智能的方针。这照旧过中，智能体连接地从与环境的交互中学习并调治其活动计策，以欲望达到更高的智能水平。

2. 基础数学模子：马尔可夫决议经过（MDP）

图片

从数学角度看，强化学习被建模为一个马尔可夫决议经过。在这个经过中，智能体（agent）与环境在每个门径（step）进行交互。智能体实施一个动作（action），环境则复返现时的立即奖励（reward）和下一个情景（state）。这个经过捏续进行，酿成一个情景-动作-奖励的序列。

在强化学习中，情景是情景围聚中的一个元素，动作是动作围聚中的一个元素。情景转动假定适当马尔可夫性，即下一个情景的概率仅依赖于现时情景和现时动作。奖励则由现时情景、现时动作以及下一个情景集结决定。

此外，还有一个迫切的宗旨是 γ 值，它用于均衡即时奖励与改日潜在奖励的迫切性。通过调治 γ 值，不错扬弃智能体在决议时是更侧重于即时奖励照旧改日的永远奖励。

这种建模神态使得强化学习梗概在省略情环境中通过试错学习最优计策，渐渐提高性能并迫临最优解。

图片

强化学习行为机器学习的一个子类，与监督学习和无监督学习并排。监督学习侧重于分类或拟合归来，而无监督学习则处理无标签的样本。强化学习独具特色，既包含有监督的部分，又正式于优化永远价值。其数据样本的赢得顺从在线学习的范式，从而呈现出一鸣惊人的本性。强化学习范围与经济学、神态学、神经科学等多个范围紧密相接，以至在形而上学层面上存在一定的交叉。此外，强化学习与扬弃论、奖励系统以及运筹学等范围也存在一定的叠加。

图片

强化算法的优化方针不错聚焦于永远奖励或现时门径的奖励，这波及到马尔可夫决议经过和多智能体问题。在处理赌博机问题时，不错遴选动作-价值递次或基于梯度的赌博机递次。

马尔可夫决议经过不错字据是否使用环境模子分为基于模子和无模子两类。基于模子的算法不错通过学习环境的领路建模，期骗情景转动函数和奖励函数来作念出最优决议，如使用 MuZero 和蒙特卡洛搜索等算法。无模子算法不错分为基于价值和基于计策两类强化学习算法。基于价值的强化学习算法仅学习一个价值函数，即料到现时情景下遴选动作后的 Q 值，代表性的算法有 DQN。DQN 进一步演化出了 C51 等算法，适用于芜乱空间，并扩张到一语气空间的 DDPG 算法。DDPG 算法遴选近似最大化，并养殖出了处置一语气空间决议问题的 TD3、SAC 等算法。

在基于计策的强化学习算法中，不错分为无梯度和有梯度两类。无梯度算法遴选进化计策等演化盘算访佛的算法。有梯度算规矩包括 TRPO 算法、PPO 算法等，其中PPO 算法在 MOBA 游戏 AI 和大言语模子的 RLHF 磨练中得到了等闲应用。

成人激情网

3. 强化学习的应用

图片

强化学习的线上应用涵盖了多个范围。在游戏 AI 方面，强化学习被等闲应用于围棋和星际争霸等游戏中。此外，在工艺扬弃、金融量化、机器东谈主扬弃、运筹优化和交通灯疏通等方面，强化学习也分解着迫切作用。同期，强化学习还在大模子对皆等任务中展现出其专有的价值。这些应用展示了强化学习在处置现实问题中的等闲适用性和迫切性。

02

强化学习经典算法—DQN 算法

在强化学习范围，DQN 算法是一种广受迎接的经典递次，它基于价值函数进行学习。

1. 强化学习：基于样本的 Q 值迭代

图片

与 Q-learning 访佛，DQN 贫困于于料到在给定情景下实施某个动作的永远酬报。为竣事这一方针，DQN 期骗贝尔曼方程来构建一个方针值，该方针值由现时情景的即时奖励和从下一个情景到序列收尾的最大可能价值组成。在此经过中，DQN 遴选 max 算子来遴选下一个情景中具有最大 Q 值的动作。一朝详情了方针值，DQN 会遴选软更新的神态来渐渐骤整其 Q 值料到。其中，学习率 α 饰演着至关迫切的脚色，它扬弃着更新的步长。值得一提的是，DQN 算法在表面上具有一定的禁止性保证。具体来说，当通盘的情景-动作对都被无限次地拜谒，而且学习率欢娱一定条目时，DQN 不错渐渐禁止到最优的价值函数。

图片

为了将评估递次扩张到一语气的情景空间，需要趋奉深度神经集中来竣事。具体而言，最初通过卷积神经集中对情景进行表征，随后期骗全贯穿层输出每个动作的信用值。最终，咱们遴选具有最高置信度的动作进行实施。这种递次使咱们梗概在一语气情景空间中有用地进行决议和评估。

2. Deep Q-Networks – 方针集中

图片

尽管神经集中在函数近似方面推崇出色，但其应用仍存在一些问题。很是是，当使用神经集中来表征动作价值时，跟着价值集中参数的变化，模子预估的方针值也会动态地变化。这种征象组成了一个“moving target”问题，加多了算法的复杂性。为了缓解这个问题，不错引入一个 target network，这是一个独处的、学习速率较慢的集中。行为原始神经集中的慢拷贝，target network 的学习速率更慢，从而退缩方针变更过快。这种递次不错一定进度上提高算法的舒服性。

03

强化学习保举算法提高短视频留存

在短视频保举系统中，强化学习的应用显得尤为迫切。这是因为短视频保举的中枢方针是提高用户喜跃度，而用户喜跃度的要津计算则是留存率。

1. 短视频保举中的用户留存

图片

留存纯厚接反馈了用户对保举内快活平台的体验，因此，关于如抖音、快手等平台来说，留存率成为了其中枢的评估圭臬。留存率行为用户与平台屡次交互的永远反馈，体现了用户每次灵通 APP、不雅看多个视频后的活动决议。用户可能会在一段时代后再行复返 APP，这种蔓延反馈与围棋比赛中的阿尔法 go 访佛，需要在多步之后进行评估。

传统的保举算法在处理这种蔓延反馈时靠近挑战，因为它们难以平直优化永远反馈。比拟之下，强化学习行为一种梗概平直最大化永远奖励的递次，相称恰当处置这类问题。在此场景下，咱们将问题建模为一个无尽序列的马尔可夫决议经过，其中每次用户灵通 APP 都被视为一个新的运行。保举系统在每个门径中复返六个视频行为动作，用户则给出即时反馈。经过屡次交互后，用户可能离开 APP 并不才一个会话中再行灵通，这组成了会话之间的回拜时技艺隔。

强化学习的方针在于最小化多个会话间的累计回拜时技艺隔，这在统计上等同于提高用户对平台的拜谒量。值得留意的是，与之前强化学习在保举系统中的应用不同，这次递次初次针对回拜时技艺隔进行优化，组成了一个改进点。这种递次不仅有助于提高用户喜跃度和留存率，还为强化学习在保举系统中的应用开导了新的想路。

2. 基于无限域申请的马尔可夫决议经过

图片

为了更详尽地处置这一问题，咱们对模子进行了更潜入地构建。在咱们的模子中，情景涵盖了用户的属性、历史记载以及候选视频的特征。而动作则指的是交融多个即时排序函数的经过，即生成一个排序打分的向量。值得留意的是，咱们所处理的现实空间是一个一语气空间，最终方针是最小化多个会话之间的回拜时技艺隔。通过这么的建模和优化，咱们梗概更精确地透露用户活动，并提供更适当其偏好的视频保举，从而提高用户体验和喜跃度。

3. 用户留存算法的强化学习

图片

接下来将潜入琢磨这一递次的磨练经过。咱们所遴选的是一个 active critic 学习框架，其中枢在于优化回拜时代方针过甚与即时信号 critic 值之和。在 critic 的学习经过中，举例关于留存率（retention）这一信号，咱们遴选了一种基于 TD-learning 的递次，其机制访佛于 TD3 递次。

关连词，当波及到即时响当令，情况变得更为复杂。为了特别只是学习立即互动、转发时长等信号，咱们引入了一个 RND 集中。这一集中源自立化学习中的探索递次，用于盘算每个样本的探索价值，并将其行为内在奖励来增强样本。

在现实应用中，活动者（actor）会字据每个申请的输入情景输出一个 K 维的动作向量。这一向量与监督学习模子的打分进行内积运算，最终得到一个排行分数（ranking score）。基于这一转名分数，咱们会选出前 6 名的视频呈现给用户。

通过这一笼统递次，梗概更精确地欢娱用户需求，提高用户体验，并在保举系统中竣事更高效和个性化的内容保举。

4. 离线和在线实验

图片

咱们对所提倡的递次进行了离线和在线的考据。在离线考据中，基于知名的短视频保举平台快手的数据，咱们构建了一个公开数据集和模拟器。通过对比黑盒优化的CEM 递次和 TD3 递次，咱们发现提倡的 RLUR 递次在复返时代和用户留存率上均推崇出权贵的提高。此外，咱们还进行了在线考据，终结标明，相较于基线 CEM 递次，RLUR 递次权贵提高了 APP 的打卡频次和用户留存率，考据了其在现实保举系统中的有用性。这些实验终结充分讲明注解了 RLUR 递次在现实应用中的后劲和价值。

04

强化学习改日挑战

图片

在琢磨强化学习递次的改日挑战时，咱们需缓和几个中枢问题。最初是样本效果问题，强化学习模子相较于监督学习模子，经常需要更大的样本量和更长的磨练时代。为处置这一问题，可能需要商议并应用更为高效的样本期骗算法。其次，面对疏淡奖励的问题，需要探索更为智能的探索计策来鲁莽。

此外，强化学习模子的泛化性能亦然一个迫切议题。不错鉴戒多任务学习和毕生学习的算法，尝试提高模子在不同环境和任务间的恰当武艺。同期，多智能体环境下的相助问题以及非澈底信息博弈中的多智能强化学习问题，亦然改日商议的迫切场地。

终末，咱们还需要缓和强化学习在现实应用中的改进点，以及在大模子中的高效竣事。这些场地的商议将有助于鼓励强化学习在现实问题中的等闲应用和性能提高。

以上即是本次共享的内容，谢谢环球。

图片

本站仅提供存储工作，通盘内容均由用户发布，如发现存害或侵权内容，请点击举报。