网站访问代理在线asp.net网站开发教程

网站访问代理在线,asp.net网站开发教程,做网站聚合做权重难吗,线下推广是做什么的1. 指数加权平均对这个概念#xff0c;我们用一个例子来一步步引入#xff0c;假定下面这组数据是一周的气温#xff1a;从周一到周日1.1 平均数我们先从最基本的“平均”开始。不用再多提#xff0c;这组数据的简单平均为#xff1a;而对于这种最基本的平均值#xff0c…1. 指数加权平均对这个概念我们用一个例子来一步步引入假定下面这组数据是一周的气温从周一到周日1.1 平均数我们先从最基本的“平均”开始。不用再多提这组数据的简单平均为而对于这种最基本的平均值我们得到就是这一周气温的“平均水平”在这个“平均水平”里每一天的温度都是同等重要的。因此对于平均数我们往往用它和数据本身作运算用数据和平均值的运算来量化“波动”。而现在有这样一个问题假如我是一个爱家人的笨蛋打工人在一周里相比工作日我更希望知道周六日的温度适不适合我带家人出游。 我想确认看看上周末的气温但是我忘了上周的具体气温只对一个平均值有印象。那在这种情况下我更希望这个平均值和周六日的气温更接近而不是周六日的气温被工作日的气温“拉平了”。应对这种情况的就是下一步加权平均数。1.2 加权平均数继续上面的例子我们希望“平均值”更贴近周六、周日的气温。这时候“每一天同等重要”的普通平均就不够用了我们需要让“重要的日子权重大”不重要的权重小于是就有了加权平均数其中是数据是权重代表“这个数据点的重要程度”。我们来看看仍然是那组气温周一到周日现在为了让平均值更反映出周六日的温度我们把工作日周一周五权重都设为而把周六、周日权重设为。那么加权平均值就是你会发现它比普通平均更偏向周末的气温11℃、15℃。总结一下加权平均数会往“权重大”数据靠近。可是又有一个问题上一周的气温不一定和这一周类似。一年有四季气温会随时间不断变化尤其在换季的时候可能这一周突然降温而你上周的平均气温却还停留在“秋天的温柔”里。在这种情况下如果我们还继续对所有天数给固定权重就会出现一个问题一个月前的周末和昨天的周末“权重”一样大这是不合理的因为在小范围里过去越久的气温对预测明天的气温参考价值越小再次强调小范围而现在如果我想预测本周末的气温更合理的做法应该是根据更近的信息去预测。总结一下在现在这个受时间影响的气温预测问题中时间越久的数据对我们当前判断的帮助越小越近的数据更应该影响我们对“当前平均水平”的认识。你可能会说那就按时间顺序给越往前的数据越小的权重这个思路是对的可是实施起来我们难度要每过一天就给所有的数据排新的权重吗能解决这个问题的就是这部分的主角指数加权平均数。1.3 指数加权平均数Exponential Moving Average, EMA刚才我们说到了一个关键需求我们希望越新的气温越影响我们对当前“平均气温水平”的判断越旧的数据影响越小。如果继续用加权平均数每过一天就重新给所有数据分配一次权重这样不仅麻烦还不够灵活。于是指数加权平均数出现了他可以实现让旧数据的权重自动随时间“指数衰减”。即越早的数据影响越弱、越近的数据影响越强而我们完全不需要手动更新所有权重。具体来说我们给出一个参数它叫“衰减因子”或 “平滑系数”代表我们对“历史印象”的依赖程度展开来说越大 → 越“念旧”更看重过去积累的平均值越小 → 越“看重当下”今天冷一点你马上觉得“最近都好冷”而具体实现这个逻辑的公式也就是指数加权平均值公式就是它的含义非常直观今天我认为的平均气温水平一部分保留昨天的印象一部分采纳今天的真实气温。我们仍然用这组数据来说明周一到周日我们固定设置开始并使用一个比较温和的参数周一10℃ 周二16℃ 周三12℃ 依次类推表示到第天为止根据指数加权平均计算出的“当前平均值”展开两个小问题(1) 指数加权平均的“权重到底是怎么变小的”把今天第天的平均展开可以看到每一天对今天平均的影响可以发现今天权重昨天权重前天权重很明显随着时间往回走权重呈指数式衰减。这就是“指数平均”在一层层迭代中让越远的数据权重越小。(2) 衰减因子的物理含义我们展开一下时的权重衰减示例如下天数 权重 累计权重比今天 0.70 70%昨天 0.21 91%前天 0.063 91.6%大前天 0.019 91.8%四天前 0.006 91.86%可以看到当较大时历史数据仍然有显著权重指数平均“记忆长”当较小时历史数据迅速衰减指数平均更重视近期数据。我们可以用等效天数量化的影响表示今天权重对应普通平均的天数也可以理解为历史信息平均贡献的有效天数。→天 → 平均更重视今天→天 → 平均包含更多历史信息→天 → 历史数据记忆很长这样就可以根据需求确定一个较合理的衰减因子。1.4 指数加权平均的偏差修正Bias Correction刚才我们用公式计算得到指数加权平均值。但是如果我们从开始会发现前几天的往往偏低。这是为什么呢原因很简单初始值并没有反映真实平均值因为前几天的 EMA 都会被这个“零值”拉低从而产生偏差。举个例子假设我们继续用前面的气温数据天数 实际气温EMA周一 10 7.0周二 16 13.3周三 12 12.39你会发现周一的 EMA比实际温度低得多周二也略低于真实平均。为了修正这种“初始偏差”我们引入偏差修正其中分母的作用是把初始零值对 EMA 的拉低影响消掉随着时间增大偏差修正的影响自然消失。继续刚才的例子我们看看修正后的 EMA周一周二周三可以看到经过偏差修正后EMA 在前几天就能更真实地反映数据水平同时随着增大偏差自动消失。总结一下EMA 的初始值会导致前几天平均被“拉低”用可以快速修正偏差同时也不影响后续数据。2. 学习率衰减我们在此之前一直用梯度下降法来不断调整参数让损失函数越来越小。在这个过程中学习率learning rate控制每次参数更新的步幅我们称其为一个超参数需要我们手动地设置但怎么设置好像并没有一个公认的科学标准。因为更好的方法是在训练中动态调整而不是像我们之前一样使用一个固定值。我们早说过学习率设置得太大或者太小都会影响训练效果太大容易“蹦得太远”跳过最优点训练可能不稳定 在谷底两侧来回跳下不去 太小每次更新太慢训练收敛速度非常慢 十年下不来山。所以为了兼顾速度和稳定性更好的方法是不是动态地调整步幅即快点下山然后细细地找谷底。这个调整的学习率的过程就叫学习率衰减Learning Rate Decay。Pasted image 202511082130282.1 局部最优的情况在训练过程中参数更新的路径往往不是一条直线而是像爬山/下谷一样崎岖不平有时候我们可能先到达一个局部最优点Local Minimum不是全局最优但梯度很小参数更新几乎停滞。如果学习率保持不变我们可能永远停在这个局部最优无法进一步优化。要强调一点的是在高维参数空间里局部最优点往往不是局部最小值而是鞍点大家了解即可。Pasted image 20251108213416这就像走在山谷里如果你步子太小爬不出小山丘步子太大又可能越过真正的大山谷。解决这个问题的一个策略就是先大步快走大学习率再小步精修小学习率。这也是学习率衰减的核心思想训练初期学习率大快速收敛覆盖较大的参数空间训练后期学习率小精细调整避免“来回震荡”更稳定逼近最优解。2.2 常见的学习率衰减方法和 EMA 类似学习率衰减也可以看作随着训练步数历史信息逐渐被“淡化”步幅逐渐变小。常见方法有以下几种1固定衰减Step Decay最简单的方法每隔固定训练轮次将学习率缩小一个比例。公式其中初始学习率衰减比例例如 0.5步数间隔轮次epoch举个例子假设初始学习率每训练 10 个 epoch 衰减一次衰减比例epoch 学习率1~10 0.111~20 0.0521~30 0.025可以看到学习率像阶梯一样逐步降低训练初期大步后期小步。2指数衰减Exponential Decay和 EMA 很像每一步训练后学习率按指数规律衰减衰减速率当前训练步数轮次epoch特点学习率连续衰减前期下降快后期下降慢类似 EMA 对历史数据权重的衰减。举个例子初始学习率衰减速率epoch学习率1234531/t 衰减Inverse Time Decay另一种方式是按时间倒数衰减初期衰减较快后期衰减逐渐减缓适合训练很长时间的模型举个例子假设初始学习率衰减速率计算前几个 epoch 的学习率epoch学习率123454自适应学习率方法有些优化器内置类似 EMA 的机制自动根据历史梯度调整每个参数的有效学习率相当于每个参数都有自己的“指数加权平均历史”训练初期快速更新后期逐渐收敛类似 EMA 的偏差修正和衰减效果结合起来。这类优化算法就是在实际应用中使用的也是之后要介绍的主要内容。要提前强调一点这种算法叫自适应学习率算法但是反而却并不会像上面的几个方法一样改变超参数意义里的学习率具体原理是什么样的我们之后就会了解到。3.人话版总结概念 基本原理 比喻平均数Mean 对一组数据求算术平均每个数据权重相同 所有数据都是等重要的朋友每个人的意见一样加权平均数Weighted Mean 给不同数据分配不同权重权重大 → 更影响平均值 更重要的人意见更大比如周末气温对出游更重要指数加权平均数Exponential Moving Average, EMA 历史数据权重按指数衰减越新的数据权重越大公式记忆力随时间衰减最近的印象更鲜明旧印象慢慢淡忘EMA 偏差修正Bias Correction 解决初始值导致前期平均被拉低问题刚开始看信息时容易低估真实水平修正后更准确学习率Learning Rate 控制梯度下降每次更新参数的步幅 下山步子大小步子大 → 快但可能蹦过谷底步子小 → 精确但慢学习率衰减Learning Rate Decay 随训练进程逐渐减小学习率提高收敛稳定性 先大步快下山再小步精细找谷底固定衰减Step Decay 每隔固定步数按比例缩小学习率 爬山每隔一段路就换小步走指数衰减Exponential Decay 学习率随训练步数按指数规律连续衰减 步子逐渐变小前期快后期慢1/t 衰减Inverse Time Decay 学习率按时间倒数衰减 前期快跑后期慢慢走自适应学习率方法Adaptive LR 每个参数根据历史梯度调整步幅类似 EMA 机制 每个腿根据走路经验自动调节步子大小更聪明地下山