猫眼影戏
 |
|
猫眼影戏
王力可
手机检察
猫眼影戏记者 吴昕 报道w3u7903ejky2ywls
机械之心报道
机械之心编辑部
不必换模型、不必堆参数，靠 SUGAR 模型性能大增！
在深度学习领域中，对激活函数的探讨已成为一个独立的研究偏向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。
尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。
然而 ReLU 单位易陷入所谓的「死亡 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一现象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。
正是死亡 ReLU 问题催生了大宗革新的线性单位函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值引入非零激活，提供了差别的权衡。
本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的要领：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情况下解决了 ReLU 的局限性。即前向流传仍使用标准 ReLU（坚持其稀疏性和简单性），反向流传时替换 ReLU 的导数为一个非零、连续的替代梯度函数（surrogate gradient）。
这样可以让 ReLU 在坚持原始前向行为的同时，制止梯度为零的问题，从而复生死神经元。
基于此，本文还设计了两种新型替代梯度函数：B-SiLU（Bounded SiLU）、 NeLU（Negative slope Linear Unit），可以无缝集成到种种模型中。
本研究的进一步孝敬如下：
本文对 VGG-16 和 ResNet-18 进行了全面的实验，标明 SUGAR 显著增强了这两种架构的泛化能力。本文在Swin Transformer和 Conv2NeXt 等现代架构上对 SUGAR 进行了评估，展示了其适应性和有效性。对 VGG-16 层激活的深入剖析标明，当应用 SUGAR 时，激活漫衍爆发了明显的变革，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时增进了更稀疏的体现。
SUGAR 要领易于实现，并在前向流传中始终接纳 ReLU 激活函数。与所提出的 B-SiLU 替代函数结合使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率划分提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模型相比，划分提升了 9 个百分点和 7 个百分点。
论文题目： The Resurrection of the ReLU论文链接：https://arxiv.org/pdf/2505.22074
SUGAR 介绍
本文提出的要领将 FGI （ Forward gradient injection ）应用于具有平滑替代函数的 ReLU 网络中。在 SUGAR 框架下， FGI 可以体现为：
该公式实现了梯度注入，并确保纵然关于负激活也能进行梯度流传。具体来说，利用 [34] 中的乘法技巧，替代梯度函数的直接注入如下：
替代函数的选择具有灵活性，可兼容目今最先进的种种激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。
要害区别在于，与 ReLU 差别，这些候选替代函数均具有一个配合特征：对负输入（x < 0）能爆发非零梯度。虽然这些函数为负激活提供了梯度流通路径，但前向流传及后续损失盘算仍严格依赖 x > 0 时的激活输出。
在开端研究中，本文意识到需要调解目今的激活函数以适应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置良好匹配的新替代函数。
B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit） 的新型激活函数，它结合了自门控特性和可调下限参数。从数学上讲，该函数可以体现为：
B-SiLU 激活函数的导数为：
图 8 中可视化了 B-SiLU 及其导数。
NeLU：本文进一步引入了 NeLU（Negative slope Linear Unit），作为 ReLU 的平滑导数替代品。
最终的梯度如图 1 所示。
实验
总体而言，与 ReLU 基线相比，SUGAR 结合 ELU、SELU 以及特别是 B-SiLU 获得了最大的提升，而 LeakyReLU 和 NeLU 则始终体现不佳（见图 2）。在 CIFAR-10 数据集上使用 ResNet-18 作为主干网络时，B-SiLU 的性能从 76.76% 提升到 86.42%，得益于 SUGAR。VGG-16 也体现出类似的效果：B-SiLU 将测试精度提高了近 10 个百分点（从 78.50% 提升到 88.35%）。
在 CIFAR-100 数据集上，SUGAR 结合 B-SiLU 的优势越创造显：ResNet-18 的准确率从 48.99% 跃升至 56.51%，VGG-16 的准确率从 48.73% 提升至 64.47%（见图 3）。同样，Leaky ReLU 和 NeLU 仅显示出微小的甚至是负的提升（例如 ResNet-18 上的 43.67% → 43.41%）。
总的来说，B-SiLU 在差别架构和数据集上均优于其他替代激活函数，ELU 和 SELU 能够提供可靠的革新，而在这种设置下，SUGAR 从 Leaky ReLU 和 NeLU 中并未获得有意义的益处。
当应用于 Conv2NeXt 时，如表 1 所示，SUGAR 在前向和反向流传历程中均始终优于使用 GELU 的基础模型。
了解更多内容，请参考原论文。
??时事1：浙江少妇按摩6911
??06月06日,双台风将为东部及南部海域带来较强风雨,
“孩子不怕！”
,甘雨裸乳被爆❌白浆的动漫。??06月06日,香港175人涉诈骗及洗黑钱被捕 累计骗款超过7.8亿港元,
5、学龄前儿童在街道或公路上行走，须有成年人领导;
,星野4月26号录屏回放免费高清版,亚洲AV㊙️无码一区宫下华奈,91少妇高潮喷水白浆。??时事2：日本肥妇大毛BBBBBB
??06月06日,外交部发言人就瑙鲁政府宣布同台湾“断交”、愿同中国复交答记者问,
5、防溺水：天气慢慢变热，防溺水是本期宁静事情重点。禁止到池塘、河滨等危险处玩耍、洗澡、捉鱼摸虾等，严防溺水事故的爆发。
,动漫美女和男人❌❌视频,欧洲少女免费观看,🈲色情小黄书网站2024。??06月06日,中国金花汤千慧遗憾无缘广网女双决赛,
山洞极深，与地下暗河相连，冷风嗖嗖，孩子们面面相觑，有些犯愁，怎么回石村？都不敢出去。
,喝圣水黄金拉屎视频,裸体爆乳羞羞❌网站视频XXX,汤姆维的姐姐电影。??时事3：宝宝⋯腿张大点就不疼了
??06月06日,雪后沈阳故宫银装素裹 尽显浪漫,
2、调解好精神状态，不可散漫看待学习。包管富足的睡眠时间，第二天才会有饱满的精神状态看待学习。同时，更要积极的调动学习热情，全身心投入到学习中去，严格要求自己，今天的耕作即是明天的收获；一份支付就会有一份回报。
,女奥特曼的胸大小排名,被主人各种玩具姿势C到爆漫画,羞答答🈲精成人品在线观看。??06月06日,三岁幼童万米高空被噎 广西南宁为航班备降开辟生命通道,
厂长新年讲话（通用3篇）
,人与野鲁HD,苹果手机如何截出❤截图,性欧美18ⅩXOO极品少妇。??时事4：男生露jiji秘免费网站
??06月06日,科威特南部建筑物发生火灾 至少35人死亡,
眨眼前，这个巨族的人马全军淹没，都成了俘虏。
,面具公社网页,free性满是HID老太婆,在线观看18🈲️。??06月06日,广西平果哈嘹足球队赴文莱参加友谊赛 足球为媒促人文交流,
大战很是惨烈，灰发老人发疯，而四大至强者也拼命，霞光霍霍，瑞彩缭绕，杀气澎湃，大战到了白热化。
,天然冰透🈵️色满肉樱花粉手,嫩草官网,美女被❌到爽🔞高潮草莓软件。责编：康军
审核：李小萌
责编：邵建华
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳许可证 - 音像制品出书许可证 - 广播电视节目制作经营许可证 - 网络视听许可证 - 网络文化经营许可证
山东省互联网传媒集团主办 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
