56书库

手机浏览器扫描二维码访问

第583章 激活函数(第2页)

优点:

?可以平滑地过滤数据,避免“全进或全不进”这样极端的情况。

?适用于二分类问题(比如邮件是垃圾邮件还是正常邮件)。

问题:

?计算比较复杂,不像ReLU那么直接。

?当数据过大或过小时,变化很小,容易导致梯度消失(学习速度变慢)。

第四种情况:老张更加智能(Softmax激活函数)

有一天,老板告诉老张:“我们公司不仅有正式员工,还有不同的部门,比如工程部、市场部、财务部。你不能只区分‘进’或‘不进’,而是要把人分到不同的部门。”

于是,老张开发了一套更加高级的评分系统,不仅判断某人是否能进,还会计算他属于哪个部门的概率。

?如果一个人穿着工程师制服,90%可能属于工程部,10%可能属于市场部。

?如果一个人拿着营销资料,80%可能属于市场部,20%可能属于工程部。

?每个人都按照最高概率归类到相应部门。

这就像Softmax激活函数,它的作用是:

?把所有的可能性转换成概率分布(所有概率加起来是1)。

?适用于多分类问题(比如识别一张图片是“猫”、“狗”还是“兔子”)。

优点:

?适合多类别分类,可以告诉你**“最有可能”是哪一类**。

问题:

?计算量比ReLU大一点,但在分类任务中是最合适的。

总结:不同激活函数的角色

激活函数比喻适用场景优点问题

恒等函数(Identity)老张不筛选,所有人都能进线性回归简单直接不能处理复杂问题

ReLU老张只让正式员工进,其他人全拒深度学习、CNN计算简单,效率高负数全部变0,信息可能丢失

Sigmoid老张给每个人打分,决定能不能进二分类问题(垃圾邮件分类)平滑过渡,输出0-1概率容易梯度消失

Softmax老张不但决定谁进,还要分部门多分类问题(图像识别)适合多分类问题计算比ReLU复杂

结论:激活函数=智能筛选机制

?激活函数的作用就像门卫老张,决定哪些信息能进入下一层,哪些要被拒绝。

?不同的激活函数适用于不同的任务,ReLU、Sigmoid、Softmax各有千秋。

?深度学习的关键就是如何聪明地使用这些筛选机制,让神经网络学得更快、更准确!

你更喜欢哪个“门卫策略”呢?如果你是老张,你会怎么设计你的筛选规则?

喜欢职场小聪明请大家收藏:()职场小聪明

北域时空  三国:身为反贼,没有金手指  大反派女魔头,前世居然是男的  开局就长生,可我咋是奴隶啊  直播算命:你爹让你扔下水道了  等你一直等到老  穿书七十年代,过好自己的日子  被废静心多年,你们才开始后悔?  斩神:我道系青年,请个神合理吧  穿越之异世女领主  遗笑苍天  轮回塔  庶女当家日常  系统沙雕我添堵,一身反骨离大谱  高中三年,无人知道我已觉醒  开局逃荒直接掀桌  异能太强,大佬被特殊部门收编了  开局创建杀手组织,我威压诸天  兽世溺宠:蛇蛇我啊,万龙之母  海贼:从女帝开始,路飞持续崩溃  

热门小说推荐
龙符

龙符

苍茫大地,未来变革,混乱之中,龙蛇并起,谁是真龙,谁又是蟒蛇?或是天地众生,皆可成龙?朝廷,江湖门派,世外仙道,千年世家,蛮族,魔神,妖族,上古巫道,千百势力,相互纠缠,因缘际会。...

抢救大明朝

抢救大明朝

朱慈烺此贼比汉奸还奸,比额李自成还能蛊惑人心!闯王李自成立马虎牙山,遥望东南,感慨万千。慈烺此子忤逆不孝,奸诈凶残,简直是曹操再世,司马复生,让他当了皇帝,全天下的逆贼奸臣刁民一定会想念朕的!大明崇祯皇帝于明孝陵前,痛哭流涕。我冤枉啊!我洪承畴真的不是朱贼慈烺的内应,我对大清可是一片忠心啊!大清兵部...

乱世情歌:农门女将

乱世情歌:农门女将

一朝重生,亲爹从军阵亡,亲娘病死,留下体弱的弟弟和青砖瓦房几间。无奈家有极品亲戚,占了我家房还想害我姐弟性命!幸得好心夫妻垂帘,才有这安稳日子过。偶然山中救得老道一位,得其倾囊相授修得一身好武艺。骤闻亲爹消息,变身潇洒少年郎,入了天下闻名的孟家军,立军功当将军,可是那个总阴魂不散的小王爷是要搞哪样?虾米?威胁我?...

大国工程

大国工程

余庆阳一个搬砖二十年的老工程,梦回世纪之交,海河大学毕业,接老爸的班继续搬砖。用两辈子的行动告诉老师,搬砖不是因为我学习不好!是我命中注定要搬砖已有两本百万字完本书超级村主任最强退伍兵,可以放心入坑!大国工程书友群,群聊号码492691021新书重生之大国工匠...

大话之神

大话之神

一个热爱网络游戏的痴孩子,二不垃及的真神祝愿下进入了游戏的世界。。。。。。...

每日热搜小说推荐