手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第1页）
2014年，人工智能领域正处于深度学习的快速发展时期，但在训练深层神经网络时，仍存在一些无法绕过的核心难题，其中“梯度消失”和“梯度爆炸”问题尤其突出。
当马库斯和林枫的对话逐渐转向这些人工智能瓶颈时，他们自然聊到了这个话题。
对于人工智能涉及到的梯度消失和梯度爆炸这个问题，对于前世就从事人工智能方面工作的林枫来说，他自然是不陌生。
梯度消失和梯度爆炸是神经网络训练中常见的问题。
了解梯度消失和梯度爆炸首先要了解神经网络。
简单说，神经网络是一种模仿人脑工作原理的计算模型。
它由很多“神经元”组成，这些神经元分成多层，数据会从一层传到另一层，最终得到一个结果。
训练神经网络的过程就是不断调整这些神经元之间的“连接强度”，让网络的输出越来越接近我们想要的结果。
为了调整神经网络中的这些连接强度，我们需要用到一种叫“梯度”的东西。
简单来说，梯度就是用来指引我们“往哪里走”的方向，就像你爬山时要知道往哪边是上坡、哪边是下坡。
我们通过“梯度”来知道哪些参数需要调整，从而让网络的表现变得更好。
那“梯度消失”和“梯度爆炸”又是什么呢？
假设你在玩一个滑滑梯，当你站在滑梯的最高处，往下滑时，你能很快感受到速度在增加，因为坡度很大。
但是，如果滑到快要到底部的地方，坡度变得很小，你几乎就感觉不到滑动的速度了。
这里的“坡度”就像是“梯度”——当坡度变小，滑动的速度也变小。
在神经网络中，类似的事情也会发生。
如果我们给网络很多层，它们之间的梯度会越来越小，传到前面几层时，梯度几乎“消失”了。这就是“梯度消失”问题。
梯度太小，无法有效调整那些神经元的连接强度，网络的训练就会变得非常困难。
想象你在爬一个大山，山的坡度越来越平，最终你几乎感受不到自己在上升了，这时你很难再判断该怎么继续往上爬。
在神经网络里，梯度消失的问题就是这种感觉，网络不知道该如何继续改进。
而梯度爆炸又是另外的一个极端。
假设这次你站在一座非常陡的悬崖边，一不小心就滚下去了！
因为坡度太陡了，你的速度变得非常快，失控了。
在神经网络中，这种情况也被称为“梯度爆炸”
穿越大唐：打造最强工业园 综穿带着王者系统当bKing 穿越后，我被新帝瞄上了 人在四合院：我能看见弹幕 我在都市学会了修真直到无敌于世 清末小旗兵 祁木温年 你跟我很想至少一半以上 轮回天帝 费伦大陆的普通奇幻冒险 小小领主不好惹！惹急眼了争天下 鬼魂与反派的禁忌之恋 趣谈老祖宗那些事儿 全民巨鱼求生：我能听到巨鱼心声 我有无限分身，成就仙帝不过分吧 八零：迫嫁糙汉怀上三胞胎 贾二虎的迷乱青春续集 第四天灾：我的玩家会修仙 纨绔女王爷：腹黑夫君别使坏 致命毒宠，凛冬玫瑰
最后的三国2：兴魏
曹亮穿了，成为了曹魏宗室的曹三代。 相比于纵横捭阖的曹一代守成有余的曹二代，曹三代实在是麻绳穿豆腐提不起来，士家坐大，司马专权，曹魏的天下已是...
嫁给摄政王后我躺赢了
顾家嫡女，明眸皓齿，身份尊贵，本是盛京娇纵任性被捧在掌心的小郡主。然而被萧行洗脑后，为他坏事做尽，以顾家权利帮他谋权篡位，活该至亲身首异处，流落青楼楚馆之中。自带乌鸦嘴穿书后，顾莞莞唯一梦想当一只咸鱼，悠闲活到大结局，可惜狼人在旁，顾莞莞瞧上小说中，痴心喜欢女配，死后为女配建立衣冠冢冠以妻子之名的男人。顾莞莞用尽浑身解数撩了唐裕很长时间，都未见男人有片刻心软。天涯何处无芳草，换个男人又何妨。就在顾莞莞准备放弃时，那如高岭之花一般的唐裕频频为顾莞莞跌下神坛。长公主为女儿张罗纳夫君，每每被顾莞莞相中的少年郎次日都忧心慌慌前来退亲，全家人都在思虑怎么回事时，顾莞莞只身闯进摄政王书房。见状商量朝政大臣懂事的离开，顾莞莞步步紧逼，摄政王毁人婚事，非君子所为。顾莞莞被反手扣在摄政王的怀中，耳鬓厮磨，那些男人看中的是顾家权利都靠不住，不如二哥哥赔你一个夫君。小姑娘被撩的红了脸，谁。摄政王笑的阴测绯绯我。如果您喜欢嫁给摄政王后我躺赢了，别忘记分享给朋友...
邪王宠成瘾：精分王妃戏不停
这宁王妃慕容恩可是出了名的循规蹈矩，也不知怎的一失足竟摔成了精分戏精。时而刻板，时而机灵，时而温婉，时而霸气，把死水一般的王府生活，搅得是鸡飞蛋打啼笑皆非！王爷，今夜良辰美景佳人在怀，不如，把钱结一下呗？！王妃可是忘吃药了？怎么一谈钱就吃药，王爷，您讲点职业操守好不好？！本文纯属轻松消遣，切勿较真。如果您喜欢邪王宠成瘾精分王妃戏不停，别忘记分享给朋友...
让你代管火凤凰，全成女兵王了？
林锋穿越到特种兵世界，成了水木大学高材生，还有个当特战中队长的小姨龍小云？刚被小姨龍小云安排完美人生，却偷偷参加了狼牙特种兵的选拔。成绩合格，竟然被龍队宣布是作弊，林锋顿时不乐意了绑定超强兵王系统的林锋开始以自己的实力在龍姨面前证明自己。什么，范天坑来挖人？龍小云抱歉，他是作弊的成绩什么，雷战给林锋下马威？龍小云雷战，看来你是要和我比划比划了什么，我只是让大侄子林锋在部队里面吃几天苦知难而退，你却告诉我他当特战队长，成了兵王？如果您喜欢让你代管火凤凰，全成女兵王了？，别忘记分享给朋友...
八零小甜妻
武眉明明貌美如花，可却从小被人叫做丑八怪，爹不亲娘不疼，姐姐还是朵黑莲花。重生前，武眉自卑懦弱胆小，只以为她是个真正的丑八怪。重生后，严明顺告诉她眉眉，你比花更美，比蜜更甜。简言之，这就是一个心无大志，双商都不高只剩下一副好皮囊的小女人重生回来被人扑倒再扑倒的甜蜜故事。...
妖娘娘饶命
这是一个山中恶妖强娶小道士的故事。陆宽宽与高止拜了堂成了亲，本以为可以立即采阳补阴，谁料这小道恪守五戒，一心只想得道升仙。呵，成仙？陆宽宽怎么可能让他如愿？他登了天，谁给她提供上好的阳气去？于是，高止收一个妖鬼，陆宽宽就杀一个妖鬼。想积足福报离她而去？她非要让他孽怨缠身，不得飞升。高止也是倒霉，他本是灵宝派小道，苦修十多年，不碰温香，不沾荤腥，自诩清正，好不容易成了灵宝派最年轻的箓生，谁知遇上陆宽宽之后，五戒尽破，甚至与其无媒苟合，终落了个修为尽失的下场。1V1势均力敌小扑街觉得如果收藏破一百，就是HE。没破就是BE。以慰藉我受伤的心灵。如果您喜欢妖娘娘饶命，别忘记分享给朋友...