数学基础
如果你能够顺畅地读懂深度学习论文中的数学公式,可以独立地推导新方法,则表明你已经具备了必要的数学基础。
掌握数学分析、线性代数、概率论和凸优化四门数学课程包含的数学知识,熟知机器学习的基本理论和方法,是入门深度学习技术的前提。因为无论是理解深度网络中各个层的运算和梯度推导,还是进行问题的形式化或是推导损失函数,都离不开扎实的数学与机器学习基础。
数学分析
在工科专业所开设的高等数学课程中,主要学习的内容为微积分。对于一般的深度学习研究和应用来说,需要重点温习函数与极限、导数(特别是复合函数求导)、微分、积分、幂级数展开、微分方程等基础知识。在深度学习的优化过程中,求解函数的一阶导数是最为基础的工作。当提到微分中值定理、Taylor公式和拉格朗日乘子的时候,你不应该只是感到与它们似曾相识。
线性代数
深度学习中的运算常常被表示成向量和矩阵运算。线性代数正是这样一门以向量和矩阵作为研究对象的数学分支。需要重点温习的包括向量、线性空间、线性方程组、矩阵、矩阵运算及其性质、向量微积分。当提到Jacobian矩阵和Hessian矩阵的时候,你需要知道确切的数学形式;当给出一个矩阵形式的损失函数时,你可以很轻松的求解梯度。
概率论
概率论是研究随机现象数量规律的数学分支,随机变量在深度学习中有很多应用,无论是随机梯度下降、参数初始化方法(如Xavier),还是Dropout正则化算法,都离不开概率论的理论支撑。除了掌握随机现象的基本概念(如随机试验、样本空间、概率、条件概率等)、随机变量及其分布之外,还需要对大数定律及中心极限定理、参数估计、假设检验等内容有所了解,进一步还可以深入学习一点随机过程、马尔可夫随机链的内容。
凸优化
结合以上三门基础的数学课程,凸优化可以说是一门应用课程。但对于深度学习而言,由于常用的深度学习优化方法往往只利用了一阶的梯度信息进行随机梯度下降,因而从业者事实上并不需要多少“高深”的凸优化知识。理解凸集、凸函数、凸优化的基本概念,掌握对偶问题的一般概念,掌握常见的无约束优化方法如梯度下降方法、随机梯度下降方法、Newton方法,了解一点等式约束优化和不等式约束优化方法,即可满足理解深度学习中优化方法的理论要求。
机器学习
归根结底,深度学习只是机器学习方法的一种,而统计机器学习则是机器学习领域事实上的方法论。以监督学习为例,需要你掌握线性模型的回归与分类、支持向量机与核方法、随机森林方法等具有代表性的机器学习技术,并了解模型选择与模型推理、模型正则化技术、模型集成、Bootstrap方法、概率图模型等。深入一步的话,还需要了解半监督学习、无监督学习和强化学习等专门技术。
从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示:流向图是一种能够表示计算的图,在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合,它可以被允许在每一个节点和可能的图结构中,并定义了一个函数族。输入节点没有孩子,输出节点没有父亲。
这种流向图的一个特别属性是深度(depth):从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间,另一个对应于所产生输出的线性混合)。 需要使用深度学习解决的问题有以下的特征:
深度不足会出现问题。
人脑具有一个深度结构。
认知过程逐层进行,逐步抽象。
深度不足会出现问题
在许多情形中深度2就足够表示任何一个带有给定目标精度的函数。但是其代价是:图中所需要的节点数(比如计算和参数数量)可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。
我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示,无论是用深的或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构,那将不可能很好地泛化。
大脑有一个深度架构
例如,视觉皮质得到了很好的研究,并显示出一系列的区域,在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联,因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入,并在层次的更上层有着更多的抽象特征,他们根据低层特征定义。
需要注意的是大脑中的表示是在中间紧密分布并且纯局部:他们是稀疏的:1%的神经元是同时活动的。给定大量的神经元,仍然有一个非常高效地(指数级高效)表示。
认知过程逐层进行,逐步抽象
人类层次化地组织思想和概念;
人类首先学习简单的概念,然后用他们去表示更抽象的;
工程师将任务分解成多个抽象层次去处理;
学习/发现这些概念(知识工程由于没有反省而失败?)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示:仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。
烧伤深度的分类采用三度四分法,即表皮烧伤(I度),真皮浅层烧伤(浅n度),真皮深层烧伤(深n度)和全层皮肤、皮下脂肪甚至肌肉、骨骼等烧伤(m度)。
(1) I度烧伤:伤及表皮浅层,生发层存在。表现为皮肤灼红,痛觉过敏,干燥无水疱,3〜7天愈合,脱屑后初期有色素加深,后渐消退,不留痕迹。
(2) 浅n度烧伤:伤及表皮的生发层、真皮乳头层。局部红肿明显,大小不一的水疤形成,剧痛,水疤大、皮薄,基底潮红、明显水肿。
创面由残存的生发层及毛囊、汗腺等上皮细胞的增生修复,不留疤痕,1〜2周后愈合,可留有不同程度的色素沉着,数月后自行恢复。 (3) 深n度烧伤:伤及皮肤的真皮层,感觉迟钝、有拔毛痛。
水疱小、疱皮厚、基底苍白。3〜5周创面愈合,留下不同 程度的疤痕。
(4) m度烧伤:全皮层烧伤甚至达到皮下、肌肉或骨筋。痛觉消失,创面呈焦痂,表皮干燥、发凉,无水疱,触如皮革,知觉丧失。
焦痂上的毛发易拔除,且拔除时无痛觉。痂下严重水肿。
创面的修复依赖于周围健康的上皮向中心生长。较大的创面需植皮才能愈合,由于皮肤及其附件全部受损,创面无上皮生长能力。
关于数学基础有的同学有数学基础,但是缺乏 C++/Python 编程语言;有的同学没有数学基础,是否可以学?数学基础需要到什么程度?如果提前学习是否有资料推荐?【回答】首先学习本门课程并不需要特别高的数学基础,只需要掌握大学本科阶段学习的高等数学、线性代数和概率论等课程。
虽然从应用角度上来看:如果想要深入研究深度学习,比如完全自己实现不同结构的网络,设计网络的层与参数最好能够熟练运用矩阵理论中的相关工具,但是我相信如果职业道路规划不是算法工程师,一般并不会深入到这一层面。对应于不同应用领域,还需要不同的数学工具,比如和图像、信号识别相关的领域,图形学等相关的基础功底是必须要有的,但这个已经是复杂的现实应用问题了,并不在本门课程的教学范围之内,本门课程的应用领域还是相对较为简单的。
实际上,如果你是一个工科生,你会发现学习数学最难的地方就是不理解这些数学工具到底能帮助我们去解决什么问题,因为大学老师大多数都是数学专业老师,并不会从学生各自专业的角度来讲解数学问题。但是当你知道你需要用数学工具做什么,有一个明确目标后,你会发现你的动力和学习能力将会有一个突破,你不会觉得这些数学知识是枯燥乏味的。
因此哪怕你的数学基础相对薄弱,有一个明确的目的,再去补充这些数学知识,相信学员自己一定能解决这个问题。数学也绝对不是学习这门课的障碍,但是如果你想以其作为职业,去打好这个数学的底子是不可或缺的。
最后,如果你是数学专业,或者觉得自己数学很好的学生,你们也更不用担心不会 1、2 门语言,因为计算机语言只是一种工具,最关键的还是训练自己的思维,这种思维的核心就是数学和算法。如果你数学很好,学习这些语言是很快的,而且本门课程中除了最后的 C++ 开发,也不会应用到什么特别的语法特性。
但是另一方面也不要忽视学习好这些工具的重要性,只是希望学生自己能够权衡。对数学好的同学来说,可能最致命的是一个误区,因为计算机的基础是数学,所以完全使用数学思维去解决计算机问题是没问题的,我这里只能说计算机有自己的思维模式,哪怕是那些基于数学原理的算法问题,所以数学专业的同学必须要学会认识到这种思维的差异并学会使用计算机的思维来解决问题,而机器学习则是计算机思维的一个典型代表,这个将会在课程中具体讨论。
至于需要的数学基础,肯定是希望同学能够学习高等数学中的微积分,线性代数和概率论的相关知识,对于没有实际编程经验的学生则推荐深入学习一下离散数学(无关乎是否精于数学)。本门课程需要的数学基础也就是这些了。
(1)建筑物的功能和用途,有无地下室,设备层和地下设施,基础型式和构造; (2)作用在地基上的荷载大小和性质例如高层建筑,竖向荷载大,又受风力和地震水平荷载,采用筏形基础和箱形基础的埋置深度随着高度增加应适当增大,不仅应满足地基承载力的要求,还要满足变形和稳定性的要求,除岩石地基外其埋置深度不宜小于建筑物高度的1/15,桩箱或桩筏基础埋置深度(不计桩长)不宜小于建筑物高度的1/18~1/20;位于岩石地基上的高层建筑,常需依靠侧面岩土体来承担水平荷载,其基础埋置深度应满足搞滑要求。
(3)工程地质和水文地质条件根据场地岩土层分布情况,在满足地基稳定和变形要求的前提下,基础应座在工程地质性质较好的持力层上,当存在软弱下卧层时,基础应尽量浅埋,加大基底与软弱下卧层顶板的距离;当土层分布明显不均匀或各部位荷载差别很大时,同一建筑物的基础可以采用不同的埋深对不均匀沉降进行调整。 除岩石地基外,基础埋深不宜小于0。
5m。基础宜埋置在地下水位以上,当必须埋在地下水位时,应考虑施工中可能出现的涌土、流砂的可能,采取基坑排水、坑壁围护等使地基土不受扰动的措施,沿应考虑基础由于水浮力有可能上浮等问题。
(4)相邻建筑物基础埋深相邻建筑,由于附加应力的扩散和叠加,使得太近的两幢新老建筑产生附加的不均匀沉降,有可能使建筑物开裂或倾斜。 新建筑物的基础埋深不宜超过原有建筑物基础的底面,否则应保持一定的距离,其数值应根据原有建筑荷载大小、基础形式和土质情况确定,一般不小于相邻基础底面高差的1~2倍,不能满足上述要求时,应采取分段施工、设临时加固支撑、打板桩、地下连续墙等施工措施,或加固原有建筑物地基等措施以保证已有建筑物的安全。
(5)地基土冻胀与融陷的影响当冻土厚度较大,土温比较稳定,或不采暖建筑,基础始终处于冻土层的“保持冻结法”设计原则。对上部结构刚度较好或对不均匀沉降不敏感的或高温车间、浴室等,按允许融化原则设计较合理。
声明:本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
蜀ICP备2020033479号-4 Copyright © 2016 学习鸟. 页面生成时间:4.001秒