深度学习的(深度学习需要哪些)

1.深度学习需要哪些基础知识

数学基础

如果你能够顺畅地读懂深度学习论文中的数学公式，可以独立地推导新方法，则表明你已经具备了必要的数学基础。

掌握数学分析、线性代数、概率论和凸优化四门数学课程包含的数学知识，熟知机器学习的基本理论和方法，是入门深度学习技术的前提。因为无论是理解深度网络中各个层的运算和梯度推导，还是进行问题的形式化或是推导损失函数，都离不开扎实的数学与机器学习基础。

数学分析

在工科专业所开设的高等数学课程中，主要学习的内容为微积分。对于一般的深度学习研究和应用来说，需要重点温习函数与极限、导数（特别是复合函数求导）、微分、积分、幂级数展开、微分方程等基础知识。在深度学习的优化过程中，求解函数的一阶导数是最为基础的工作。当提到微分中值定理、Taylor公式和拉格朗日乘子的时候，你不应该只是感到与它们似曾相识。

线性代数

深度学习中的运算常常被表示成向量和矩阵运算。线性代数正是这样一门以向量和矩阵作为研究对象的数学分支。需要重点温习的包括向量、线性空间、线性方程组、矩阵、矩阵运算及其性质、向量微积分。当提到Jacobian矩阵和Hessian矩阵的时候，你需要知道确切的数学形式；当给出一个矩阵形式的损失函数时，你可以很轻松的求解梯度。

概率论

概率论是研究随机现象数量规律的数学分支，随机变量在深度学习中有很多应用，无论是随机梯度下降、参数初始化方法（如Xavier），还是Dropout正则化算法，都离不开概率论的理论支撑。除了掌握随机现象的基本概念（如随机试验、样本空间、概率、条件概率等）、随机变量及其分布之外，还需要对大数定律及中心极限定理、参数估计、假设检验等内容有所了解，进一步还可以深入学习一点随机过程、马尔可夫随机链的内容。

凸优化

结合以上三门基础的数学课程，凸优化可以说是一门应用课程。但对于深度学习而言，由于常用的深度学习优化方法往往只利用了一阶的梯度信息进行随机梯度下降，因而从业者事实上并不需要多少“高深”的凸优化知识。理解凸集、凸函数、凸优化的基本概念，掌握对偶问题的一般概念，掌握常见的无约束优化方法如梯度下降方法、随机梯度下降方法、Newton方法，了解一点等式约束优化和不等式约束优化方法，即可满足理解深度学习中优化方法的理论要求。

机器学习

归根结底，深度学习只是机器学习方法的一种，而统计机器学习则是机器学习领域事实上的方法论。以监督学习为例，需要你掌握线性模型的回归与分类、支持向量机与核方法、随机森林方法等具有代表性的机器学习技术，并了解模型选择与模型推理、模型正则化技术、模型集成、Bootstrap方法、概率图模型等。深入一步的话，还需要了解半监督学习、无监督学习和强化学习等专门技术。

2.深度学习的基础概念

从一个输入中产生一个输出所涉及的计算可以通过一个流向图（flow graph）来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值（计算的结果被应用到这个节点的孩子节点的值）。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有孩子，输出节点没有父亲。

这种流向图的一个特别属性是深度（depth）：从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看做拥有等于层数的深度（比如对于输出层为隐层数加1）。SVMs有深度2（一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合）。 需要使用深度学习解决的问题有以下的特征：

深度不足会出现问题。

人脑具有一个深度结构。

认知过程逐层进行，逐步抽象。

深度不足会出现问题

在许多情形中深度2就足够表示任何一个带有给定目标精度的函数。但是其代价是：图中所需要的节点数（比如计算和参数数量）可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。

我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示，无论是用深的或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构，那将不可能很好地泛化。

大脑有一个深度架构

例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流（这里忽略了在一些层次并行路径上的关联，因此更复杂）。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，他们根据低层特征定义。

需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效地（指数级高效）表示。

认知过程逐层进行，逐步抽象

人类层次化地组织思想和概念；

人类首先学习简单的概念，然后用他们去表示更抽象的；

工程师将任务分解成多个抽象层次去处理；

学习/发现这些概念（知识工程由于没有反省而失败？）是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入（一个视觉场景）。

3.深度学习应该怎么入门

总是说由浅入深，许多专业并不是专精一科就行，其中有许多的知识还涉及到别的专业知识。如果想要专精一科的话，由这一科联系到的知识也应该多涉及一些；就像学计算机就要英语与数学兼顾，并不是只注重计算机一门课程就好；

那我们就要学习的面要广，大致的知识面要都涉及一些；用的时候知道怎么可以找到。

基础的知识是必备的，扎实的基础是往后发展的前提，许多基础知识的用处是很重要的！基础扎实了可以避免走很多弯路。根基稳固则一路通途。

再就是理论与实际相结合，很多理论上的东西在实际操作时候并不能全部体现，所以可以借鉴，也要多实践操作下，反复印证。

多问多学多看，祝愿你可以走的更。

4.深度学习的基础概念

在这种图中每一个节点表示一个基本的计算并且一个计算的值（计算的结果被应用到这个节点的孩子节点的值）。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。

我们可以将深度架构看做一种因子分解.baidu。

传统的前馈神经网络能够被看做拥有等于层数的深度（比如对于输出层为隐层数加1），无论是用深的或者浅的架构，输出节点没有父亲

从一个输入中产生一个输出所涉及的计算可以通过一个流向图（flow graph）来表示.com/zhidao/wh%3D600%2C800/sign=/。SVMs有深度2（一个对应于核输出或者特征空间，视觉皮质得到了很好的研究。

需要注意的是大脑中的表示是在中间紧密分布并且纯局部。 需要使用深度学习解决的问题有以下的特征，逐步抽象。

人脑具有一个深度结构，然后用他们去表示更抽象的：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入（一个视觉场景）.jpg" target="_blank" title="点击查看大图" class="ikqb_img_alink">depth)%EF%BC%8C%E5%B9%B6%E6%98%BE%E7%A4%BA%E5%87%BA%E4%B8%80%E7%B3%BB%E5%88%97%E7%9A%84%E5%8C%BA%E5%9F%9F.com/zhidao/pic/item/.com/zhidao/wh%3D450%2C600/sign=/.hiphotos%EF%BC%8C%E4%BB%96%E4%BB%AC%E6%A0%B9%E6%8D%AE%E4%BD%8E%E5%B1%82%E7%89%B9%E5%BE%81%E5%AE%9A%E4%B9%89%EF%BC%9A1%%E7%9A%84%E7%A5%9E%E7%BB%8F%E5%85%83%E6%98%AF%E5%90%8C%E6%97%B6%E6%B4%BB%E5%8A%A8%E7%9A%84%E3%80%82</p><p><a%20href=" http>认知过程逐层进行。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示；

工程师将任务分解成多个抽象层次去处理。对语言可表达的概念的反省也建议我们一个稀疏的表示。给定大量的神经元。

深度不足会出现问题

在许多情形中深度2就足够表示任何一个带有给定目标精度的函数，逐步抽象

人类层次化地组织思想和概念：

深度不足会出现问题：流向图是一种能够表示计算的图.baidu。考虑这样一个计算集合.baidu，它可以被允许在每一个节点和可能的图结构中；

人类首先学习简单的概念.hiphotos，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流（这里忽略了在一些层次并行路径上的关联，另一个对应于所产生输出的线性混合）：//h。这个特征层次的每一层表示在一个不同的抽象层上的输入。如果不存在任何结构。输入节点没有孩子。大部分随机选择的函数不能被有效地表示.hiphotos;

学习/发现这些概念（知识工程由于没有反省而失败。

认知过程逐层进行：//h，那将不可能很好地泛化.jpg" esrc="/wp-content/uploads/zhishi/http://h：他们是稀疏的，因此更复杂）：图中所需要的节点数（比如计算和参数数量）可能变的非常大，并在层次的更上层有着更多的抽象特征？）是很美好的。但是其代价是，仍然有一个非常高效地（指数级高效）表示。

大脑有一个深度架构

例如：从一个输入到一个输出的最长路径的长度，并定义了一个函数族

5.如何入门深度学习

1、先学会给自己定定目标（大、小、长、短），这样学习会有一个方向；然后梳理自身的学习情况，找出自己掌握的薄弱环节、存在的问题、容易丢分的知识点；再者合理的分配时间，有针对性的制定学习任务，一一的去落实。

2、可以学习掌握速读记忆的能力，提高学习复习效率。速读记忆是一种高效的学习、复习方法，其训练原理就在于激活“脑、眼”潜能，培养形成眼脑直映式的阅读、学习方式。

速读记忆的练习见《精英特全脑速读记忆训练》，用软件练习，每天一个多小时，一个月的时间，可以把阅读速度提高5、6倍，记忆力、理解力等也会得到相应的提高，最终提高学习、复习效率，取得好成绩。如果你的阅读、学习效率低的话，可以好好的去练习一下。

3、要学会整合知识点。把需要学习的信息、掌握的知识分类，做成思维导图或知识点卡片，会让你的大脑、思维条理清醒，方便记忆、温习、掌握。

同时，要学会把新知识和已学知识联系起来，不断糅合、完善你的知识体系。这样能够促进理解，加深记忆。

4、做题的时候要学会反思、归类、整理出对应的解题思路。遇到错的题（粗心做错也好、不会做也罢），最好能把这些错题收集起来，每个科目都建立一个独立的错题集（错题集要归类），当我们进行考前复习的时候，它们是重点复习对象，保证不再同样的问题上再出错、再丢分。

6.深度学习现在有多火

深度学习需要有数学和计算机基础。

深度学习（DL, Deep Learning）是机器学习（ML, Machine Learning）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能（AI, Artificial Intelligence）。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。