学习要根据自身情况来定,如果你是零基础,那就必须先从基础Java开始学起(大数据支持很多开发语言,但企业用的最多的还是JAVA),接下来学习数据结构、Linux系统操作、关系型数据库,夯实基础之后,再进入大数据的学习,具体可以按照如下体系:第一阶段CORE JAVA (加**的需重点熟练掌握,其他掌握)Java基础**数据类型,运算符、循环,算法,顺序结构程序设计,程序结构,数组及多维数组面向对象**构造方法、控制符、封装继承**多态**抽象类、接口**常用类集合Collection、list**HashSet、TreeSet、Collection集合类Map**异常,File文件/流**数据流和对象流**线程(理解即可)网络通信(理解即可)第二阶段数据结构关系型数据库Linux系统操作Linux操作系统概述,安装Linux操作系统,图形界面操作基础,Linux字符界面基础,字符界面操作进阶,用户、组群和权限管理,文件系统管理,软件包管理与系统备份,Linux网络配置 (主要掌握Linux操作系统的理论基础和服务器配置实践知识,同时通过大量实验,着重培养动手能力。
了解Linux操作系统在行业中的重要地位和广泛的使用范围。在学习Linux的基础上,加深对服务器操作系统的认识和实践配置能力。
加深对计算机网络基础知识的理解,并在实践中加以应用。掌握Linux操作系统的安装、命令行操作、用户管理、磁盘管理、文件系统管理、软件包管理、进程管理、系统监测和系统故障排除。
掌握Linux操作系统的网络配置、DNS、DHCP、HTTP、FTP、SMTP和POP3服务的配置与管理。为更深一步学习其它网络操作系统和软件系统开发奠定坚实的基础。
与此同时,如果大家有时间把javaweb及框架学习一番,会让你的大数据学习更自由一些)重点掌握:常见算法数据库表设计,SQL语句,Linux常见命令第三阶段Hadoop阶段离线分析阶段实时计算阶段重点掌握:Hadoop基础,HDFS,MapReduce,分布式集群,Hive,Hbase,Sqoop,Pig,Storm实时数据处理平台,Spark平台。
学科知识:从数据分析涉及到的专业知识点上看,主要是这些:
(1)统计学:参数检验、非参检验、回归分析等
(2)数学:线性代数、微积分等
(3)社会学:主要是一些社会学量化统计的知识,如问卷调查与统计分析;还有就是一些社会学的知识,这些对于从事营销类的数据分析人员比较有帮助
(4)经济金融:如果是从事这个行业的数据分析人员,经济金融知识是必须的,这里就不多说了
(5)计算机:从事数据分析工作的人必须了解你使用的数据是怎么处理出来的,要了解数据库的结构和基本原理,同时如果条件充足的话,你还能有足够的能力从数据库里提取你需要的数据,这种提取数据分析原材料的能力是每个数据从业者必备的。
说到大数据,肯定少不了分析软件,这应该是大数据工作的根基,但市面上很多各种分析软件,如果不是过来人,真的很难找到适合自己或符合企业要求的。
小编通过各大企业对大数据相关行业的岗位要求,总结了以下几点:(1)SQL数据库的基本操作,会基本的数据管理(2)会用Excel/SQL做基本的数据分析和展示(3)会用脚本语言进行数据分析,Python or R(4)有获取外部数据的能力,如爬虫(5)会基本的数据可视化技能,能撰写数据报告(6)熟悉常用的数据挖掘算法:回归分析、决策树、随机森林、支持向量机等对于学习大数据,总体来说,先学基础,再学理论,最后是工具。基本上,每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识,包括概率论、数理统计。基础这种东西还是要掌握好的啊,基础都还没扎实,知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的,要学习证券、银行、财务等各种知识,不然到了公司就一脸懵逼啦。
3、学习数据分析工具,软件结合案列的实际应用,关于数据分析主流软件有(从上手度从易到难):Excel,SPSS,stata,R,Python,SAS等。4、学会怎样操作这些软件,然后是利用软件从数据的清洗开始一步步进行处理,分析,最后输出结果,检验及解读数据。
当然,学习数学与应用数学、统计学、计算机科学与技术等理工科专业的人确实比文科生有着客观的优势,但能力大于专业,兴趣才会决定你走得有多远。毕竟数据分析不像编程那样,需要你天天敲代码,要学习好多的编程语言,数据分析更注重的是你的实操和业务能力。
如今的软件学习都是非常简单便捷的,我们真正需要提升的是自己的逻辑思维能力,以及敏锐的洞察能力,还得有良好的沟通表述能力。这些都是和自身的努力有关,而不是单纯凭借理工科背景就可以啃得下来的。
相反这些能力更加倾向于文科生,毕竟好奇心、创造力也是一个人不可或缺的。
学习大数据要有一定的编程基础,这是大数据大部分岗位都需要的。
目前从事大数据方向的程序员比较普遍使用的语言有四种,分别是Python、Java、Scala和R,这四种语言都有一定的应用场景,不同岗位的程序员使用的语言也稍有不同。Python目前主要是应用在数据分析、数据挖掘和算法实现上,可以说大数据领域Python的应用是比较普遍的。
Java目前在大数据领域的应用还是跟平台有直接关系,通常在需要高性能的数据处理部分采用Java开发。Scala和R主要是基于场景的应用多一些,Scala构建在Java基础之上,代码结构要比Java简洁一些,同时Scala是Spark的实现语言,在与Spark相关的开发中使用Scala是比较方面的选择。
R语言本身的特点就是统计分析,语法简单且功能强大,是做大数据统计分析的一把利器。
学科知识:从数据分析涉及到的专业知识点上看,主要是这些:(1)统计学:参数检验、非参检验、回归分析等(2)数学:线性代数、微积分等(3)社会学:主要是一些社会学量化统计的知识,如问卷调查与统计分析;还有就是一些社会学的知识,这些对于从事营销类的数据分析人员比较有帮助(4)经济金融:如果是从事这个行业的数据分析人员,经济金融知识是必须的,这里就不多说了(5)计算机:从事数据分析工作的人必须了解你使用的数据是怎么处理出来的,要了解数据库的结构和基本原理,同时如果条件充足的话,你还能有足够的能力从数据库里提取你需要的数据,这种提取数据分析原材料的能力是每个数据从业者必备的。
看你做哪个方面的大数据工作,如果是统筹方面(比如数据建模(分析)之类)的,那么数学的功底是一定要有的,不然怎么做建模和分析。
如果是数据筛选一类的,那么逻辑学和社会学是一定要有所基础的,不一定要很精通,但是基础一定要有。大数据的数据本身是无意义的,能从大数据中提取出想要的数据,就是数据筛选要做的,那么如果逻辑学和社会学不过关或者不扎实,那么可能这部分数据与需要的数据有关,但是察觉不到,可能这部分数据和需要的数据无关,但是又被放在了里面(等于增加了无用功),这都不是好现象。而这部分就需要逻辑学和社会学。
如果是具体的操作,比如数据可视化,那就没什么说的了,编程能力,理解能力,这些是大头。
还有数据治理等等(这个是数据仓库的概念,放到大数据中也可以),这里需要数据的敏感度,其实还是和数学有关,逻辑学社会学等其实也和数据有关,编程等等也和数学有关,所以我觉得大数据需要的基础是数学,当然职位(或者说岗位不同)需要的基础也不同,仅仅操作的话,就简单一些,项往上走的话,数学的功底就要更扎实一些。不过都是需要的。
大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。
此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
以中国人民大学为例:
基础课程:数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践。
必修课:离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析。
选修课:数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程。
扩展资料:
大数据岗位:
1、大数据系统架构师
大数据平台搭建、系统设计、基础设施。
技能:计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。
2、大数据系统分析师
面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。
技能:人工智能、机器学习、数理统计、矩阵计算、优化方法。
3、hadoop开发工程师。
解决大数据存储问题。
4、数据分析师
不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
5、数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
参考资料来源:中国人民大学信息学院-数据科学与大数据技术
参考资料来源:百度百科-大数据采集与管理专业
大数据学习入门都需要学习和具备的基础知识:
1. 数学知识:数学知识是数据分析师的基础知识。
①对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分。
②对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。
③而对于数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。
2. 分析工具
①对于初级数据分析师,玩转Excel是必须的,数据透视表和公式使用必须熟练,VBA是加分。另外,还要学会一个统计分析工具,SPSS作为入门是比较好的。
②对于高级数据分析师,使用分析工具是核心能力,VBA基本必备,SPSS/SAS/R至少要熟练使用其中之一,其他分析工具(如Matlab)视情况而定。
③对于数据挖掘工程师……嗯,会用用Excel就行了,主要工作要靠写代码来解决呢。
3. 编程语言
①对于初级数据分析师,会写SQL查询,有需要的话写写Hadoop和Hive查询,基本就OK了。
②对于高级数据分析师,除了SQL以外,学习Python是很有必要的,用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。
③对于数据挖掘工程师,Hadoop得熟悉,Python/Java/C++至少得熟悉一门,Shell得会用……总之编程语言绝对是数据挖掘工程师的最核心能力了。
4. 业务理解
业务理解说是数据分析师所有工作的基础也不为过,数据的获取方案、指标的选取、乃至最终结论的洞察,都依赖于数据分析师对业务本身的理解。
①对于初级数据分析师,主要工作是提取数据和做一些简单图表,以及少量的洞察结论,拥有对业务的基本了解就可以。
②对于高级数据分析师,需要对业务有较为深入的了解,能够基于数据,提炼出有效观点,对实际业务能有所帮助。
③对于数据挖掘工程师,对业务有基本了解就可以,重点还是需要放在发挥自己的技术能力上。
5. 逻辑思维
①对于初级数据分析师,逻辑思维主要体现在数据分析过程中每一步都有目的性,知道自己需要用什么样的手段,达到什么样的目标。
②对于高级数据分析师,逻辑思维主要体现在搭建完整有效的分析框架,了解分析对象之间的关联关系,清楚每一个指标变化的前因后果,会给业务带来的影响。
③对于数据挖掘工程师,逻辑思维除了体现在和业务相关的分析工作上,还包括算法逻辑,程序逻辑等,所以对逻辑思维的要求也是最高的。
6. 数据可视化
数据可视化说起来很高大上,其实包括的范围很广,做个PPT里边放上数据图表也可以算是数据可视化,所以我认为这是一项普遍需要的能力。
①对于初级数据分析师,能用Excel和PPT做出基本的图表和报告,能清楚的展示数据,就达到目标了。
②对于高级数据分析师,需要探寻更好的数据可视化方法,使用更有效的数据可视化工具,根据实际需求做出或简单或复杂,但适合受众观看的数据可视化内容。
③对于数据挖掘工程师,了解一些数据可视化工具是有必要的,也要根据需求做一些复杂的可视化图表,但通常不需要考虑太多美化的问题。
7. 协调沟通
①对于初级数据分析师,了解业务、寻找数据、讲解报告,都需要和不同部门的人打交道,因此沟通能力很重要。
②对于高级数据分析师,需要开始独立带项目,或者和产品做一些合作,因此除了沟通能力以外,还需要一些项目协调能力。
③对于数据挖掘工程师,和人沟通技术方面内容偏多,业务方面相对少一些,对沟通协调的要求也相对低一些。
8. 快速学习
无论做数据分析的哪个方向,初级还是高级,都需要有快速学习的能力,学业务逻辑、学行业知识、学技术工具、学分析框架……数据分析领域中有学不完的内容,需要大家有一颗时刻不忘学习的心。
声明:本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
蜀ICP备2020033479号-4 Copyright © 2016 学习鸟. 页面生成时间:3.525秒