数据科学的统计(数据分析的统计基础都看不懂)

1.数据分析的统计基础都看不懂

1.可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3. 预测性分析 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。4. 语义引擎 非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。

语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。5.数据质量和数据管理。

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云存储、分布式文件存储等。数据处理： 自然语言处理（NLP,Natural Language Processing）是研究人与计算机交互的语言问题的一门学科。

处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、方差分析 、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘（Text, Web ，图形图像，视频，音频等）模型预测 ：预测模型、机器学习、建模仿真。

结果呈现： 云计算、标签云、关系图等。大数据的处理1. 大数据处理之一：采集大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。2. 大数据处理之二：导入/预处理虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较。

2.统计基础知识

统计总体和总体单位

(1)统计总体：根据一定的目的和要求，统计所需要研究的客观事物的全体，称为统计总体，简称总体。

统计总体形成的三个条件：

第一，客观性；总体和总体单位必须是客观存在的，可以观察和计量的；

第二，同质性；组成总体的所有个体必须是在某些性质上是相同的；

第三.差异性；构成总体的各单位除了同质性一面还必须有差异性一面，否则就是需要统计研究了。

统计总体按总体单位是否有限分为两种：有限总体和无限总体。一个统计总体所包括的单位数如果是有限的，称为有限总体。如果是无限的，称为无限总体。

(2)总体单位：组成总体的每一个事物，称为总体单位，简称个体。

统计总体和总体单位是多种多样的。且统计总体与总体单位不是固定不变的，总体与总体单体具有相对性，随着研究任务的改变而改变。这与研究目的和要求有关。

例如：要了解某一地区国有工业企业的生产经营情况（研究目的），总体是该地区的全部国有工业企业，每一个国有工业企业是总体单位。要了解某一国有企业职工工资情况（研究目的范围变小），总体是该企业所有职工，总体单位是每一位职工。比如，我们在网上看到，某地区电力系统职工的查表员工年薪达到12万，我们可以研究一下该电力企业职工的工资情况，总体就是该电力企业的所有职工，总体单位就是每一位职工。

标志与指标

(1)标志：是说明总体单位特征的名称。

标志按其 品质标志：表明总体单位的属性特征，不能用数量表示。主要用作分组的依据。

表现形式有 数量标志：表明总体单位的数量特征，可以用数量表示。可进行计算。

(2)指标：两种理解和使用方法。

一种是认为统计指标是反映总体现象数量特征的概念。适用于统计理论与统计设计。

另一种认为统计指标是反映总体现象数量特征的概念和具体数值。适用于实际统计工作。

(3)指标与标志的区别：

①指标是说明总体特征的，而标志是说明单体单位特征的；

②标志有不能用数值表示的品质标志和能用数值表示的数量标志两种，而指标都必须是能用数值表示的；

(4)指标与标志的联系：

①有许多统计指标的数值是直接从总体单位的数量标志值汇总而来的；

②指标与数量标志之间存在着转化的关系。

统计总体：就是根据一定的目的和要求所确定的研究事物的全体，它是由客观存在的、具有某种共同性质的许多个别事物构成的整体。

总体单位：是指构成总体的个体单位，它是总体的基本单位。

单位标志：简称标志，是指总体总体中各单位所具有的属性和特征。

标志：分为品质标志和数量标志。

总体 和总体单位是互为存在条件的连接在一起的，没有总体单位，总体也不存在，没有总体，也就无法确i定总体单位。

3.统计的知识

概念人类对事物数量的认识形成的定义。

汉语中的“统计”有合计、总计的意 统计学思。指对某一现象有关的数据的搜集、整理、计算、分析、解释、表述等的活动。

1. 指对某一现象有关的数据的搜集、整理、计算和分析等。例：人口统计2. 亦指总括地计算例：把全国报来的数据统计一下典故：明胡应麟《少室山房笔丛·经籍会通一》：“古今书籍，统计一代，前后之藏，往往无过十万；统计一朝，公私之蓄，往往不能十万。”

清宣鼎《夜雨秋灯录·银雁》：“ 佛奴 掘深窖藏之，统计约有二十馀万。”外文词源英语中的“统计”[statistics;count;add up] ,statistics用作复数名词时，意思是统计资料，作单数名词时，指的是统计学。

词源：德语Statistik ，政治学；新拉丁语 statisticus ，国事；意大利语statista ，老练的政客；旧意大利语、拉丁语 status ，形势，政体。三种涵义在实际应用中，人们对统计一词的理解一般有三种涵义：统计工作、统计资料和统计科学：（1）统计工作。

指利用科学的方法搜集、整理和分析和提供关于社会经济现象数量资料的工作的总称，是统计的基础。也称统计实践，或统计活动，是在一定统计理论指导下，采用科学的方法，搜集、整理、分析统计资料的一系列活动过程。

它是随着人类社会的发展、治国和管理的需要而产生和发展起来的，至今已有四五千年的历史。现实生活中，统计工作作为一种认识社会经济现象总体和自然现象总体的实践过程，一般包括统计设计、统计调查、统计整理和统计分析四个环节。

（2）统计资料。指通过统计工作取得的、用来反映社会经济现象的数据资料的总称。

统计工作所取得的各项数字资料及有关文字资料，一般反映在统计表、统计图、统计手册、统计年鉴、统计资料汇编和统计分析报告中。也称统计信息，是反映一定社会经济现象总体或自然现象总体的特征或规律的数字资料、文字资料、图表资料及其他相关资料的总称。

它包括刚刚调查取得的原始资料和经过一定程度整理、加工的次级资料，其形式有：统计表、统计图、统计年鉴、统计公报、统计报告和其他有关统计信息的载体。（3）统计科学。

也称统计学，是统计工作经验的总结和理论概括，是系统化的知识体系。指研究如何搜集、整理和分析统计资料的理论与方法。

统计工作、统计资料、统计科学三者之间的关系是：统计工作的成果是统计资料，统计资料和统计科学的基础是统计工作，统计科学既是统计工作经验的理论概括，又是指导统计工作的原理、原则和方法。总体来说，“统计”一词的三方面涵义是紧密联系的，统计资料是统计工作的成果，统计工作与统计科学之间是实践与理论的关系。

方法均值、中位数、众数、正态分布、抽样、标准差、概率论、检验、方差分析、卡方检验。编辑本段特征数量性社会经济统计的认识对象是社会经济现象的数量方面，包括现象的数量表现、现象之间的数量关系和质量互变的数量界限。

总体性社会经济统计的认识对象是社会经济现象的总体的数量方面。国民经济总体的数量方面、社会总体的数量方面、地区国民经济和社会总体的数量方面、各企事业单位总体数量方面等等。

具体性社会经济统计的认识对象是具体事物的数量方面，而不是抽象的量。这是统计与数学的区别。

社会性社会经济现象是人类有意识的社会活动，是人类社会活动的条件、过程和结果，社会经济统计以社会经济现象作为研究对象，自然具有明显的社会性。编辑本段职能统计要达到认识社会的目的，不仅需要科学的方法，而且需要强有力的组织领导。

因此统计兼有信息、咨询、监督三种职能。信息职能是统计部门根据科学的统计指标体系和统计调查方法，灵敏、系统的采集、处理、传输、贮存和提供大量的以数据描述为基本特征的社会经济信息。

咨询职能指利用已经掌握的丰富的统计信息资源，运用科学的分析方法和先进的技术手段，深入开展综合分析和专题研究，为科学决策和管理提供各种可供选择的咨询建议与对策方案。监督职能指根据统计调查和分析，及时、准确地从总体上反映经济、社会和科技的运行状态，并对其实行全面、系统的定量检查、监测和预警，以促使国民经济按照客观规律的要求，持续、稳定、协调地发展。

这三种职能是相互联系、相辅相成的。统计信息职能是保证咨询和监督职能有效发挥的基础；统计咨询职能是统计薪资职能的延续和深化；而统计监督职能则是信息、咨询职能基础上进一步拓展并促进统计信息和咨询职能的优化。

编辑本段组织统计的组织必须贯彻集中统一的原则，在全国范围内建立集中统一的统计系统，执行统一的方针政策和统计调查计划，贯彻统一的统计制度和统计标准，使用统一的统计报表和数字管理制度，以及协调统计、会计、业务核算制度和核算标准及分工等。国家集中统一的统计系统有各级部门的综合统计系统、各级业务部门的专业统计系统、以及城乡基层组织企业单位的统计组织所组成。

综合统计系统各级政府部门的综合统计系统是由国家统计局和地方各级统计机构所组成，是国家统计组织的主系统。其主要职责：1. 制定统计调查计划，部署和检查全国或者行政区域内的统。

4.统计学的基本常识

统计学是一门研究随机现象，以推断为特征的方法论科学，“由部分推及全体”的思想贯穿于统计学的始终。

具体地说，它是研究如何搜集、整理、分析反映事物总体信息的数字资料，并以此为依据，对总体特征进行推断的原理和方法。 用统计来认识事物的步骤是：研究设计—>抽样调查—>统计推断—>结论。

这里，研究设计就是制定调查研究和实验研究的计划，抽样调查是搜集资料的过程，统计推断是分析资料的过程。显然统计的主要功能是推断，而推断的方法是一种不完全归纳法，因为是用部分资料来推断总体。

增加定义：是关于收集、整理、分析和解释统计数据的科学，是一门认识方法论性质的科学，其目的是探索数据内在的数量规律性，以达到对客观事物的科学认识。 统计学是收集、分析、表述和解释数据的科学。

5.学习统计学都要掌握哪些知识点

统计学如今是与数学平行的一级学科，那么统计学要掌握哪些知识点呢？让我这个统计学专业的大四老学长告诉你楼主自己的学习经验吧！统计学听上去是与数据打交道，实际上大部分的统计方向也确实如此。

所以要与数据打交道我们首先要有扎实的数学基础，那么想打好数学基础，楼主推荐大家要掌握好数学分析与高等代数的知识！推荐华东师范大学的《数学分析》与北京大学的《高等代数》。打好了基础，接下来我们就要正式步入统计学的殿堂！茆诗松老师的《概率论与数理统计》是非常经典的统计学基础教材，很多高校也都使用这本书作为统计学教材。

如果你能熟练掌握这本教材上的知识点，那么你就打下了非常扎实的统计学的基础，这对你以后继续统计学方向的研究绝对是一大助力！所以非常有必要仔细认真的学习这本书，把这本书读熟读透你以后的统计学路途会顺利很多。这本书也有对应的课后答案详解，对学习这本书有很大的帮助！再进一步的学习统计学知识，我们就会来到统计学方向的分水岭。

这时候就需要看你的兴趣方向何在了。这以后统计就可被划分为理论统计与应用统计。

比如，应用统计就可分为金融统计，生物统计等等！所以接下来的知识点就看你的方向来决定往哪边倾向了！最后，统计学方向掌握程序软件也是必不可少的一项。在经济统计方向，大部分用的是SPSS。

而在偏数学的统计上大部分用的是R语言或者是Python。所以熟练掌握一门程序语言也是必不可少的一项统计学知识，而要想熟练掌握，只有自己平常多学多做多练才能达到要求！以上就是楼主的建议，如果觉得好的话欢迎采纳。

6.如何学习数据统计

1、学科知识：从数据分析涉及到的专业知识点上看，他包含的比较多，包含但不仅限于以下学科：

(1)统计学：参数检验、非参检验、回归分析等；

(2)数学：线性代数、微积分等；

(3)社会学：主要是一些社会学量化统计的知识，如问卷调查与统计分析；还有就是一些社会学的知识，这些对于从事营销类的数据分析人员比较有帮助；

(4)经济金融：如果是从事这个行业的数据分析人员，经济金融知识是必须的；

(5)计算机：从事数据分析工作的人必须了解你使用的数据是怎么处理出来的，要了解数据库的结构和基本原理，同时如果条件充足的话，你还能有足够的能力从数据库里提取你需要的数据（比如使用SQL进行查询），这种提取数据分析原材料的能力是每个数据从业者必备的。此外，如果要想走的更远，还要能掌握一些编程能力，从而借住一些专业的数据分析工具，帮助完成工作。

这些专业知识不是一时半会能够全面掌握的，学习的唯一捷径就是看书、看视频讲解，看权威的书籍、看全面的知识。学习基础知识没有一蹴即就的方法，因为基础，所以学起来会比较枯燥、比较漫长。如何想在数据分析方面有长远的发展，希望能在基础知识上长期坚持的学习下去。

2、软件操作：从事数据分析方面的工作必备的工具是什么，大致罗列以下几类：

(1)分析报告类：Microsoft Office软件（excel、word、powerpoint、visio……）、水晶易表等，如果连excel表格基本的处理操作都不会，连PPT报告都不会做，那我只好说离数据分析的岗位还差的很远。

(2)专业数据分析软件：OFFICE并不是全部，要从在数据分析方面做的比较好，你必须会用（至少要了解）一些比较常用的专业数据分析软件工具，比如SPSS、SAS、R、Matlab等等，这些软件可以很好地帮助我们完成专业性的算法或模型分析。

(3)辅助工具：比如思维导图软件（如MindManager、MindMapper等）也可以很好地帮助整理分析思路。

在此需要说明的一点是：软件只是帮助完成任务的工具。并不是只要学好的软件操作就能很好地完成任务，因为与操作相比，如何解释最后的结果要重要的多。即使软件操作的再熟，如果看不懂结果，那跟不会才做没有两样。而看看懂结果就需要扎实的专业知识才行。

7.学统计学需要掌握哪些知识

专业介绍

业务培养目标：

业务培养目标：本专业主要包括一般统计和经济统计两类专业方向，培养具有良好的数学或数学与经济学素养，掌握统计学的基本理论和方法，能熟练地运用计算机分析数据，能在企业、事业单位和经济、管理部门从事统计调查、统计信息管理、数量分析等开发、应用和管理工作，或在科研、教育部门从事研究和教学工作的高级专门人才。

业务培养要求：本专业学生主要学习统计学的基本理论和方法，打好数学基础，具有较好的科学素养，受到理论研究、应用技能和使用计算机的基本训练，具有数据处理和统计分析的基本能力。

毕业生应获得以下几方面的知识和能力：

l.具有扎实的数学基础，受到比较严格的科学思维训练；

2.掌握统计学的基本理论、基本知识、基本方法和计算机操作技能；具有采集数据、设计调查问卷和处理调查数据的基本能力；

3.了解与社会经济统计、医药卫生统计、生物统计或工业统计等有关的自然科学、社会科学、工程技术的基本知识，具有应用统计学理论分析、解决该领域实际问题的初步能力；

4.了解统计学理论与方法的发展动态及其应用前景；

5.对于理学学士，应能熟练使用各种统计软件包，有较强的统计计算能力；对于经济学学士，应具有扎实的经济学基础，具有利用信息资料进行综合分析和管理的能力；

6.掌握资料查询、文献检索及运用现代信息技术获取相关信息的基本方法；具有一定的科学研究和实际工作能力。

主干课程：

主干学科：数学、统计学、经济学、管理学。

主要课程：数学基础课（分析、代数、几何）、概率论、数理统计、运筹学、计算机基础、应用随机过程等。

这个专业对数学的要求比较高，数学成绩比较差的学生学起来可能会比较吃力，应当说是一个就业前景比较好的专业

8.求统计学和统计法基础知识资料

1.统计法的基本原则，是统计法所调整的统计法律关系的集中反映，是贯穿整个统计法律规范，对各项统计制度和所有统计法律规范起统帅作用的准则。主要有以下5项：

一是，保障统计工作统一性原则；

二是，统计机构依法履行职责原则；

三是，统计调查对象依法履行义务原则；

四是，维护统计调查对象合法权益原则；

五是，保障统计信息社会共享原则。

2.统计人员的职权，是指统计人员在一定的机构担负统计工作，为了完成统计任务而由统计法规定拥有的权利。根据《统计法》的规定，统计人员的职权包括以下几个方面：

一是，统计人员具有依照《统计法》规定独立行使统计调查、统计报告、统计监督的职权；

二是，统计人员有权要求有关单位和人员依照国家规定，如实提供统计资料；

三是，统计人员有权检查统计资料的准确性，要求改正不确实的统计资料；

四是，统计人员有权揭发、检举统计调查工作中的违法行为。

另外，统计人员有学习专业知识的权利。

3. 统计违法行为，是指行为人在统计活动中违反统计法和统计制度规定，对统计法所保护的社会关系形成侵害的行为。统计违法行为具有如下特征：

一是，统计违法行为是具有社会危害性的行为；

二是，统计违法行为是行为人有过错的行为；

三是，统计违法行为是违反统计法律规定的行为。

9.统计的基本内容有那几科

统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科学的各个领域。

1.统计学的涵义：

统计学是一门研究数据的科学，任务是如何有效地收集、整理、和分析这些数据，探索数据内在的数量规律性，对所观察的现象做出推断或预测，直到为采取决策提供依据。

统计数据的收集是取得统计数据的过程，它是进行统计分析的基础。离开了统计数据，统计方法就失去了用武之地。如何取得所需的统计数据是统计学研究的内容之一。

统计数据的整理是对统计数据的加工处理过程，目的是使统计数据系统化、条理化，符合统计分析的需要。数据整理是介于数据收集与数据分析之间的一个必要环节。

统计数据的分析是统计学的核心内容，它是通过统计描述和统计推断的方法探索数据内在规律的过程。

2.统计学研究对象的特点

(1)总体性：统计学研究对象是社会经济现象总体或自然现象总体的数量特征。

例如，对工资的统计分析，我们并不是要分析和研究个别人的工资，而是要反映、分析和研究一个地区、一个部门、一个企业事业单位的总体的工资情况和显示出来的规律性。统计研究对象的总体性，是从个体实际表现的研究过渡到对总体的数量表现的研究的。

(2)数量性：统计学研究对象的数量性，具体说来，就是通过各种统计指标和指标体系来反映对象总体的规模、水平、速度、比例、效益和趋势等。

一切客观事物都有质和量两个方面，事物的质与量总是密切联系、共同规定着事物的性质。一定的质规定着一定的量，一定的量也表现为一定的质。但在认识的角度上，质和量是可以区分的，可以在一定的质的情况下，单独地研究数量方面，通过认识事物的量进而认识事物的质。因此，事物的数量是我们认识客观现实的重要方面，通过分析研究统计数据资料，研究和掌握统计规律性，就可以达到我们统计分析研究的目的。例如，要分析和研究国民生产总值，就要对其数量、构成及数量变化趋势等进行认识，这样才能正确地分析和研究国民生产总值的规律性。

(3)客观性：统计学所研究的量不是抽象的量，它是现象总体数量特征的客观反映，是现象总体数量特征在一定的时间、地点、条件下的具体反映。即具体数量表现不是主观意志所能转移的。

(4)数据的随机性：数据的随机性也表明了数据来源的客观性。

(5)范围的广泛性：统计学几乎不同程度的渗到所有人类活动的领域。