1、Spark(Core+sparksql+Sparkstreaming）

2、大数据不仅包括企业内部应用系统的数据分析，还包括与行业、产业的深度融合。具体场景包括：互联网行业、行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+，可以应用在各行各业"，如电信、金融、教育、医疗、军事、电子商务甚至决策等。

3、Hadoop采用了分布式文件系统HDFS和分布式计算框架MapReduce，并且可以通过横向扩展的方式来实现大规模数据的处理。

4、工资：想都不用想肯定高

5、Sqoop的底层是Java，Java提供了JDBCAPI，通过JDBCAPI应用程序可以访问储在关系型数据库中的数据。Sqoop导入、导出数据时都需要用到JDBC。在导入之前，Sqoop会通过JDBC查询出表中的列和列的类型，同时这些类型会与Java的数据类型相匹配，而底层运行的MapReduce会根据这些Java类型来保存字段对应的值。

6、·2012年5月，Hadoop2.0.0-alpha版本发布，这是Hadoop-2.x系列中第一个(alpha)版本。与之前的Hadoop-1.x系列相比，Hadoop-2.x版本中加入了YARN，YARN成为了Hadoop的子项目。

7、·2010年-2011年，扩大的Hadoop社区忙于建立大量的新组件(Crunch，Sqoop，Flume，Oozie等)来扩展Hadoop的使用场景和可用性。

8、·2010年9月，Pig脱离Hadoop，成为Apache顶级项目。

9、·2010年5月，HBase脱离Hadoop项目，成为Apache顶级项目。

10、Java高级(虚拟机、并发)

11、·2013年10月，Hadoop2.0.0版本发布，标志着Hadoop正式进入MapReducev2.0时代。

12、必须技能10条:

13、HBase（JavaAPI操作+Phoenix）

14、Scala需要

15、·2011年12月，Hadoop1.0.0版本发布，标志着Hadoop已经初具生产规模。

16、·2014年2月，Spark开始代替MapReduce成为Hadoop的默认执行引擎，并成为Apache顶级项目。

17、大数据方向的工作目前分为三个主要方向:

18、大数据方向工作介绍

19、·2008年1月，Hadoop成为Apache顶级项目。

20、高阶技能6条:

21、Hadoop的框架最核心的就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

22、·2012年10月，Impala加入Hadoop生态圈。

23、其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向）

24、Storm

25、Hadoop能够对大规模数据进行分布式存储和处理，它具有高容错性和高可靠性的特点。

26、Kafka

27、Linux基本操作

28、·2017年12月，继Hadoop3.0.0的四个Alpha版本和一个Beta版本后，第一个可用的Hadoop3.0.0版本发布。

29、机器学习算法以及mahout库加MLlib

30、Lambda架构

31、Hadoop的初衷是为了解决传统关系型数据库无法高效处理大数据的问题，它能够帮助用户在集群中执行并行计算任务，从而加快数据的处理速度。

32、数据分析师

33、大数据科学家

34、·2010年5月，Avro脱离Hadoop项目，成为Apache顶级项目。

35、·2009年7月，Avro和Chukwa成为Hadoop新的子项目。

36、Ka架构

37、对企业而言，大数据可提高工作效率，降低企业成本，精准营销带来更多客户。

38、HDFS（Hadoop分布式文件系统）

39、Sqoop的工作原理是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。

40、如果要用Sqoop，必须正确安装并配置Hadoop，因依赖于本地的Hadoop环境启动MR程序；MySQL、Oracle等数据库的JDBC驱动也要放到Sqoop的lib目录下。

41、·2008年6月，Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。

42、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

43、就业前景：互联网时代怎么能缺少大数据人才，没有大数据人才手机地都不好用了。

44、总结：因此，可以说Hadoop是一个用于分布式存储和处理大规模数据的计算框架，它通过分布式文件系统和并行计算来提供高效的数据处理能力。

45、大数据工程师

46、对而言，可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。

47、Python

48、Hive(Hql基本操作和原理理解）

49、百度搜索圈T社区（aiquanti）免费教程

50、·2011年1月，ZooKeeper脱离Hadoop，成为Apache顶级项目。

51、Hadoop的主要发展历程：

52、·2009年7月，MapReduce和HadoopDistributedFileSystem(HDFS)成为Hadoop项目的独立子项目。

53、Hadoop　　它是一个分布式系统基础架构，由Apache基金会所开发。　　用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。　　Hadoop的框架最核心的就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。　　Yarn　　它是Hadoop2.0的升级版。　　Yarn的优点：　　这个大大减小了JobTracker（也就是现在的ResourceManager）的资源消耗，并且让监测每一个Job子任务(tasks)状态的程序分布式化了，更安全、更优美。　　在新的Yarn中，ApplicationMaster是一个可变更的部分，用户可以对不同的编程模型写自己的AppMst，让更多类型的编程模型能够跑在Hadoop集群中，可以参考hadoopYarn官方配置模板中的mapred-site.xml配置。　　对于资源的表示以内存为单位(在目前版本的Yarn中，没有考虑cpu的占用)，比之前以剩余slot数目更合理。　　老的框架中，JobTracker一个很大的负担就是监控job下的tasks的运行状况，现在，这个部分就扔给ApplicationMaster做了，而ResourceManager中有一个模块叫做ApplicationsMasters(注意不是ApplicationMaster)，它是监测ApplicationMaster的运行状况，如果出问题，会将其在其他机器上重启。　　Container是Yarn为了将来作资源隔离而提出的一个框架。这一点应该借鉴了Mesos的工作，目前是一个框架，仅仅提供java虚拟机内存的隔离,hadoop团队的思路应该后续能支持更多的资源调度和控制,既然资源表示成内存量，那就没有了之前的mapslot/reduceslot分开造成集群资源闲置的尴尬情况。　　Spark　　Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。他们三个其实也可以说Hadoop发展的几个阶段，目前Spark非常火，是用Scala语言写的。

54、Hadoop（此处为侠义概念单指HDFS+MapReduce+Yarn）

55、什么是大数据？怎么理解大数据？

56、Sqoop的成层原理本质上是MapRatuce任务。Sqoop是通过个MapReduve作业从数据库中导入一个表，这个作业从表中逐行抽取数据，接着将一行行的数据写入HDFS。

57、同时，Hadoop还支持各种数据处理工具和编程语言，如ApacheSpark、Hive等，为用户提供了丰富的数据分析和处理能力。

58、对个人而言，可以利用大数据更了解自己等。

59、·2010年9月，Hive脱离Hadoop，成为Apache顶级项目。

60、一些小工具(Sqoop等)

61、Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。

62、Aluxio

63、Hadoop是什么Hadoop是一个分布式计算框架。

64、是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。

65、Kylin

66、还想知道啥呢？