长沙达内IT教育培训学校 |
长沙学大数据短期可以学会吗?随着大数据发展越来越好,很多人想要去学习大数据,但是IT技术类学习的时间一般都比较长,而很多人没有太多的时间用来学习,那么一般学习大数据需要多长时间呢?目前来说,时间长短主要受到学习者基础、课程内容、项目实战几大部分影响。
对于有java的基础的人来说,可以视情况直接跳过java阶段的学习,那么学习时间就可以少一个月左右,当然这是要基础足够扎实,如果你只是自学了一点java的知识,那么还是要从0开始学起的。不同的机构,其课程内容的安排是不同的,比如长沙达内it培训学校的课程内容就设置了13个大阶段,包含了从java基础、linux、hadoop基础还有saprk、strom、python、机器学习等目前大数据主要的技术内容,课程的学习周期自然也会比较长。
如何理解项目实战
学习大数据肯定要经过项目实战,项目的内容以及项目的数量,因为这部分的项目练习是跟项目经验有关的,只有做过项目,在面试以及后期的工作中,才能够从容应付。而项目数量多,项目复杂度高,自然需要更长的学习时间。
大数据:
Volume(海量化):数据量巨大,从TB到PB级别。
Velocity(时效性):数据量在持续增加(两位数的年增长率)。
从数据的生成到消耗,时间窗口非常小。数据的变化速率,还有处理过程,越来越快。例如变化速率,从以前的按天变化,变成现在的按秒甚至毫秒变化。
Variety(多样化):数据类型复杂,超过80%的数据是非结构化的。
数据的形式是多种多样的,包括数字(价格、交易数据、体重、人数等)、文本(邮件、网页等)、图像、音频、视频、位置信息(经纬度、海拔等),等等,都是数据。
数据又分为结构化数据和非结构化数据。
Value(价值密度):低密度高价值,低成本创造高价值。
文件存储:Hadoop HDFS、Tachyon、KFS
离线计算:Hadoop MapReduce、Spark
实时计算:Storm、Spark Streaming、Flink
NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie、Azkaban……
数据采集:大数据处理的步,数据来源主要是两类,类是各个业务系统的关系数据库,通过Sqoop或者Cannal等工具进行定时抽取或者实时同步;第二类是各种埋点日志,通过Flume进行实时收集。
数据存储:收集到数据后,下一步便是将这些数据存储在HDFS中,实时日志流情况下则通过Kafka输出给后面的流式计算引擎。
数据分析:这一步是数据处理zui核心的环节,包括离线处理和流处理两种方式,对应的计算引擎包括MapReduce、Spark、Flink等,处理完的结果会保存到已经提前设计好的数据仓库中,或者HBase、Redis、RDBMS等各种存储系统上。
数据应用:包括数据的可视化展现、业务决策、或者AI等各种数据应用场景。
尊重原创文章,转载请注明出处与链接:http://news.peixun360.com/908465/ 违者必究! 以上就是 长沙达内IT教育培训学校 小编为您整理 长沙学大数据短期可以学会吗 的全部内容。