来源：昆山IT培训学院      发布时间：2021/11/21 11:41:24

　　昆山学大数据的机构实力排名好的?中公优就业为学员量身打造的个性化、差异化就业流程，力保每一位学员不仅能就业，更能优就业。优就业会根据学员意愿建档统计就职意向,通过理论+实战+实训的学习，通过毕业考核后，将会接受专业的一对一就业服务指导。优就业了解合作企业的岗位需求，可针对各岗位进行差异化培训，打造符合岗位规范的应聘者。同时，会定期举办企业上门招聘双选会，学员可以与心仪的企业面对面沟通，并得到优就业的大力推荐。做到真正对学员负责，对合作企业负责，达到人岗匹配的优化及双方利益的扩大化。

　　大数据离线阶段我们较该学习的是模块开发的结果导出

　　Apache Sqoop

　　Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如：MySQL，Oracle到Hadoop的HDFS，并从Hadoop的文件系统导出数据到关系数据库。由Apache软件基金会提供。

　　Sqoop：“SQL 到 Hadoop 和 Hadoop 到SQL”。

　　Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。

　　在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

　　sqoop安装

　　安装sqoop的前提是已经具备java和hadoop的环境。

　　较新稳定版： 1.4.6

　　配置文件修改：

　　cd $SQOOP_HOME/conf

　　mv sqoop-env-template.sh sqoop-env.sh

　　vi sqoop-env.sh

　　export HADOOP_COMMON_HOME=/root/apps/hadoop/

　　export HADOOP_MAPRED_HOME=/root/apps/hadoop/

　　export HIVE_HOME=/root/apps/hive

　　加入mysql的jdbc驱动包

　　cp /hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/

　　验证启动

　　bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password hadoop

　　本命令会列出所有mysql的数据库。

　　到这里，整个Sqoop安装工作完成。

　　2. Sqoop导入

　　“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据(或者Avro、sequence文件等二进制数据)。

　　下面的语法用于将数据导入HDFS。

　　$ sqoop import (generic-args) (import-args)

　　Sqoop测试表数据

　　在mysql中创建数据库userdb，然后执行参考资料中的sql脚本：

　　创建三张表: emp emp_add emp_conn。

　　2.1. 导入mysql表数据到HDFS

　　下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

　　bin/sqoop import \

　　--connect jdbc:mysql://node-21:3306/sqoopdb \

　　--username root \

　　--password hadoop \

　　--target-dir /sqoopresult \

　　--table emp --m 1

　　其中--target-dir可以用来指定导出数据存放至HDFS的目录;

　　mysql jdbc url 请使用 ip 地址。

尊重原创文章，转载请注明出处与链接：http://news.peixun360.com/903479/ 违者必究！ 以上就是 昆山IT培训学院 小编为您整理 昆山学大数据的机构实力排名好的 的全部内容。