石家庄哪有专业的大数据培训中心
石家庄哪有专业的大数据培训中心?达内时代科技集团有限公司(简称达内教育),美股交易代码:TEDU,成立于2002年。 2014年4月3日成功在美国纳斯达克上市。成为中国赴美国上市的职业教育公司,也是引领行业的职业教育公司。达内致力于面向IT互联网行业,培养JAVA开发工程师、测试工程师、系统管理员、智能硬件工程师、UI设计师、PHP开发培训,网络营销工程师、会计等职场人才。
大数据离线阶段我们较该学习的是模块开发的结果导出
SQOOP是HADOOP和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MYSQL,ORACLE到HADOOP的HDFS,并从HADOOP的文件系统导出数据到关系数据库。由APACHE软件基金会提供。
SQOOP:“SQL 到 HADOOP 和 HADOOP 到SQL”。
SQOOP工作机制是将导入或导出命令翻译成MAPREDUCE程序来实现。
在翻译出的MAPREDUCE中主要是对INPUTFORMAT和OUTPUTFORMAT进行定制。
安装SQOOP的前提是已经具备JAVA和HADOOP的环境。
“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据(或者AVRO、SEQUENCE文件等二进制数据)。
下面的命令用于从MYSQL数据库服务器中的EMP表导入HDFS。
为了验证在HDFS导入的数据,请使用以下命令查看导入的数据:
可以看出它会用逗号,分隔EMP表的数据和字段。
--TABLE EMP_ADD为MYSQL中的数据库SQOOPDB中的表。
--WHERE 可以指定从关系数据库导入数据时的查询条件。它执行在各自的数据库服务器相应的SQL查询,并将结果存储在HDFS的目标目录。
增量导入是仅导入新添加的表中的行的技术。
--INCREMENTAL (MODE) APPEND:追加,比如对大于LAST-VALUE指定的值之后的记录进行追加导入。LASTMODIFIED:较后的修改时间,追加LAST-VALUE指定的日期之后的记录
--LAST-VALUE (VALUE) 指定自从上次导入后列的较大值(大于该指定的值),也可以自己设定某一值
默认操作是从将文件中的数据使用INSERT语句插入到表中,更新模式下,是生成UPDATE语句更新表数据。
尊重原创文章,转载请注明出处与链接:HTTP://NEWS.PEIXUN360.COM/906165/违者必究! 以上就是石家庄达内IT培训学校 小编为您整理石家庄哪有专业的大数据培训中心的全部内容。