update

content/post/sqoop.md

@@ -0,0 +1,59 @@
+---
+title: "Sqoop 笔记"
+date: 2019-10-30T11:35:48+08:00
+lastmod: 2019-10-30T11:35:48+08:00
+tags: ["sqoop", "hive", "mysql"]
+categories: ["hadoop"]
+---
+
+# 把 mysql 表数据导入 hive 中
+- 命令格式
+    ```bash
+    sqoop import {参数列表}
+    ```
+- 默认在 hive 中创建指定表，如果该表已存在，则把 mysql 表数据追加到该表中，常规参数如下
+    ```bash
+    --connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
+    --username _mysql_user_
+    --password _mysql_password_
+    --table _mysql_tablename_
+    --hive-import
+    --hive-database _hive_dbname_
+    --hive-table _hive_tablename_
+    --hive-drop-import-delims
+    -m 1
+    ```
+- 如果该表已存在，则报错退出，参数如下
+    ```bash
+    --create-hive-table
+    ```
+- 如果该表已存在，则覆盖重新导入，参数如下
+    ```bash
+    --hive-overwrite
+    ```
+- 导入增量数据，参数如下
+    ```bash
+    --incremental append
+    --check-column _mysql_tablecolumn_
+    --last-value _last_value_
+    ```
+
+# 把 hive 表数据导入 mysql 中
+- 命令格式
+    ```bash
+    sqoop export {参数列表}
+    ```
+- mysql 中需提前创建好待导入的表，常规参数如下
+    ```bash
+    --connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
+    --username _mysql_username_
+    --password _mysql_password_
+    --table _mysql_tablename_
+    --hcatalog-database _hive_dbname_
+    --hcatalog-table _hive_tablename_
+    ```
+- 只导出 hive 表中的部分的指定(部分)字段，参数如下
+    ```bash
+    --columns "_column_name1_,_column_name2_,_column_name3_"
+    ```
+