作用：每小時定時執(zhí)行以下代碼,，能將上一個小時中的數(shù)據(jù)進行取出,，用以進行數(shù)據(jù)分析和挖掘

把以下代碼中需要修改的部分修改一下后創(chuàng)建一個sh文件,，將修改該好的數(shù)據(jù)放進去就行了,，這個是針對oracle的sqoop語句

紅色字體為我后加的注釋,，要注意去掉

橙色部分為需要修改的部分,，sql部分需要針對自己業(yè)務進行設計，注意最終輸出地址：默認為hdfs地址,，也可導進hive中,，這個請自行百度

#!/bin/sh
#comments

當前小時(注意等號后面的字符兩端有反單引號（即在英文輸入狀態(tài)下esc下面的按鍵按出來的），因為字體的原因本站顯示不出來)
nowHour=`date “+%Y-%m-%d %H:00:00″`

上一小時(注意等號后面的字符兩端有反單引號（即在英文輸入狀態(tài)下esc下面的按鍵按出來的）,，因為字體的原因本站顯示不出來)
lastHour=`date -d -1hour “+%Y-%m-%d %H:00:00″`

sqoop要執(zhí)行的sql語句
sql=”SELECT  id,TO_CHAR(logdate,’yyyy-mm-dd hh24:mi:ss’) FROM testT WHERE logdate >= TO_date(‘”$lastHour”‘,’yyyy-mm-dd hh24:mi:ss’) and logdate < TO_date(‘”$nowHour”‘,’yyyy-mm-dd hh24:mi:ss’) and  \$CONDITIONS”

sqoop命令
sqoop import –connect jdbc:oracle:thin:@192.168.0.xx:1521:orcl –username username–password pwd\
–query “\”$sql\”” \
–m 1 –append –target-dir /hdfs目錄