您好,欢迎来到爱问旅游网。
搜索
您的当前位置:首页FTP自动化加载步骤

FTP自动化加载步骤

来源:爱问旅游网
FTP自动化加载步骤

1、自动化脚本 ftp_getdata_auto.sh2、变量路径设置:

FTP路径:FTPDIR=/home/tomcat/test (可替换)

数据存放路径:v_sTargetPath=/home/almusr/data/odsdata/FTP (可替换)FTP完成标志路径:FTPOK_DIR=/home/almusr/data/etl_load/FTPOK (可替换)日志路径:v_sLogDir=/home/almusr/log (可替换)

date_record.txt文本存放路径:FTPOK_DIR=/home/almusr/data/etl_load/FTPOK

1. 变量路径说明

FTP路径:在FTP之前数据存放在服务器上的绝对路径数据存放路径:FTP过程完成后数据存放的绝对路径FTP完成标志路径:FTP完成后生成OK标志文件的绝对路径日志路径:FTP过程中生成的日志的绝对路径

date_record.txt文本存放路径:初始自动化加载日期的脚本,与FTP完成标志路径一致,有变量传入。注:不可随便修改

以下操作步骤均在服务器上进行2. 自动化步骤

3. 、将ftp_getdata_auto.sh上传上服务器上,路径:/home/almusr/shell

4. 、在date_record.txt文本存放路径下手动生成date_record.txt文本,命令:touch date_record.txt5. 、初始化FTP自动化加载时间,编辑date_record.txt,命令:vi date_record.txt

如初始化日期为20150925,则编辑如下:

编辑完成,保存退出(先按i键再编辑,编辑完先esc,再 :wq保存),文本内容如下:

1. 设置定时任务启动FTP自动化加载脚本

2. 查看linux下定时任务列表,命令:crontab -l

2. 设置定时启动时间,命令:crontab -e

先i键编辑设置,第一个至第五个参数分别为 分钟,时(24小时),天,周,年,最后一个参数就是命令;如:设置成每天凌晨00点00分启动该脚本

其中

为脚本存放的绝对路径

编辑完成先esc,再:wq保存。

如遇特殊情况需要人工干预则可调用人工加载脚本脚本一:ftp_getdata_manul.sh该脚本可处理以下几种情况:

1. 、单跑某一天,单独调一天2. 、跑连续多天,连续调多次

3. 、跑不连续的多天,跑几天就调几次,调用不同日期 、跑不连续的多天,跑几天就调几次,调用不同日期

步骤如下:

1. 脚本 ftp_getdata_manul.sh2. 变量路径设置:

脚本存放路径:/home/almusr/shell (可替换)

FTP路径:FTPDIR=/home/tomcat/test (可替换)

数据存放路径:v_sTargetPath=/home/almusr/data/odsdata/FTP (可替换)FTP完成标志路径:FTPOK_DIR=/home/almusr/data/etl_load/FTPOK (可替换)日志路径:v_sLogDir=/home/almusr/log (可替换)3、变量路径说明

FTP路径:在FTP之前数据存放在服务器上的绝对路径数据存放路径:FTP过程完成后数据存放的绝对路径FTP完成标志路径:FTP完成后生成OK标志文件的绝对路径日志路径:FTP过程中生成的日志的绝对路径

1. 调用脚本:

cd /home/almusr/shell

ftp 2015年9月30号的数据,命令如下: sh ftp_getdata_manul.sh 20150930 sh ftp_getdata_manul.sh 20150930

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- awee.cn 版权所有 湘ICP备2023022495号-5

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务