部署多进程 datax
-
两组 job
-
第一组每天 5 点执行一次，每次最多并行 3 个 job，每个 job 超时时间十五分钟
-
第二组每天 6 点执行一次，每次最多并行 4 个 job，每个 job 超时时间一小时
-
根据实际环境修改
- docker-compose.yml
- datax/job/xxxx.json
-
创建目录
grep '\<source:' docker-compose.yml | cut -d: -f2 | xargs mkdir -p -
把第一组任务的 job 配置文件(xxxx.json)放在 /compose/datax1/job/ 下
-
把第二组任务的 job 配置文件(xxxx.json)放在 /compose/datax2/job/ 下
-
启动
docker-compose up -d -
添加定时任务
* 5 * * * docker-compose -f /compose/docker-compose.yml up -d datax1 * 6 * * * docker-compose -f /compose/docker-compose.yml up -d datax2