docker/datax/Demo/MultiProc/README.md

部署多进程 datax

• 两组 job

• 第一组每天 5 点执行一次，每次最多并行 3 个 job，每个 job 超时时间十五分钟

• 第二组每天 6 点执行一次，每次最多并行 4 个 job，每个 job 超时时间一小时

• 根据实际环境修改

  • docker-compose.yml
  • datax/job/xxxx.json

• 创建目录

  grep '\<source:' docker-compose.yml | cut -d: -f2 | xargs mkdir -p
  

• 把第一组任务的 job 配置文件(xxxx.json)放在 /compose/datax1/job/ 下

• 把第二组任务的 job 配置文件(xxxx.json)放在 /compose/datax2/job/ 下

• 启动

  docker-compose up -d
  

• 添加定时任务

  * 5 * * * docker-compose -f /compose/docker-compose.yml up -d datax1
  * 6 * * * docker-compose -f /compose/docker-compose.yml up -d datax2