如何自动化Talend Job2Docker作业到Kubernetes

Question

有人可以给我一些最佳实践的指导，以将多个Talend作业动态地带入Kubernetes吗？

1. 我正在使用Talend Open Studio处理大数据
2. 我有一个Job2Docker的侦听器服务器
3. 如何更改脚本以自动推送到Docker Hub？
4. 是否可以使用可以基于配置文件运行作业的动态CronJob K8s类型。

Answer 1

我最终没有使用Job2Docker来支持简单的docker进程。

1. 构建Talend Standalone作业。
2. 将构建版本解压缩到名为jobs的文件夹中。
3. 使用下面的Dockerfile示例构建并推送您的Docker映像。

Dockerfile

FROM java
WORKDIR /talend
COPY ./jobs /talend

为K8创建CronJob类型

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: etl-edw-cronjob
spec:
  schedule: "0 * * * *"
  jobTemplate:
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
            - name: etl-edw-job
              image: dockerhubrepo/your-etl
              command: ["sh",  "./process_data_warehouse_0.1/process_data_warehouse/process_data_warehouse_run.sh"]
              env:
                - name: PGHOST
                  value: postgres-cluster-ip-service
                - name: PGPORT
                  value: "5432"
                - name: PGDATABASE
                  value: infohub
                - name: PGUSER
                  value: postgres
                - name: PGPASSWORD
                  valueFrom:
                    secretKeyRef:
                      name: pgpassword
                      key: PGPASSWORD
                - name: MONGOSERVER
                  value: mongo-service
                - name: MONGOPORT
                  value: "27017"
                - name: MONGODB
                  value: hearth