AWS - DataPipeline, CodePipeline & CodeCommit Enum

Reading time: 5 minutes

DataPipeline

AWS Data Pipeline je dizajniran da olakša pristup, transformaciju i efikasan prenos podataka na velikoj skali. Omogućava sledeće operacije:

1. Pristupite svojim podacima gde su pohranjeni: Podaci koji se nalaze u raznim AWS uslugama mogu se neometano pristupiti.
2. Transformišite i obrađujte na velikoj skali: Zadaci obrade i transformacije podataka na velikoj skali se efikasno obavljaju.
3. Efikasno prenesite rezultate: Obradni podaci se mogu efikasno preneti na više AWS usluga uključujući:

• Amazon S3
• Amazon RDS
• Amazon DynamoDB
• Amazon EMR

U suštini, AWS Data Pipeline pojednostavljuje kretanje i obradu podataka između različitih AWS računarskih i skladišnih usluga, kao i lokalnih izvora podataka, u određenim intervalima.

Enumeration

aws datapipeline list-pipelines
aws datapipeline describe-pipelines --pipeline-ids <ID>
aws datapipeline list-runs --pipeline-id <ID>
aws datapipeline get-pipeline-definition --pipeline-id <ID>

Privesc

Na sledećoj stranici možete proveriti kako da zloupotrebite dozvole datapipeline-a za eskalaciju privilegija:

AWS - Datapipeline Privesc

CodePipeline

AWS CodePipeline je potpuno upravljana usluga kontinuirane isporuke koja vam pomaže da automatizujete svoje procese isporuke za brza i pouzdana ažuriranja aplikacija i infrastrukture. CodePipeline automatizuje faze izgradnje, testiranja i implementacije vašeg procesa isporuke svaki put kada dođe do promene koda, na osnovu modela isporuke koji definišete.

Enumeration

aws codepipeline list-pipelines
aws codepipeline get-pipeline --name <pipeline_name>
aws codepipeline list-action-executions --pipeline-name <pl_name>
aws codepipeline list-pipeline-executions --pipeline-name <pl_name>
aws codepipeline list-webhooks
aws codepipeline get-pipeline-state --name <pipeline_name>

Privesc

Na sledećoj stranici možete proveriti kako da zloupotrebite dozvole codepipeline-a za eskalaciju privilegija:

AWS - Codepipeline Privesc

CodeCommit

To je usluga za kontrolu verzija, koja je hostovana i potpuno upravljana od strane Amazona, a može se koristiti za privatno čuvanje podataka (dokumenata, binarnih fajlova, izvornog koda) i upravljanje njima u oblaku.

Ona eliminira potrebu da korisnik poznaje Git i upravlja sopstvenim sistemom kontrole verzija ili brine o skaliranju svoje infrastrukture. Codecommit podržava sve standardne funkcionalnosti koje se mogu naći u Gitu, što znači da besprekorno funkcioniše sa trenutnim Git alatima korisnika.

Enumeration

# Repos
aws codecommit list-repositories
aws codecommit get-repository --repository-name <name>
aws codecommit get-repository-triggers --repository-name <name>
aws codecommit list-branches --repository-name <name>
aws codecommit list-pull-requests --repository-name <name>

# Approval rules
aws codecommit list-approval-rule-templates
aws codecommit get-approval-rule-template --approval-rule-template-name <name>
aws codecommit list-associated-approval-rule-templates-for-repository --repository-name <name>

# Get & Put files
## Get a file
aws codecommit get-file --repository-name backend-api --file-path app.py
## Put a file
aws codecommit get-branch --repository-name backend-api --branch-name master
aws codecommit put-file --repository-name backend-api --branch-name master --file-content fileb://./app.py --file-path app.py --parent-commit-id <commit-id>

# SSH Keys & Clone repo
## Get codecommit keys
aws iam list-ssh-public-keys #User keys for CodeCommit
aws iam get-ssh-public-key --user-name <username> --ssh-public-key-id <id> --encoding SSH #Get public key with metadata
# The previous command will give you the fingerprint of the ssh key
# With the next command you can check the fingerprint of an ssh key and compare them
ssh-keygen -f .ssh/id_rsa -l -E md5

# Clone repo
git clone ssh://<SSH-KEY-ID>@git-codecommit.<REGION>.amazonaws.com/v1/repos/<repo-name>

Reference

• https://docs.aws.amazon.com/whitepapers/latest/aws-overview/analytics.html