Bash Skript spustit AWS Cli příkaz paralelně na snížení času

Question 1

promiň, já jsem stále nový bash skriptování. Mám kolem 10000 EC2 instance, vytvořil jsem toto: bash script pro změnu můj EC2 instance typu, všechny instance název a typ jsou uloženy v souboru. kód je funkční, ale to trvá tak dlouho, spustit a to prostřednictvím například instanci.

má někdo ví, jestli jsem může běžet AWS Cli příkaz na všechny EC2 instance v jednom jít ? Díky :)

#!/bin/bash

my_file='test.txt'

declare -a instanceID
declare -a fmo #Future Instance Size

while IFS=, read -r COL1 COL2; do

   instanceID+=("$COL1")
   fmo+=("$COL2")   

done <"$my_file"

len=${#instanceID[@]}

for (( i=0; i < $len; i++)); do

   vm_instance_id="${instanceID[$i]}"
   vm_type="${fmo[$i]}"

   echo Stoping $vm_instance_id
   aws ec2 stop-instances --instance-ids $vm_instance_id

   echo " Waiting for $vm_instance_id state to be STOP "
   aws ec2 wait instance-stopped --instance-ids $vm_instance_id


   echo Resizing $vm_instance_id to $vm_type 
   aws ec2 modify-instance-attribute --instance-id $vm_instance_id --instance-type $vm_type
   


   echo Starting $vm_instance_id 
   aws ec2 start-instances --instance-ids $vm_instance_id
    

done

Question 2

Refaktorovat kód funkce, který je předán řádek ze souboru.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Spustit GNU xargs nebo GNU parallel pro každý řádek ze souboru, který volá exportovanou funkci. Použití -P možnost spuštění funkce v paralelní, viz dokumentace.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Question 3

Jako @KamilCuk poukázal zde, můžete snadno dělat to paralelně. Nicméně, Pokud se vám tento skript spustit paralelně, můžete skončit mě škrtil EC2, takže ujistěte se, že jste zahrnují některé bek + logika opakování / respektovat limity uvedené zde https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

KamilCuk · Answer 1 · 2021-11-23T10:03:16

Refaktorovat kód funkce, který je předán řádek ze souboru.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Spustit GNU xargs nebo GNU parallel pro každý řádek ze souboru, který volá exportovanou funkci. Použití -P možnost spuštění funkce v paralelní, viz dokumentace.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Praveen Sastry · Answer 2 · 2021-11-25T06:11:48

Jako @KamilCuk poukázal zde, můžete snadno dělat to paralelně. Nicméně, Pokud se vám tento skript spustit paralelně, můžete skončit mě škrtil EC2, takže ujistěte se, že jste zahrnují některé bek + logika opakování / respektovat limity uvedené zde https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

Bash Skript spustit AWS Cli příkaz paralelně na snížení času

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii