Získejte všechny Amazon S3 soubory uvnitř kbelíku rámci Slib

Question 1

Snažím se chytit tisíce souborů z Amazon S3 v Slíbit ale nemůžu přijít na to, jak se patří ContinuationToken v případě, že seznam je zkrácen a shromáždit je všechny dohromady v rámci slib. Jsem začátečník s JS, a mohl použít nějakou pomoc. Tady je to, co mám, tak daleko:

getFiles()
    .then(filterFiles)
    .then(mapUrls)
;

function getFiles(token) {
    var params = {
        Bucket: bucket,
        MaxKeys: 5000,
        ContinuationToken: token
    };
    var allKeys = [];

    var p = new Promise(function(resolve, reject){
    s3.listObjectsV2(params, function(err, data) {
      if (err) { 
        return reject(err);
      }
      allKeys.push(data.Contents)
      if (data.IsTruncated) {
        s3.listObjectsV2({Bucket: bucket, MaxKeys: 5000, ContinuationToken: data.NextContinuationToken})
        console.log('Getting more images...');
        allKeys.push(data.Contents)
      }
      resolve(data.Contents);
    });
  });

  return p;
}

Potřebuji funkci, aby i nadále spustit, dokud jsem vytvořil seznam všech předmětů v kbelíku na návrat.

Question 2

Potřebujete ContinuationToken podruhé.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, je to jen s3 funkce volána dvakrát, spíš jako vnořené volání. Rekurze je, když funkce volá sama dokud zadaná podmínka je splněna.

Přečtěte si více o rekurzi: https://medium.com/@vickdayaram/recursion-caad288bf621

Question 3

Byl jsem schopen vyjmenovat všechny objekty v kbelíku pomocí async/await a níže uvedený kód pro naplnění pole.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Díky všem, kteří pomohli!

sid · Answer 1 · 2021-10-25T16:29:42

Potřebujete ContinuationToken podruhé.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, je to jen s3 funkce volána dvakrát, spíš jako vnořené volání. Rekurze je, když funkce volá sama dokud zadaná podmínka je splněna.

Přečtěte si více o rekurzi: https://medium.com/@vickdayaram/recursion-caad288bf621

Dobrý postřeh - budu aktualizovat mou otázku s více detaily. Potřebuji funkci, aby i nadále spustit, dokud všechny soubory byly načteny.

AppleBaggins · Answer 2 · 2021-10-26T00:59:26

Byl jsem schopen vyjmenovat všechny objekty v kbelíku pomocí async/await a níže uvedený kód pro naplnění pole.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Díky všem, kteří pomohli!

Získejte všechny Amazon S3 soubory uvnitř kbelíku rámci Slib

Otázka

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii