Fichas
2 - S3
Fichas del conjunto (44)
- 1Introdução ao Amazon S3Definição: Serviço de armazenamento de objetos escalável da AWS.
Principais Características:
Armazenamento de escala infinita.
Suporte para integração com outros serviços da AWS.
Casos de uso:
Backup e recuperação de desastres.
Arquivamento com custo reduzido (Ex.: S3 Glacier).
Hospedagem de sites estáticos e mídia.
Data lakes para análises de big data. - 22. Estrutura do Amazon S3Buckets:
Diretórios de nível superior no S3.
Devem ter nomes globalmente exclusivos.
São criados em uma região específica.
Objetos:
Arquivos armazenados nos buckets.
Compostos por:
Chave: Caminho completo do objeto (prefixo + nome).
Corpo: Conteúdo do arquivo.
Metadados: Pares chave-valor definidos pelo sistema ou pelo usuário.
Tags: Até 10 pares chave-valor Unicode. - 33. Limites e ConsideraçõesTamanho máximo de objetos:
5 TB por objeto.
Arquivos maiores que 5 GB devem usar upload de várias partes.
Conceito de diretórios:
O S3 não tem diretórios reais; "pastas" são simuladas com chaves que contêm barras. - 44. Segurança no Amazon S3amadas de Segurança:
Baseada em Usuário (IAM):
Políticas do IAM para gerenciar permissões de acesso a chamadas de API.
Baseada em Recursos (Políticas de Bucket):
JSON anexado diretamente ao bucket.
Permite:
Tornar buckets públicos.
Permitir acesso entre contas.
Forçar criptografia no upload.
Lista de Controle de Acesso (ACL):
Controle de acesso a nível granular para objetos e buckets.
Menos comum e pode ser desativado.
Regras de Permissão:
Acesso ao S3 é permitido se:
IAM ou política de recurso permite.
Nenhuma negação explícita existe. - 55. Políticas de Bucket (Exemplos)Formato JSON:
Especifica:
Recursos: Quais buckets/objetos se aplicam.
Efeito: Allow ou Deny.
Ações: Permissões específicas (ex.: GetObject).
Princípio: Quem pode acessar (ex.: * para público). - 6Exemplo de Política para Acesso Público: json{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": "*",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::example-bucket/*"
}
]
} - 76. Configurações de Bloqueio de Acesso PúblicoCamada extra de segurança.
Evita que buckets sejam acidentalmente tornados públicos.
Níveis:
No bucket.
Em toda a conta AWS. - 87. Integrações com IAM e Outras ContasIAM Policies:
Controle para usuários e funções IAM dentro da mesma conta.
Funções IAM para EC2:
Permitem que instâncias EC2 acessem buckets do S3 sem expor credenciais.
Acesso entre contas:
Configurado com políticas de bucket específicas para usuários IAM de outras contas. - 98. Criptografia no S3Tipos de Criptografia:
No lado do servidor (SSE):
SSE-S3 (Chaves gerenciadas pela AWS).
SSE-KMS (Chaves gerenciadas pelo AWS KMS).
No lado do cliente: Dados criptografados antes do upload. - 101. Hospedagem de Sites Estáticos com S3Visão Geral:
O Amazon S3 pode hospedar sites estáticos, como páginas HTML, CSS e JavaScript.
Não suporta sites dinâmicos com backend (ex.: PHP, Node.js).
O URL do site depende da região do bucket (ex.: http://bucket-name.s3-website-region.amazonaws.com).
Configuração:
Criar um Bucket S3: O nome deve ser único globalmente.
Carregar Arquivos: Adicione arquivos estáticos (HTML, CSS, JS).
Habilitar a Hospedagem de Sites:
Configure o bucket para "Static Website Hosting".
Especifique o arquivo de índice (ex.: index.html) e opcionalmente o de erro (ex.: error.html). - 112. Controle de Versão no S3Definição:
Permite rastrear versões de objetos no bucket.
Protege contra exclusões acidentais e permite reverter para versões anteriores.
Funcionamento:
Cada upload cria uma nova versão do objeto.
Exclusões adicionam um "marcador de exclusão" sem remover a versão anterior.
Objetos existentes antes da ativação têm versão "null".
Ativação e Configurações:
O controle de versão é ativado no nível do bucket.
Suspender o controle de versão não exclui as versões existentes. - 123. Replicação no S3Tipos de Replicação:
CRR (Cross-Region Replication):
Replicação entre regiões diferentes.
Casos de uso:
Conformidade/regulamentação.
Acesso de baixa latência em múltiplas regiões.
Requer buckets em diferentes regiões.
SRR (Same-Region Replication):
Replicação dentro da mesma região.
Casos de uso:
Agregação de logs.
Sincronização entre contas de produção e teste.
Requisitos:
Controle de versão ativado nos buckets de origem e destino.
Permissões IAM apropriadas para o serviço S3.
Limitações:
Apenas objetos criados após a configuração são replicados.
Objetos existentes requerem S3 Batch Replication. - 134. Classes de Armazenamento do S3Classes de Uso Geral:
S3 Standard:
S3 Standard-IA (Infrequent Access):
S3 One Zone-IA: - 14Classes de Arquivamento (Glacier):Glacier Instant Retrieval:
Glacier Flexible Retrieval:
Glacier Deep Archive: - 15Classe Inteligente:S3 Intelligent-Tiering:
- 165. Configuração do Ciclo de VidaPermite mover objetos automaticamente entre classes de armazenamento.
Exemplos:
Mover para IA após 30 dias sem acesso.
Arquivar no Glacier após 90 dias. - 171. Transição de Objetos no Amazon S3Movimentação Manual e Automática:
Objetos podem ser movidos manualmente ou por regras de ciclo de vida entre classes de armazenamento.
Regras de Ciclo de Vida:
Permitem transições automáticas com base no tempo ou em critérios como prefixos ou tags.
Ações comuns:
Transição: Mover para outra classe (ex.: Glacier após 90 dias).
Expiração: Excluir objetos ou versões antigas após um período.
Uploads Incompletos: Excluir uploads incompletos após X dias.
Exemplo de Regras:
Imagens de perfil: Originais permanecem em Standard por 60 dias, depois são movidas para Glacier.
Miniaturas: Armazenadas em One-Zone IA, expirando após 60 dias.
S3 Analytics:
Gera relatórios para identificar padrões de acesso.
Ajuda a determinar o momento ideal para transições.
Funciona apenas para classes Standard e Standard-IA. - 182. Buckets Requester PaysFuncionamento:
O custo de transferência de dados é pago pelo solicitante, não pelo proprietário do bucket.
O proprietário ainda arca com os custos de armazenamento.
Casos de Uso:
Compartilhamento de grandes conjuntos de dados com terceiros.
Solicitantes precisam ser autenticados. - 193. Notificações de Eventos do S3Eventos no S3 (ex.: upload de objeto, exclusão, replicação) podem gerar notificações para outros serviços.
Destinos Comuns:
SNS (Simple Notification Service):
Envia notificações para múltiplos assinantes.
SQS (Simple Queue Service):
Cria filas para processar eventos de forma assíncrona.
Lambda:
Executa código automaticamente em resposta a eventos.
EventBridge:
Oferece opções avançadas de filtragem e roteamento para mais de 18 serviços AWS.
Configuração:
Cada destino requer políticas de acesso a recursos para autorizar o S3:
SNS: Política de acesso ao tópico.
SQS: Política de acesso à fila.
Lambda: Política de acesso à função.
Casos de Uso:
Geração automática de miniaturas.
Processamento de logs.
Integração com pipelines de dados. - 204. Classes de Armazenamento e Regras de Ciclo de VidaFluxo Comum de Transições:
Standard → Standard-IA → One-Zone IA → Glacier Flexible Retrieval → Deep Archive.
Classes de Armazenamento Recapituladas:
Standard: Acesso frequente.
Standard-IA: Acesso menos frequente, com recuperação rápida.
One-Zone IA: Custo reduzido, armazenado em uma única AZ.
Glacier (Instant Retrieval e Flexible): Arquivamento com recuperação rápida ou escalável.
Deep Archive: Menor custo, recuperação em até 48 horas. - 214. Classes de Armazenamento e Regras de Ciclo de VidaFluxo Comum de Transições:
Standard → Standard-IA → One-Zone IA → Glacier Flexible Retrieval → Deep Archive.
Classes de Armazenamento Recapituladas:
Standard: Acesso frequente.
Standard-IA: Acesso menos frequente, com recuperação rápida.
One-Zone IA: Custo reduzido, armazenado em uma única AZ.
Glacier (Instant Retrieval e Flexible): Arquivamento com recuperação rápida ou escalável.
Deep Archive: Menor custo, recuperação em até 48 horas. - 225. Conformidade e Recuperação de ObjetosCenários de Recuperação:
Controle de Versão: Ajuda a recuperar objetos excluídos por meio de versões anteriores.
Transição de Versões Não Atuais: Versões antigas podem ser movidas para Glacier ou Deep Archive.
Dicas para o Exame AWS:
Requester Pays: Útil para compartilhar dados grandes entre contas.
Notificações de Eventos: Lembre-se dos destinos e políticas necessárias.
Ciclo de Vida e Classes: Saiba configurar regras baseadas em casos de uso reais (ex.: backups, arquivamento). - 231. Desempenho de Linha de Base do Amazon S3Tempo de Resposta: 100-200ms para o primeiro byte.
Limites por Prefixo:
3.500 solicitações PUT/COPY/POST/DELETE por segundo.
5.500 solicitações GET/HEAD por segundo.
Prefixo: É o caminho parcial entre o bucket e o objeto (ex.: bucket/pasta1/subpasta/arquivo).
Distribuição por Prefixos:
Dividir objetos em múltiplos prefixos aumenta a capacidade de solicitações simultâneas. - 242. Otimização de Uploads e DownloadsUpload de Várias Partes:
Recomendado para arquivos acima de 100MB (obrigatório para mais de 5GB).
Divide o arquivo em partes menores, enviando-as em paralelo.
S3 Transfer Acceleration:
Acelera uploads e downloads utilizando os locais de borda da AWS.
Ideal para transferências entre regiões distantes, minimizando o uso da Internet pública.
S3 Byte Range Fetches:
Permite downloads paralelos por intervalos de bytes.
Benefícios:
Resiliência a falhas: Solicitações menores podem ser reemitidas.
Acessar partes específicas: Ex.: Recuperar cabeçalhos de arquivos. - 253. Operações em Lote no S3Casos de Uso:
Modificar metadados, copiar objetos, criptografar arquivos, restaurar objetos do Glacier.
Invocar funções Lambda para ações personalizadas.
Por que usar o Batch Operations?
Gerenciamento de novas tentativas.
Monitoramento de progresso e geração de relatórios.
Processo:
Gerar lista de objetos (com S3 Inventory e S3 Select).
Definir ações e parâmetros no Batch Operations.
Executar e monitorar o progresso. - 264. S3 Storage LensVisão Geral:
Fornece métricas e insights para analisar e otimizar o uso do S3.
Funciona em todas as contas, regiões e buckets.
Métricas disponíveis:
Uso e atividade.
Otimização de custos.
Proteção de dados.
Gerenciamento de acesso.
Desempenho e eventos.
Diferenciação Gratuito vs Pago:
Gratuito:
28 métricas básicas (ex.: bytes de armazenamento, contagem de objetos).
Dados disponíveis por 14 dias.
Pago:
Métricas avançadas (ex.: atividade detalhada, códigos HTTP).
Dados disponíveis por 15 meses.
Métricas publicadas no CloudWatch.
Casos de Uso:
Identificar buckets com uploads incompletos.
Descobrir objetos que podem ser movidos para classes de custo mais baixo.
Garantir conformidade com práticas recomendadas de segurança (ex.: controle de versão habilitado). - 271. Métodos de Criptografia no Amazon S3SSE-S3: Chaves gerenciadas pelo Amazon S3 (AES-256).
Simples e ativado por padrão.
Requer o cabeçalho: x-amz-server-side-encryption: AES256.
SSE-KMS: Chaves gerenciadas pelo AWS Key Management Service (KMS).
Controle sobre as chaves, com auditoria via CloudTrail.
Cabeçalho: x-amz-server-side-encryption: aws:kms.
Limitações:
Chamadas KMS estão sujeitas a cotas de solicitações (5.000-30.000 por segundo, dependendo da região).
SSE-C: Chaves gerenciadas pelo cliente.
O cliente fornece as chaves em cada solicitação via HTTPS.
O S3 não armazena as chaves, aumentando a responsabilidade do cliente.
Criptografia no Lado do Cliente:
O cliente criptografa os dados antes de fazer upload para o S3.
Requer gerenciamento completo das chaves pelo cliente.
Ideal para controle total sobre a criptografia e descriptografia. - 282. Criptografia em TrânsitoHTTPS:
Garantia de criptografia durante a transmissão dos dados.
Recomendado por padrão para evitar interceptação.
Forçando HTTPS:
Configure uma política de bucket para negar qualquer solicitação que use HTTP: - 294. Políticas de Bucket e Configurações de CriptografiaCriptografia Padrão:
SSE-S3 ativado por padrão para novos objetos.
Pode ser alterado para usar SSE-KMS como padrão.
Políticas de Bucket:
Permitem forçar regras adicionais de criptografia. - 305. Boas Práticas e ConsideraçõesEscolha do Método:
Use SSE-S3 para simplicidade.
Prefira SSE-KMS para controle e auditoria.
Opte por SSE-C ou criptografia no lado do cliente para requisitos específicos de segurança.
Gerenciamento de HTTPS:
Certifique-se de que as políticas de bucket forçam conexões seguras.
Controle de Cotas (KMS):
Monitore e ajuste cotas para evitar gargalos em buckets de alta taxa de transferência.
Configuração Padrão:
Use criptografia padrão com SSE-S3 ou SSE-KMS para consistência. - 31Cross-Origin Resource Sharing (CORS)Definição:
Mecanismo que permite ou restringe solicitações de recursos entre diferentes origens em navegadores.
Funcionamento:
Navegador faz uma solicitação pré-voo (OPTIONS) para verificar permissões.
Resposta do servidor inclui cabeçalhos Access-Control-Allow-Origin indicando quais origens são permitidas. - 32Aplicação no S3:[
{
"AllowedOrigins": ["https://example.com"],
"AllowedMethods": ["GET", "POST", "PUT"],
"AllowedHeaders": ["*"],
"ExposeHeaders": [],
"MaxAgeSeconds": 3000
}
] - 332. MFA Delete (Autenticação Multifator para Exclusões)Propósito: Prevenir exclusões acidentais ou maliciosas de versões de objetos.
Requisitos:
Controle de versão ativado no bucket.
Apenas a conta raiz pode ativar/desativar o MFA Delete.
Casos onde o MFA é exigido:
Exclusão permanente de versões de objetos.
Suspensão do controle de versão.
Limitações:
Não é necessário para listar versões ou ativar o controle de versão. - 343. Logs de Acesso no S3Objetivo: Registrar todas as solicitações feitas ao bucket, autorizadas ou não.
Funcionamento:
Logs são armazenados em outro bucket.
Formato dos logs é específico e pode ser analisado com ferramentas como Amazon Athena.
Atenção:
Evitar loops de log: Não usar o mesmo bucket como origem e destino dos logs. - 354. URLs Pré-assinadasDefinição: URLs temporárias geradas para permitir acesso controlado a objetos em buckets privados.
Expiração:
Até 12 horas pelo console.
Até 168 horas pelo CLI ou SDK.
Casos de Uso:
Compartilhar arquivos de forma temporária sem tornar o bucket público.
Permitir upload temporário de arquivos para um bucket privado.
Exemplo de Fluxo:
Usuário gera uma URL pré-assinada com suas permissões.
URL é compartilhada com terceiros.
Terceiros usam a URL para acessar ou fazer upload de objetos. - 365. Logs de Auditoria (S3 Access Logs)Finalidade:
Fornecer rastreamento detalhado de todas as atividades no bucket.
Recomendações:
Usar buckets separados para armazenar os logs.
Configurar os logs para compliance e auditoria de segurança. - 371. S3 Glacier Vault LockPropósito:
Implementar o modelo WORM (Write Once, Read Many).
Ideal para conformidade e retenção de dados.
Funcionamento:
Define uma política de bloqueio de cofre.
A política, uma vez bloqueada, não pode ser alterada ou excluída.
Objetos armazenados no cofre não podem ser excluídos, nem mesmo pelo administrador. - 382. S3 Object LockPropósito:
Bloquear a exclusão ou modificação de versões específicas de objetos.
Adaptável ao modelo WORM.
Modos de Retenção:
Modo de Conformidade:
Nenhum usuário, incluindo o root, pode modificar ou excluir objetos.
Período de retenção não pode ser reduzido.
Modo de Governança:
Apenas administradores com permissões específicas podem modificar ou excluir objetos.
Retenção Legal:
Protege objetos indefinidamente, independente do modo ou período de retenção. - 393. Pontos de Acesso S3Propósito:
Simplificar a gestão de acesso a buckets com muitos dados.
Vantagens:
Permite políticas específicas por ponto de acesso.
Pode ser configurado para acesso público ou privado via VPC.
Reduz a complexidade de políticas no nível do bucket.
Casos de Uso:
Criar diferentes pontos de acesso para dados financeiros, de vendas e analíticos.
Garantir acesso controlado com políticas específicas por ponto de acesso. - 404. S3 Object LambdaPropósito:
Permitir a modificação de objetos em tempo real antes que sejam retornados ao cliente.
Funcionamento:
Conecta um ponto de acesso S3 a uma função Lambda.
Lambda processa os dados (ex.: redige, enriquece ou transforma) antes de enviá-los.
Casos de Uso:
Redigir dados sensíveis (ex.: PII) para análise.
Converter formatos (ex.: XML para JSON).
Adicionar marca d'água ou redimensionar imagens em tempo real. - 415. S3 MFA DeletePropósito:
Prevenir exclusões acidentais ou maliciosas.
Requisitos:
Controle de versão ativado no bucket.
Exclusões exigem autenticação com MFA.
Operações Protegidas:
Exclusão permanente de versões de objetos.
Suspensão do controle de versão. - 426. Logs de Acesso e AuditoriaS3 Access Logs:
Registra todas as solicitações feitas ao bucket (autorizadas ou negadas).
Logs são armazenados em outro bucket para evitar loops.
S3 Inventory:
Gera relatórios sobre objetos no bucket (ex.: criptografia, classes de armazenamento).
S3 Storage Lens:
Oferece métricas detalhadas para análise e otimização de uso e custos. - 437. Resumo das Práticas de SegurançaCORS (Cross-Origin Resource Sharing):
Permite solicitações entre origens diferentes.
Configurado no bucket com políticas específicas.
URLs Pré-assinadas:
Geram acesso temporário e controlado a objetos em buckets privados.
Criptografia:
SSE-S3: Chaves gerenciadas pela AWS.
SSE-KMS: Chaves gerenciadas pelo KMS.
SSE-C: Chaves fornecidas pelo cliente.
Criptografia em Trânsito: Usar HTTPS para transferências seguras. - 44Casos de Uso Real e BenefíciosGlacier Vault Lock:
Retenção legal e conformidade.
Object Lock:
Proteção granular de dados críticos.
Object Lambda:
Customização dinâmica de objetos para diferentes aplicações.
Pontos de Acesso:
Simplificação na gestão de segurança para buckets de grande escala.
MFA Delete:
Garantia contra exclusões irreversíveis.
Información
- Descripción
- Fichas sobre 2 - S3, creado por Ivan Carlos el 16/12/2024.
- Creado por
- Ivan Carlos
- Visitas
- 1
- Valoración
Más sobre Armazenamento e backup em nuvem