09/08/2022
Por Luana Farinazzo e Thiago Marques
Todos os dias a AWS lança uma série novidades e atualizações em seus produtos que visam melhorar a vida de seus usuários. Reunimos algumas delas que fazem mais sentido para nosso mercado e que certamente aplicaremos em nosso dia a dia. Confira as últimas novidades sobre Compute, Networking e Data!
Compute & Networking
Amazon EC2 – Instâncias G5 disponíveis em novas regiões
Agora as instâncias G5 (que contêm cores GPUs da NVIDIA) está disponível em novas regiões como Frankfurt, Londres e Canada. Essas novas instâncias utilizadas para workloads com machine learning ou para processamento de gráficos/vídeos podem entregar até 3x mais performance em comparação com a última geração, além de suportar até 7.6TB de NVMe e 192 vCPUs.
Amazon EC2 – Instâncias C7g disponíveis em novas regiões
Anunciada no re:invent de 2021 as instâncias C7g finalmente chegam em Ohio e na Irlanda. Essas instâncias são as primeiras da AWS a suportar a versão 3 dos processadores desenvolvidos pela Amazon (Graviton), que prometem uma performance 25% melhor que a versão anterior.
Os processadores foram testados por grandes clientes com workloads que vão desde games (Epic Games), até rede sociais como o Twitter, e todos confirmaram uma melhora significativa na performance.
Amazon EC2 Auto Scaling – Aumento para o ASG por conta
A AWS aumentou os limites para o ASG por conta, passando de 200 instancies por grupos para 500 instancias por grupo.
O limite foi habilitado para todas as regiões, e não é necessária nenhuma ação para iniciar a utilização.
AWS Launch Wizard – Suporte a instâncias x2idn e r6i
O Launch Wizard (não confundir com Launch Instance) é o serviço da AWS que te ajuda na implementação de infraestruturas para deploys específicos como SQL Always On ou mesmo o SAP HANA. Com essa novidade o serviço passa a suportar instancias x2idn e r6i.
Ambas pode ser utilizadas com até 16 nodes (sendo sempre uma primaria e 15 secundárias).
Amazon EC2 – Instâncias M1 Mac disponíveis para produção
Em regiões como N. Virginia apenas máquinas M2 estavam disponíveis (que possuem mais memoria e mais vcpu), com essa novidade tango Oregon quanto N. Virginia passam a suportar instâncias macOS com M1.
Cabe ressaltar que o modelo de precificação de uma instancia macOS é diferente (não é cobrado por segundo ou por hora, e sim por dia), assim sempre avalie com seu TAM antes de implementar algum workload, garantindo assim economia e/ou necessidade de retrabalhos.
Amazon EC2 – Instâncias R6a disponíveis para produção
A AWS anunciou a disponibilidade para as novas instâncias da família R (focada em instâncias com mais memória): 6a.
Na sexta versão da família com processadores AMD EPYC, contam com frequência de 3.6GHz além de uma capacidade de rede maior.
As novas instâncias estão disponíveis em N. Virginia, Ohio e Oregon.
Amazon EC2 – Instâncias C6i, M6i e R6i disponíveis em novas regiões
Anunciamos no mês passado novidades sobre as sextas famílias do tipo C, M e R.
Hoje trazemos como grande novidade que todas estão disponíveis em São Paulo, trazendo agora a possibilidade de migração de famílias antigas para as novas com tradeoff mais vantajosos.
AWS Site-to-Site VPN – Suporte a IPs privados para conexões site-to-site
Agora é possível utilizar IPs privados (RFC 1918) para conexões de Site-to-Site, tendo como pré-requisito a utilização de Direct Connect entre o on premises e a AWS, garantindo assim mais segurança no trânsito de dados.
Amazon VPC Flow Logs – Suporte a Transit Gateway
Depois de alguns pedidos, agora o VPC Flow Logs suporta ser configurado direto no TGW. Uma medida que parecia tão simples, que a impressão que tínhamos era que já existia.
O principal ganho para essa novidade é que agora você não precisará habilitar o flow logs em todos os VPCs que participam do TGW, e depois ficar fazendo comparações para analisar o fluxo do pacote. Agora basta habilitar no TGW e conseguirá ver de qual VPC originou o pacote e para qual ela vai incluindo conexões do on-premises.
Data
Amazon RDS for MariaDB – Suporte a instâncias R5b
Agora está disponível para os usuários do RDS Maria DB os tipos de instância R5b, os quais trazem o benefício do uso de instâncias otimizada para memória com uma performance adicional nas operações de IO (até 3x mais IOPs e tamanho de banda para acesso aos EBSs se comparado com as R5 “tradicionais”).
Disponível em US East (Ohio, N. Virginia), US West (Oregon), Europe (Frankfurt), e Asia Pacific (Singapore, Tokyo).
Amazon DocumentDB (with MongoDB compatibility) – Suporte a fast database cloning
Caso seja necessário realizar a criação de um novo cluster DocumentDB com os dados de um já existente, seja para testar alguma modificação, montar um ambiente não produtivo, realizar consultas analíticas ou qualquer outra necessidade sem impactar o cluster de origem, agora é possível de uma forma mais rápida que a tradicional geração de snapshot e restore.
Com o fast database cloning um novo cluster é disponibilizado utilizando os mesmos volumes do cluster origem e, portanto, tendo os mesmo dados.
Além da vantagem da rapidez na criação, também não há custo adicional de storage, a não ser que seja feita qualquer modificação/inclusão nos dados originais.
Amazon EMR – Novo recurso de associação de IAM Roles com Steps do EMR
É comum que jobs executados no EMR precisem acessar serviços externos como buckets no S3. Para isso era necessário utilizar roles IAM anexadas às EC2s onde o EMR executava.
Este cenário trazia uma dificuldade, pois não era possível conceder permissões para os steps específicos dos jobs, e acabava sendo necessário incluir todas as permissões que todos os jobs necessitavam na role, tornando mais amplo os acessos.
Por exemplo, se o job1 precisasse acessar o bucket1 e o job2 o bucket2, a role deveria permitir o acesso em ambos os buckets e com isso, durante a execução do job1, ele poderia acessar o bucket2, dimiuindo o controle de segurança.
A partir de agora é possível associar as roles aos steps do EMR, portanto, no caso anterior seria possível atrelar uma role com acesso ao bucket1 ao job1 e uma outra com acesso ao bucket2 ao job2.
Além disso, o AWS Lake formation, utilizado para construir e gerenciar ambientes de Data Lake, agora pode aplicar permissões a nível de tabela e coluna nos jobs Apache Spark e Apache Hive submetidos como EMR steps.
Amazon Athena – Novas ferramentas para visualização de Queries
O Amazon Athena, poderosa ferramenta para executar queries em dados armazenados no S3, lançou 3 interessantes ferramentas para análise de performance de suas queries.
Agora é possível com o Visual Query Plan analisar o plano de execução que será utilizado pelo Athena antes mesmo de executar o SQL. Isso a otimizar os SQLs antes que eles sejam executados.
A outra ferramenta trata de estatísticas de execução dos SQLs em run time, trazendo dados como tempo gasto em cada fase, número de bytes e linhas lidas.
E por fim o Execution Plan Details, que traz detalhes do plano de execução de forma visual após a execução das queries.
AWS Backup – Suporte para Amazon RDS em clusters Multi-AZ
O RDS Multi-AZ clusters é uma arquitetura formada por uma instância de escrita e duas de leitura, estando cada uma das 3 em uma AZ diferente. Atualmente esta opção é disponível em algumas regiões (são paulo não está entre elas), para as engines de MySQL (8.0.28 e maiores) e PostgreSQL (13.4).
Com esta novidade, o AWS Backup passa a suportar este tipo de cluster, portanto, é possível utilizar todas as facilidades de administração do AWS Backup também neste tipo de arquitetura RDS Multi-AZ clusters.
AWS Glue Streaming ETL Auto Scaling – Disponíveis para produção
Como o próprio nome já diz, o Glue Streaming ETL é usado para realizar ETL (extração, transformação e carga) de dados de streaming, disponibilizando-os para análise de forma rápida.
Com esta novidade é possível realizar o auto scaling dos recursos de Streaming ETL tendo como base os dados de input, ou seja, se houver um aumento ou uma diminuição dos dados que estão sendo tratados no ETL, a AWS pode realizar o scale in ou out destes recursos, tornando-os mais robusto e diminuindo seu custo.
Amazon Redshift – Driver ODBC agora é open source
A partir de agora o driver ODBC do Redshift é código aberto e está disponível para ser melhorado pela comunidade de usuários sob a licença Apache-2.0.
Além disso, foi introduziu suporte de protocolo binário para o Redshift, com isso, ele pode ser transferido através do driver ODBC sem precisar ser convertido para formato textual, dminuindo a quantidade de dados trafegados (em ˜30%) e aumentando sua performance (43% mais rápido).
Amazon Aurora PostgreSQL-compatible edition – Suporte a instâncias R6i
O Aurora PostgreSQL agora pode se beneficiar das instâncias com processadores de 3 geração Intel Xeon otimizadas para memória.
Além disso foi disponibilizada um novo tamanho de instância (32xlarge com 128 vCPUs e 1,024 GiB de memória).
Se comparada à geração anterior (R5), as instâncias R6i proporcionam uma velocidade de rede 2 vezes maior (de até 50 Gbps) e 20% maior largura de banda de memória.
Amazon Redshift – Melhorias no resize do cluster
A feature de resize do cluster Redshift, que antes demorava horas para ocorrer, deixando offline o cluster por muito tempo, agora passou a ocorrer em minutos.
Junto com esta mudança, a AWS também passou a permitir o restore criptografado de cluster Redshift tendo como fonte um snapshot descriptografado., podendo também alterar a chave de criptografia.
Amazon Redshift – Suporte a Row-Level Security (RLS)
O RLS (segurança a nível de linha) passa a ser suportado pelo Redshift. Com isso é possível restringir acesso a um conjunto de linhas dentro de uma tabela. Este acesso pode ir desde comandos de SELECT e UPDATE até DELETE.
Amazon Redshift – Views Materializadas disponíveis para produção
As Views materializadas são um grande trunfo em cenários que que são constantes os acessos à um conjunto grande de dados que é resultado de queries que se utilizam da junção de várias tabelas. Ela já disponibiliza o resultado destas queries em uma estrutura de tabela onde é necessário somente realizar a atualização das mesmas dado mudanças nos seus dados de origem.
A AWS foi além e está tornando disponível as AutoMV (Automated Materialized), que é uma funcionalidade que cria automaticamente views materializadas tendo como base o monitoramento dos workloads através de machine learning. o AutoMV é capaz de decidir se vale a pena criar a MV tendo como base o custo de criar/manter a MV vs a melhoria de latência que ela trará.
Além da criação, o AutoMV também pode remover views materializadas que não estão mais em uso, tudo isso de forma automatica.
Amazon Redshift Serverless – Disponível para produção
O Redshift, banco de dados de Data Warehouse da AWS agora está disponível através do modelo serverless, ou seja, a AWS realiza todo o trabalho de provisionamento e gestão do cluster do banco de dados, incluindo o auto scaling para lidar com o aumento e diminuição das demandas.
O pagamento deste modelo será baseado em RPUs (Redshift Processing Units), baseado na duração do workload por segundo.
É possível restorar um snapshot de um Redshift provisionado em modelo de serverless.
Além da consulta em estrutura de tabelas tradicionais, com o Redshift Serverless também é possível realizar queries em formatos abertos como Apache Parquet em S3 data lakes e outros bancos de dados relacionais como Aurora e RDS.
Amazon Athena – Melhorias na console de queries parametrizadas
Para aqueles cenários em que você precisa executar uma query diversas vezes, mas mudando os dados passados, a AWS lançou a possibilidade de executar queries no Athena tendo como entrada parâmetros que podem ser repassados manualmente pelo usuário a cada execução na console, ou passados junto com a query em uma única chamada de API, eliminando assim, a necessidade de ficar alterando os dados de variáveis nas queries toda vez que for executá-la.
Amazon SageMaker – Novo recurso de criação de clusters heterogêneos
O SageMaker, serviço utilizado para construir, treinar e realizar o deploy de modelos de machine learning com infraestrutura completamente gerenciada, agora possui a possibilidade de criar clusters heterogêneos para a execução dos modelos.
Por exemplo, tarefas com intenso GPU podem utilizar instâncias do tipo ml.p4d.24xl enquanto tarefas com uso intensivo de CPU podem rodar em instâncias do tipo ml.c5n.18xl. Neste cenário é possível ter um custo mais efetivo de utilização do serviço.
Amazon RDS for MariaDB – Suporte a novas minor versions
O MariaDB agora suporta as minors versions 10.6.8, 10.5.16, 10.4.25, 10.3.35, 10.2.44. É importante sempre realizar atualização de suas instâncias, utilizando o upgrade automático para não correr o risco de ter qualquer problema de segurança, funcional ou performance, que poderia ter sido resolvido com estas atualizações.
Amazon Keyspaces (for Apache Cassandra) – Adição da métrica BillableTableSizeInBytes do CloudWatch c
O Amazon Keyspaces, serviço gerenciado de banco de dados baseado no Apache cassandra, liberou uma nova métricas do CloudWatch chamada BillableTableSizeInBytes que monitora os custos de armazenamento de tabelas ao longo do tempo.
Amazon QuickSight- Lançamento de uma API para criação de contas
O QuickSight agora suporta criação de contas quicksight via chamdas de API.
Com isso, é possível realizar o deploy de contas QuickSight na sua organization em escala.
Amazon RDS Performance Insights – Suporte a configuração de período de retenção de histórico
O Performance Insights, ferramenta utilizada para visualizar o comportamento de consumo dos bancos de dados RDS considerando os eventos de espera, queries, planos de execução e etc, agora permite a configuração do período de retenção de seu histórico de informação que vai de 1 mês a 2 anos. Anteriormente as únicas opções eram 7 dias ou 2 anos.
A retenção default de 7 dias entra no free tier, mas acima disso há um custo adicional e este custo foi reduzido para vários tipos de instâncias.
AWS Database Migration Service – Suporte a Babelfish for Aurora PostgreSQL
O Babelfish é uma camada de tradução para o Aurora PostgreSQL que habilita o Aurora a entender comandos de aplicações escritas para Microsoft SQL Server.
Agora o serviço DMS (Database Migration Service), utilizado para migração de bancos de dados ou sincronização entre servidores de banco de dados com engines homogêneas ou heterogênias, possui suporte para adicionar um Babelfish para Aurora PostgreSQL como alvo.
AWS Database Migration Service – Suporte a IBM Db2 z/OS como fonte
O serviço DMS (Database Migration Service) agora suporta como origem de sincronização no modo full load o IBM Db2 z/OS, convertendo os schemas e objetos para alvos em Aurora MySQL, Aurora PostgreSQL, MySQL e PostgreSQL. Depois de ter os schemas e objetos convertidos para um formato compatível com o banco de dados que será o alvo final, é possível utilizar o DMS para migrar qualquer banco de dados IBM Db2 z/OS para qualquer banco de dados alvo suportado pelo DMS.
AWS Database Migration Service – Suporte a endpoints de VPC
O VPC endpoint habilita uma conexão privada entre sua VPC e serviços AWS suportados sem a necessidade de um gateway de internet, VPN, Direct Connect ou dispositivo NAT.
Agora o DMS suporta os endpoints de VPC tanto para origem quanto para o destino, facilitando a administração da conexão e a tornando-a mais segura.
Amazon MemoryDB for Redis – Compliance com PCI DSS
O MemoryDB para REDIS agora é PCI DSS compliance, ou seja, agora é possível armazenar informações sensíveis de cartões de crédito em um banco de dados em memória, garantindo menor latência e alto throughput estando compliance com o padrão PCI.
Amazon RDS – Suporte até 20 solicitações simultâneas de copia por snapshot por região de destino por conta
O Amazon RDS agora permite que você tenha até 20 solicitações simultâneas de cópia de snapshot por região de destino por conta, um aumento em relação ao limite anterior de cinco cópias simultâneas por região de destino por conta.
AWS Glue Streaming ETL – Suporte a detecção de dados comprimidos do Kinesis, MSK e Apache Kafka
O AWS Glue streaming ETL agora pode detectar dados comprimidos vindo do Amazon Kinesis, Amazon MSK e Apache Kafka auto gerenciado e realizar a descompressão sem que o cliente precise escrever código para este tratamento.
Amazon DocumentDB (with MongoDB compatibility) – Novo recurso de diminuição de espaços de armazenamento após a deleção de dados
O serviço de Banco de Dados gerenciado AWS compatível com o MongoDB, DocumentDB, passará a diminuir os espaços de armazenamento que são liberados quando se realiza a deleção de algum dado.
Antes desta novidade, quando alguma informação era deletada, o espaço total alocado pela instância continuava o mesmo.
Amazon Neptune Global Database – Lançamento
O Neptune, serviço de banco de dados de grafo gerenciado da AWS, agora possui a opção de ser Global, permitindo que um banco de dados seja espalhado em múltiplas regiões para promover proteção contra disaster recovery e melhorar a latência de leituras em outras regiões.
Luana Farinazzo
Technical Account Manager
luana.farinazzo@darede.com.br
Luana Farinazzo atua como Technical Account Manager, e tem vasta experiência com Tecnologia da Informação trabalhando na função de Project Manager, SDM , pré-vendas, entre outros. Ela também possui diversas certificações sendo a última AWS Solutions Architect Associate.
Thiago Marques
Technical Account Manager
thiago.marques@darede.com.br
Technical Account Manager da Darede, formato em Rede de Computadores, e pós graduado em Segurança da Informação. Possui ampla experiência em Datacenters e Service Providers, além de ser um entusiasta em DevOps e mercado financeiro.
