【每周快报】0829-0904 AWS服务更新
一、新服务
推出机器到云端连线框架 (Cloud Connectivity Framework)
机器到云端连线框架是一种提供用户的解决方案,可让工厂设备安全地连接AWS云端。提供快速,强大的资料撷取功能,高度可靠和耐久的设备资料储存,以及可协助方理能协助提高工厂效率和正常执行时间,改善生产弹性以及发现新的商机。主要以AWS IoT核心,AWS物联网Greengrass,AWS Lambda, Amazon DynamoDB和Amazon S3来提供解决方案。
参考资源至:Introducing the Machine to Cloud Connectivity Framework
二、服务的新功能
Amazon CloudWatch 现在推出适用于 Amazon ECS,EKS 和 Kubernetes 的容器监控功能
Amazon CloudWatch 是针对DevOps工程师,开发人员,网路可靠性工程师(SRE)和IT管理员,建置的监控和可观察性服务。
CloudWatch Logs Insights 以互动式搜寻及分析的方式,提供范例查询,命令描述,查询自动完成及日志栏位探索的服务。
此次更新之后,用户可利用CloudWatch Logs Insights 监控,隔离和诊断容器化应用程式和微型服务环境。从控制面板中,依照Pod,node(节点),namespace(命名空间)、task(任务)、container(容器)和service(服务),显示 Amazon Elastic Container Service (ECS)、AWS Fargate、Amazon Elastic Container Service for Kubernetes (EKS) 和 Kubernetes 丛集的效能和运作状态摘要。
启用之后,可从 CloudWatch log 找到日志,并用 Insights 做查询的动作
参考资源至:Container monitoring for Amazon ECS, EKS, and Kubernetes is now available in Amazon CloudWatch
Amazon SageMaker notebook 新支援将 Jupyter log(日志)汇出至 Amazon Cloudwatch
Amazon SageMaker 是一项全托管服务,其中涵盖整个机器学习工作流程,使每个用户都能够快速建立,训练及部署机器学习模型。
以往用户若是要观看 Amazon SageMaker notebook log(日志),需要进入 Amazon SageMaker notebook instance terminal(终端机)才能存取,此次更新之后,用户可直接从 CloudWatch 检视和分析日志,还能根据特定条件来设定警报以自动收到通知。
此外,即使 notebook instance 无回应,亦可透过 CloudWatch 存取日志;另外还有一项益处,针对AWS帐户ID,私密金钥…等敏感资讯会自动移除再写入日志中。
参考来源至:Amazon SageMaker Notebooks now export Jupyter logs to Amazon Cloudwatch
Amazon ECS 现在可透过API呼叫或是从ECS主控台知道执行中容器的 ID
Amazon Elastic Container Service (Amazon ECS) 是可高度扩展的高效能容器协调服务,支持Docker容器,用户可在AWS上轻松执行及扩展容器化应用程式。
用户以往必须拼接多个API,才能建立执行阶段容器ID和相应 ECS Task(任务)之间的关联。此次更新之后,用户可透过 DescribeTasks(描述任务)/StopTask(停止任务)的API呼叫,在 ECS Task 中传回所有容器的执行阶段容器ID。也就是说,用户可以在 log(日志)档中搜寻失效的容器,并对应至相应的 Task,借此简化诊断错误的工作流程。
除了使用API呼叫之外,用户也可以从ECS主控台中,从 Task detail 中看到执行阶段容器 ID。
由 eCloudture 团队实作结果如下图:
参考来源至:Amazon ECS now exposes runtime ContainerIds to APIs and ECS Console
AWS X-Ray 现在支援 Amazon SQS
AWS X-Ray 协助开发人员分析和侦错生产,分散式应用程式,例如那些使用微型服务架构的建置成果,以识别和疑难排解效能问题与错误的根本原因。
Amazon Simple Queue Service (SQS) 是讯息伫列服务,可让用户分离和扩展微型服务,分散式系统及无伺服器应用程式,免除与管理和操作讯息导向中介软体相关的复杂性及开销。
使用 AWS X-Ray 追踪 Amazon SQS 传递的讯息,用户能轻松诊断和排除分散式应用程式与微型服务架构中的效能问题和错误。主控台会显示Amazon SQS与其他服务之间的连线图,以便检视平均延迟与故障率等指标。例如,可追踪已传送到 Amazon SQS 伫列的讯息,以便分发给 Amazon EC2 Container Service 等。
AWS Site-to-Site VPN 为VPN通道新增可设定的安全演算法和计时器设定
AWS Site-to-Site VPN 让用户在自己的VPC与用户的远端网路之间建立 IPsec VPN 连接,在 Site-to-Site VPN 连接的 AWS 端上,虚拟私有闸道 (Virtual private gateway) 会提供两个VPN端点(通道)用于自动容错移转。
AWS Site-to-Site VPN 让用户可针对全新和现有的VPN 限制安全演算法和设定计时器设定,用于加密,完整性和金钥交换的安全演算法,以及用于设定通道和更新金钥的计时器设定。用户可强制执行安全和合规标准,并且用户可建立通道,无需变更客户闸道(Customer Gateway) 装置上的计时器设定。
参考资源至 : AWS Site-to-Site VPN Adds Configurability of Security Algorithms and Timer Settings for VPN Tunnels
AWS Application Auto Scaling 提供暂停/继续扩展
AWS Auto Scaling 可监控应用程式并自动调整容量,尽可能以最低成本维持稳定,可预测的效能,在几分钟内即可为多项服务的多种资源轻松设定应用程式扩展功能。
用户从今起可以暂停和继续他们的任何 AWS Application Auto Scaling 动作在任何这些资源上暂停和继续扩展动作,而不用删除扩展政策或排定的动作,使用新功能来暂停并稍后继续任何下列扩展动作:排定的扩展动作,动态向内扩展动作,动态向外扩展动作。
参考资源至 : Suspend/Resume Scaling now Available in AWS Application Auto Scaling
AWS Chatbot 支援來自 AWS Systems Manager 的通知
AWS Chatbot 是一种互动式代理,用户可从 Slack 频道和 Amazon Chime 聊天室轻松监控AWS资源,并与这些资源互动。
AWS Systems Manager 让用户查看及控制AWS的基础设施。提供统一的使用者界面,方便查看多项AWS服务的运营资料,并允许用户将各种AWS资源上的操作任务设为自动化执行。
AWS Chatbot 可在用戶的 Slack 频道和 Amazon Chime 聊天室接收 AWS Systems Manager 的通知。例如,用户可接收有关 Run Command 组态合规或状态变更的通知,便能快速进行审查和协作。
若需要在聊天中接收 AWS Systems Manager 通知,建立 AWS Chatbot 组态,将 Amazon Simple Notification Service (SNS) 主题对应到 Slack 频道,针对 Systems Manager 设定发布到SNS主题的 Amazon CloudWatch Event 规则。触发事件时,系统会自动将通知传送到用户的聊天应用程式。
参考资源至 : AWS Chatbot Now Supports Notifications from AWS Systems Manager
三、功能的增强或改动
Amazon CloudFront 推出葡萄牙的第一个 Edge Location
Amazon CloudFront 是快捷的内容交付网路 (CDN) 服务,可在开发人员容易使用的环境中,以低延迟、高速传输的方式,将资料、影片、应用程式和 API 安全地传送到用户手中。 随着新的 Edge Location 的推出,现今在葡萄牙的用户,透过连结 Amazon CloudFront 可降低最高达 60% 的延迟时间。
参考资源至 : [Amazon CloudFront announces its first Edge location in Portugal] (https://aws.amazon.com/about-aws/whats-new/2019/09/amazon-cloudfront-lisbon-portugal/)
Amazon EFS 宣布降低 Infrequent Access storage 的价格
Amazon Elastic File System(Amazon EFS) 针对 Linux 式工作负载提供简单、可扩展的弹性档案储存,提供数千个 Amazon EC2 执行个体进行大规模的并行共享存取。 此次更新后,针对 Amazon Elastic File System Infrequent Access storage class(EFS IA),降低 44% 的收费,改至 $0.025/GB-month
起跳。依据业界公认的估计,可让用户的平均收费变成 $0.08/GB-month
,是 AWS 有史以来最大幅度的降价。
Amazon ElastiCache for Redis 针对 AWS Key Management Service 静态加密,新支援使用客户管理金钥
Amazon ElastiCache 提供全托管的 Redis 和 Memcached。从高输送量和低延迟的记忆体资料存放区内撷取资料,可建立资料密集型应用程式或提高现有应用程式的效能。
AWS Key Management Service (KMS) 提供安全,弹性地建立及管理金钥的服务,并控制多种AWS服务和应用程式的加密使用,采用已通过 FIPS 140-2 验证或正在验证中的硬体安全模组,来保护金钥。而 Customer Master Keys (CMKs) 是客户自行在AWS帐户中建立,拥有和管理的金钥。
此次更新之后,用户可以使用自己的CMK在 ElastiCache for Redis 加密静态资料。当用户启用 CMK 的静态加密,Amazon ElastiCache for Redis 会使用用户的加密金钥来加密磁碟上的所有资料,包含Amazon S3中存放的服务备份。
Amazon FSx for Lustre 降低 File System 大小的下限值至 1.2 TBs
Amazon FSx for Lustre 提供高效能档案系统,并且针对以下快速处理工作负载进行优化:机器学习,高效能运算(HPC),影片处理,财务模组化和电子设计自动化(EDA)等。
此次更新之后,Amazon FSx for Lustre 现在支援最小至 1.2 TBs 的 file system(文件系统),进而拓展更广泛的工作负载量,包含更小的机器学习训练组。
Amazon FSx for Lustre file system 可以配置为独立的文件系统,也可以连接至 Amazon S3 bucket。当连结至 Amazon S3 时,FSx for Lustre 文件系统将S3物件显示为文件,并允许您将结果直接写回S3,因此随着此次更新,用户也可以以高性能系统来处理S3内更小的数据资料。
参考资源至:Amazon FSx for Lustre Reduces Minimum File System Size to 1.2 TBs
由于上述更新,同步更动 Amazon SageMaker 可支援更新,更小的文件系统作为资料来源
Amazon SageMaker 与 Amazon FSx for Lustre 和 Amazon EFS 结合的功能已在2019/08/27推出,透过省去从Amazon S3复制物件到档案系统的时间,加速并简化模型训练的过程。
随着此次更新,Amazon SageMaker 同步改变可支援的最小档案系统,扩大服务的范围。更多详情请参阅:eCloudture 【每周快报】0822-0828 AWS服务更新
- 创建完成 Amazon FSx for Lustre 或 Amazon EFS file systems 文件系统后,可在创立 Amazon SageMaker training job 时,指定资料来源为文件系统,并明确。
图片来源至:Speed up training on Amazon SageMaker using Amazon FSx for Lustre and Amazon EFS file systems
Tag:Amazon Chime, Amazon CloudWatch, Amazon DynamoDB, Amazon EC2 Container Service, Amazon ECS, Amazon Elastic Container Service, Amazon Elastic Container Service for Kubernetes, Amazon ElastiCache for Redis, Amazon FSx for Lustre, Amazon S3, Amazon S3 bucket, Amazon SageMaker notebook, Amazon Simple Notification Service, Amazon Simple Queue Service, Amazon SQS, API, AWS Auto Scaling, AWS Chatbot, AWS Fargate, AWS IoT Core, AWS IoT Greengrass, AWS Key Management Service, AWS Lambda, AWS Site-to-Site VPN, AWS Systems Manager, AWS X-Ray, Cloud Connectivity Framework, CloudWatch Logs Insights, CMKs, Customer Gateway, Customer Master Keys, DescribeTasks, DevOps, EKS, File System, Jupyter log, KMS, Kubernetes, SNS, StopTask, Virtual private gateway