【每周快报】0912-0918 AWS服务更新
一、新服务
Smart Product Solution 介紹
Smart Product Solution 为 AWS 云端提供安全的产品联机能力,包括产品内的本机运算功能、复杂的事件规则,以及数据处理和储存。 此解决方案具有快速且稳固的数据撷取、高度可靠且耐用的产品遥测数据储存、简单且可扩充的大数据分析服务,以及与客户联系的全球讯息和应用程序服务。
主旨在提供联机产品服务的架构,让用户专注于扩充解决方案的功能,而不是管理基础架构作业。
二、服务的新功能
Amazon DynamoDB新增 NoSQL Workbench(工作台)预览版
Amazon DynamoDB 是一种全托管、多区域、多主机的键值和文件型数据库,内建安全性、备份和还原以及内存内快取,可在任何规模下达到不到 10 毫秒的效能,以供因特网规模的应用程序使用。
此次更新之后,开发人员可透过使用 NoSQL Workbench ,一款用于 Windows 和 macOS 的免费应用程序,轻松地从头开始构建新的数据模型,或导入和修改现有的数据模型。
此外,也可以根据其应用程序的存取模式,可视化数据模型。同时,NoSQL Workbench 还提供查询开发功能来查看、探索和查询数据集,以及用于执行数据平面操作和生成多种程序语言的 operation builder (结构化操作构建器)。
- Data modeler:建立新的数据模型,或根据符合应用程序数据存取模式的现有数据模型来设计模型。
- Data Visualizer:对应查询和可视化应用程序的不同存取模式。
经由可视化的功能检视所有数据表的状态之后,若是完成所有编辑,可上传至 Amazon DynamoDB。
输入用户的 Access key ID 以及 Secret access key 以完成身分认证,并指定目的地的区域,按下 Commit 即可。
- Operation Builder:查看、探索和查询数据集;或是建置和执行数据平面作业,并支持投影和条件表示式,以及产生多种语言的范例程序代码。
参考来源至:Introducing NoSQL Workbench for Amazon DynamoDB — Now in Preview
WorkMail Message Flow 软件开发工具包(SDK)
Amazon WorkMail 是一种公司电子邮件和行事历服务,支持现有桌面及行动电子邮件客户程序应用程序。 支持用户使用 Microsoft Outlook、原生 iOS 和 Android 电子邮件应用程序、支持 IMAP 协议的任何客户端应用程序,或透过 Web 浏览器进行存取。
此次更新之后,Amazon WorkMail 可使用电子邮件流程规则(Email Flow Rules),透过 SDK,用户可从 AWS Lambda 函数中存取完整的电子邮件讯息内容,以建立强大的电子邮件处理、自动化及分析的应用程序。
Amazon QuickSight 推出层级感知(Level-Aware)计算、更大的 SPICE 数据集等
Amazon QuickSight 可建立和发布包含 ML 深入分析的交互式仪表板。 然后用户可以从任何装置存取仪表板,并嵌入用户的应用程序、入口网站和网站。
Amazon QuickSight 的层级感知计算,不需使用在图表上的汇总和筛选器,可直接让用户取得进阶分析深入解析,均可在 QuickSight 整体查询评估顺序中所需层级计算的计算。
QuickSight 现在支持较大的 SPICE 数据集。在之前,每个 SPICE 数据集最多可容纳 25GB 的数据。 现在的 SPICE 数据集最多可容纳 1 亿数据列(或 200GB )的数据和 25 万个数据列(或 25GB)。提升数据集的限制,处理数据集有许多数据行的情况。
用户还可以如何定义仪表板上异常显示的顺序。包括:
- 按实际值排序(actual value)
- 与预期值的差异(difference from the expected value)
- 预期值的加权差异(weighted difference from the expected value)
- 计算出的异常分数(computed anomaly score)
- 加权异常分数(weighted anomaly score)
此外,SPICE 数据集支持新的字符串计算。在 SPICE 数据集上,用户可以使用 concat, replace, locate, strlen, substring, trim,和多个字符串函数。
参考资源至:Amazon QuickSight Launches Level Aware Calculations, Larger SPICE Data Sets, and More
参考资源至:Create advanced insights using Level Aware Aggregations in Amazon QuickSight
AWS Step Functions 在工作流程中新增了动态平行性的功能
AWS Step Functions 协调多个 AWS 服务以成为无服务器的工作流程,以利用户快速建立及更新应用程序。
此次更新之后,透过平行处理的功能,用户可以将数据处理和任务自动化等应用程序工作流程的效能和效率优化,并达成一致的运行时间,以降低营运成本。
- Fanout patterns:并行传送相同工作列表,以简化工作流程,例如:订单处理和实例修补管理。
- Scatter-gather patterns:利用 AWS 上的可扩展运算加速档案处理和产生报告等工作流程。 例如:用户可以平行转码十个 500 MB 的媒体档案,然后合并以建立 5 GB 的档案。
参考来源至:AWS Step Functions adds support for dynamic parallelism in workflows
Amazon WorkSpaces 现在支持将工作空间还原到上次已知的健康状态
Amazon WorkSpaces 是一项托管的安全云端桌面服务,可在几分钟内布建 Windows 或 Linux 桌面,并快速地扩展。
Amazon WorkSpaces 會定期掃描用戶 WorkSpaces 中的健康狀態,並在 WorkSpaces 狀況良好時,產生根磁碟區和使用者磁碟區的快照。此次更新之後,用戶可將 WorkSpace 還原到上次已知的健康狀態。
- WorkSpaces 会从上次扫描报告中,与状况良好时所取得的最新快照配对,重新建立 WorkSpaces 根和用户磁盘区。
- 还原后,在快照时间之后对 WorkSpace 所做的所有变更都不会保留。
参考来源至:Amazon WorkSpaces Introduces WorkSpaces Restore to the Last Known Healthy State
Amazon S3 现在支持相同区域复制备份
Amazon Simple Storage Service(Amazon S3)对象储存服务提供可扩展性、数据可用性、安全性及效能的特性。
此次更新之后,Amazon S3 相同区域复写(Same-Region Replicatio, SRR) 为 Amazon S3 增加了一个新的复写选项,建置在 S3 跨区域复写(Cross-Region Replication, CRR) 上。
使用SRR 时,会在相同 AWS 区域内制作另一个 S3 对象副本,具有与目标储存类别相同的备援。 当上传新对象到 Amazon S3 储存贮体时,会将 bucket、prefix 或对象 tag 层级进行复写。复制的对象可以隶属于和原始副本相同的 AWS 帐户,也可以由不同的帐户者拥有,以防止意外删除。
Amazon S3 SRR和 CRR 复写可提供企业级复写功能,例如:跨帐户复写,以防止意外删除,或复写到任何 Amazon S3 储存类别,包括 S3 Glacier 和 S3 Glacier Deep Archive,以建立备份和长期存盘。
使用SRR 复写 S3 对象时,与对象相关联的元数据、访问控制列表(Access Control Lists, ACL )和对象卷标也是复写的一部分。 一旦在来源储存贮体上设定 SRR,对对象、元数据、ACL 或对象卷标的任何变更都会触发对目的地储存贮体的新复写。
AWS Storage Gateway 的档案网关(File Gateway)可新增 Amazon CloudWatch 日志记录和指针
AWS Storage Gateway 是一种混合云端储存服务,为用户提供接近无限的云端储存空间,进而简化储存管理并降低关键混合云端储存使用案例的成本。
AWS Storage Gateway 提供三种不同类型的网关:磁带网关、档案网关和磁盘区网关。
Amazon CloudWatch 是一项藉由侦测用户环境中的异常行为、设定警示、展示日志和指针、采取自动动作、排除故障问题,还有探索洞见的 监控和可观察性服务。
此次更新之后,档案网关的运作状态和效能日志及指针可发布到Amazon CloudWatch,以便快速响应工作负载的变化。
- 用户可将 Amazon CloudWatch 日志记录设定为记录组态错误,以持续了解网关的各项操作状态。
- 用户可订阅这些日记条目,接收通知以更正错误。
- 用户可使用 Amazon CloudWatch 指针来监控分配给网关的 CPU、快取磁盘和 RAM, 以侦测效能异常,并在档案共享者受到影响之前调整资源。
参考资源至:AWS Storage Gateway adds Amazon CloudWatch logging and metrics for File Gateway
AWS Service Catalog 支援 Budget Visibility(预算的可见性)
AWS Service Catalog 提供用户建立和管理已核准在 AWS 上使用的 IT 服务型录,以便集中管理普遍部署的IT 服务,并协助实现一致性管理和满足合规要求。
AWS Budgets 设定自定义预算,并在成本或用量超过(或是预测超过)预算金额时,提醒用户目前用量。 此外,用户还可检视下列信息:
- 用户的方案与预算金额,或与免费方案上限的接近程度
- 至今的用量,包括已使用的预留实例(Reserved Instances)
- 估计用户目前的费用,以及预测未来月底时所产生的使用量和费用
- 用户已使用的预算量
此次更新之后,AWS Service Catalog 透过与 AWS Budgets 整合,用戶可以建立预算与产品组合和产品相关联,以追踪支出,达到预算可见性的功能。 此外,可使用卷标选项和自动卷标来建立关联性,简化管理员掌握预算和每月迄今支出的过程。
AWS Elemental MediaStore 现在支持删除过时的列表
AWS Elemental MediaStore 是针对媒体优化的 AWS 储存服务,可提供交付实时串流影片内容所需的效能、一致性和低延迟。
AWS Elemental MediaStore 作为实时串流来源时,用户可透过对象生命周期政策的 API(Object Lifecycle Policy API),在容器上设定暂时性数据政策(Transient Data Policy)。如果 HLS 指令清单尚未更新,该指令清单将会移除,可使得用户能自动从主要来源切换到备份来源,无需额外编码或设定。
而如果拥有冗余编码管道的用户,必须在底层执行复杂的配置,以确保列表的新鲜度,但透过暂时性数据原则,用户可以利用原生HLS 行为来执行原始切换。
参考资源至:AWS Elemental MediaStore Now Supports Stale Manifest Deletion
Amazon EKS 现在支持丛集标记的功能
Amazon Elastic Kubernetes Service (Amazon EKS) 是一项用户可使用 AWS 上的 Kubernetes 轻松部署、管理和扩展容器化应用程序的服务。
以往,用户难以针对个别丛集控制存取以管理EKS API,此次更新之后,用户可以在每个 Amazon EKS 丛集新增自定义卷标,并透过 IAM 管理这些卷标以用来控制 EKS API 的存取。 此外,新增到 EKS 丛集的卷标专属于 AWS EKS 丛集资源,不会影响到丛集使用的其他 AWS 资源,例如:EC2 实例或负载平衡器。
AWS Glue 现在提供 Apache Spark UI 来监控和故障排除 Glue ETL jobs
AWS Glue 是全托管的撷取、转换和加载(ETL)服务,可让用户轻松准备数据,以及加载数据用于分析。
此次更新之后,用户可以使用 Apache Spark UI web 界面来监控和检查 Glue ETL 作业。 同时,还可可视化代表 Glue ETL 作业执行中不同阶段的有向无环图(Directed Acyclic Graph, DAG),分析 Spark SQL 查询计划,并检查运行或终止 Spark 执行程序的事件时间表。 Spark UI 可与 job metrics 和 continuous logging 结合使用, 以监控和疑难解答复杂的 Glue 作业。
参考来源至:AWS Glue now provides the Apache Spark UI to monitor and troubleshoot Glue ETL jobs
三、功能的增强或改动
AWS PrivateLink 支援 Amazon Rekognition
AWS PrivateLink 透过不让数据暴露于公有因特网,简化与云端应用程序共享数据的安全性。 AWS PrivateLink 在 Amazon 网络上,安全地提供 VPC、AWS 服务和本地端应用程序间的私有联机。
Amazon Rekognition 可针对用户提供的影像和影片,提供最精准的脸部分析和脸部辨识,将侦测、 分析及比对脸部技术运用在用户验证、计算人数和公共安全等各种使用案例。
此次更新之后,用户可以使用AWS PrivateLink,从自己的 Amazon VPC 存取 Amazon Rekognition, 而不需经过因特网,即可存取。
参考资源至:Announcing AWS PrivateLink support for Amazon Rekognition
AWS Elemental MediaLive 现在支持直拨频道的 HEVC 和 4K/UHD 输出
AWS Elemental MediaLive 是广播级的实时影片处理服务。建立高质量的影片串流以交付到广播电视和与因特网联机的多屏幕装置,像是连网电视、平板计算机、智能手机以及电视机顶盒。 实时编码用户的现场直播影片,先撷取较大的实时影片来源,再将它压缩成较小的版本,以利分发给观众。
AWS Elemental MediaLive 现在支持标准画质 (SD)、高画质 (HD) 和超高画质 (UHD) 编码的高效率视讯编码 (HEVC)。使用 HEVC 的效率比 AVC 高 30-50%,从而大幅降低 CDN 成本。 如果只有一半的观众可以查看 HEVC 内容,从而节省 35% 的编码,用户可以实现 17.5 % 的 CDN 带宽节省。 这表示可以改善视讯质量,同时降低发布成本。
参考资源至:AWS Elemental MediaLive Now Supports HEVC and 4K/UHD Outputs for Live Channels
AWS Elemental MediaConnect 现在支持 RIST 通讯协议
AWS Elemental MediaConnect 是可靠、安全和弹性的实时影片传输服务,让广播公司和影片拥有者能建立实时影片工作流程,并且安全地与合作伙伴和客户共享实时内容。
此次更新之后,新增支持 Reliable Internet Stream Transport (RIST) 标准。 透过 RIST 通讯协议,用户可以在低延迟以及对封包遗失的高恢复能力之下传输实时影片。 此外,AWS Elemental MediaConnect 允许使用任何支持 RIST 的装置将串流带回内部部署,提供了更多的弹性。
Amazon Elastic Inference 现在可在 Amazon ECS Task 中使用
Amazon Elastic Inference 将低成本的 GPU 支持加速功能附加到 Amazon EC2 和 Amazon SageMaker 实例,使用户最多可节省 75% 执行深度学习 Inference(推论)的成本。
此次更新之后,Amazon Elastic Inference 不只支持 Amazon EC2 或 Amazon SageMaker 实例,另外新增 Amazon ECS Task。用户可以配置最适合应用程序需求的 CPU 和内存,接着,单独设定所需的推论加速量,而不需要变更任何程序代码,以达到有效地使用资源及降低使用成本的目的。
- 目前只有使用 Linux 容器和使用 EC2 启动类型的工作時,支援此功能。
- Amazon Elastic Inference 支援 TensorFlow、Apache MXNet、和 ONNX 模型。
参考来源至:Amazon Elastic Inference Now Available In Amazon ECS Tasks
Elastic Load Balancing:Network Load Balancers 现在支持使用服务器名称指示 (SNI) 的多个 TLS 凭证
Elastic Load Balancing 可在多个目标(例如 Amazon EC2 实例、容器、IP 地址和 Lambda 函数)之间自动分配传入的应用程序流量。
Elastic Load Balancing 提供三种负载平衡器:
- Application Load Balancer – 适合用来处理 HTTP 与 HTTPS 流量的负载平衡
- Network Load Balancer – 适合用来在需要极高效能的情况下处理传输控制协议(TCP)、用户数据报协议(UDP)和 Transport Layer Security(TLS)流量的负载平衡
- Classic Load Balancer – 提供跨多个 Amazon EC2 实例的基本负载平衡功能,而且可同时在请求层与联机层运作
以往,Network Load Balancers(网络负载平衡器)只支持每个 TLS 接听程序一个凭证,而且用户必须使用通配符或多网域(SAN )凭证来装载相同负载平衡器后面的多个安全应用程序。 而现在透过 SNI 支持,用戶可将多个凭证与侦听程序建立关联,让负载平衡器后方的每个安全应用程序都能使用自己的凭证。
网络负载平衡器也支持 SNI 的智能凭证选择算法。如果客户端指示的主机名符合多个凭证,负载平衡器会根据多个因素(包括客户端 TLS 功能)决定要使用的最佳凭证。
Amazon EKS 藉由 SSM 参数提供了 EKS 优化的 AMI 原始数据
Amazon Elastic Kubernetes Service(Amazon EKS) 可让用户使用 AWS 上的 Kubernetes ,轻松部署、管理和扩展容器化应用程序。
AWS Systems Manager 提供统一的用户界面,方便用户查看多项 AWS 服务的运作数据,并允许将各种 AWS 资源上的操作任务设为自动化执行。
此次更新之后,用户不再需要为了确保使用最新版本的 EKS 优化 AMI,手动更新任何部署模板或资源;而是可以利用 AWS Systems Manager Parameter Store API,取得特定版本 Kubernetes 的最新 AMI 版本 ID。
参考来源至:Amazon EKS provides EKS-Optimized AMI metadata via SSM Parameters
AWS CloudFormation 更新针对 Amazon EC2, Amazon ECS, Amazon ElastiCache, Amazon ElasticSearch 等服务的功能优化
AWS CloudFormation 提供一种通用语言,可用来描述和布建云端环境中的所有基础设施资源。
此次更新之后,用户可以利用AWS CloudFormation 做到以下行为:
- 在 Amazon EC2 Autoscaling 中暂停和恢复自动扩展。
- 指定用作 Amazon CloudWatch alarms 临界值的 ANOMALY_DETECTION_BAND 函数的 ID。
- 在 Amazon DymanoDB 表中,指定服务器端 (server side) 加密。
- 指定实例的 CPU 选项,以及用来为 EC2 实例加密 Amazon EBS 的 AWS KMS Customer Master Key 的标识符。
- 指定用来加密 ElastiCache 复写群组中丛集磁盘的 AWS KMS 密钥 ID。
- 在 Amazon ES 网域中指定区域感知配置选项。
- 指定 Task 的 Amazon ECS 任务群组、执行任务的启动类型、与任务关联的 VPC 子网和安全群组, 以及是否要使用公用 IP 地址、 Amazon CloudWatch Events Rules 的任务平台版本。
更多优化请参阅参考来源。
Amazon Athena 现在支持两种方式将数据放入数据表:使用 SELECT 查询的结果、提供一组自定义值
Amazon Athena 是一种交互式查询服务,可让用户使用标准 SQL 轻松分析 Amazon S3 中的数据。
Amazon Athena 现在支持使用 INSERT INTO 语句将新的数据插入现有的数据表。 用户可以根据在源数据表上执行的 SELECT 查询语句,或根据做为查询语句一部分提供的一组值,将新数据列插入目的地数据表。 支持的数据格式包括 Avro,JSON,ORC,Parquet 和 Text 文件。
Amazon API Gateway 简化了调用私有API 的过程
Amazon API Gateway 是一种全托管的服务,可让开发人员轻松地建立、发布、维护、监控和保护任何规模的 API。
此次更新之后,Amazon API Gateway 允许将一个或多个 Amazon 虚拟私有云端( Virtual Private Cloud, VPC)端点与私有 API 关联,以简化存取私有 API 的过程。 API Gateway 将创建和管理必要的 Route53 别名记录以调用私有 API。
私有API 透过 VPC 端点(VPC Endpoints, VPCE)将 REST API 安全地公开给 VPC 内的资源。用户可在 API Gateway 中定义资源的 Policy 以及 VPC Endpoints Policy ,以控制 VPC 和私有 API 之间的存取。
AWS IoT Greengrass 1.9.3 支持 ARMv6 以及新的机器学习连接器
AWS IoT Greengrass 将 AWS 无缝延伸到节点装置,以便在本机上操作其产生的数据,同时继续将云端用于管理、分析和持久储存。
透过这项新平台支持,用户可以在执行Raspbian Buster 的 ARMv6 装置上使用 AWS IoT 绿草核心。
此外,Greengrass 现在有两个新的机器学习连接器可供使用:
- ML Object Detection Connector:用户可利用由 Amazon SageMaker Neo 深度学习编译程序编译的模型来执行对象侦测推论。
- ML Feedback Connector:可让用户轻松地将 ML 输入数据和预测结果传送至云端以进行 ML 重新训练。
用户可以使用来自用户Lambdas 的 ML 意见反应连接器、ML 对象侦测连接器,或搭配更新版本的 ML 影像分类连接器使用。
参考来源至:AWS IoT Greengrass 1.9.3 With Support for ARMv6 and New Machine Learning Connectors Now Available
Tag:Access Control Lists, ACL, Amazon API Gateway, Amazon Athena, Amazon CloudWatch, Amazon DynamoDB, Amazon EC2, Amazon ECS, Amazon ECS Task, Amazon EKS, Amazon Elastic Inference, Amazon Elastic Kubernetes Service, Amazon ElastiCache, Amazon Elasticsearch, Amazon QuickSight, Amazon Rekognition, Amazon S3, Amazon SageMaker, Amazon Simple Storage Service, Amazon VPC, Amazon WorkMail, Amazon WorkSpaces, Apache Spark UI, API, Application Load Balancer, ARMv6, AWS CloudFormation, AWS Elemental MediaConnect, AWS Elemental MediaLive, AWS Elemental MediaStore, AWS Glue, AWS IoT Greengrass 1.9.3, AWS Lambda, AWS PrivateLink, AWS Service Catalog, AWS Step Functions, AWS Storage Gateway, AWS Systems Manager, AWS Systems Manager Parameter Store API, Budget Visibility, Cross-Region Replication, CRR, DAG, Data modeler, Data Visualizer, Directed Acyclic Graph, Elastic Load Balancing, File Gateway, Glue ETL jobs, HEVC, IAM, INSERT INTO, Kubernetes, Level-Aware, ML, ML Feedback Connector, ML Object Detection Connector, Network Load Balancer, NoSQL Workbench, Reliable Internet Stream Transport, RIST, S3 Glacier, S3 Glacier Deep Archive, Same-Region Replicatio, SDK, SELECT, Smart Product Solution, Spark SQL, SPICE, SRR, SSM, Transient Data Policy, Virtual Private Cloud, VPC, WorkMail Message Flow