【每周快报】0905-0911 AWS服务更新
去年底于AWS re:Invent大会针对区块链项目提出的两项服务,Amazon Managed Blockchain和Amazon QLDB,上半年Amazon Managed Blockchain已经正式推出 (延伸阅读:New – Amazon Managed Blockchain – Create & Manage Scalable Blockchain Networks ),另外一项重要推出则是 Amazon QLDB –是一个新的资料库类型。该资料库是一个完全托管的分类帐资料库,提供由中央信任授权单位拥有的透明、不可变和以密码编译方式验证的交易日志。
-
Amazon QLDB 无需参与建置类似分类帐之应用程式的复杂开发工作,例如:透过供应链网路追踪项目的移动、追踪银行交易中的信用和借方历史记录、验证事件提交对保险索赔,或追踪供应链网路中的商品流动…等。
-
使用QLDB,用户,数据的更改历史是不可变的,也也就是不能被改变或删除。并且支援加密验证服务,用户可以轻松地验证应用程序的数据是否被修改。
-
QLDB 使用不可变交易记录的日志,追踪每个应用程式资料变更,并维护一段时间内完整且可验证的变更历史记录。
-
QLDB 提供开发人员熟悉之类似SQL 的API、弹性的文件资料模型,以及完整的交易支援。
-
QLDB 是无伺服器的,因此它会自动调整以支援应用程式的需求。没有可管理的伺服器,也没有可设定的读取或写入限制。
-
QLDB 是按照使用量付费。
参考来源至:Announcing General Availability of Amazon Quantum Ledger Database (QLDB)
二、服务的新功能
利用Docker 和Hadoop 3 搭配EMR 6.0.0 (Beta) 来简化Spark 应用程式相依性管理
Amazon EMR 是一个大数据的平台,用户可快速、高效地大规模处理大量资料,同时支援Apache Spark、Apache Hive、Apache HBase、Apache Flink及Presto等程式码工具。
以往,PySpark 和 SparkR 使用者必须在丛集的每个主机上安装它们的相依性。因此,操作多丛集的团队很难跟上特定程式库版本和管理相依性,因而限制了开发人员的生产力、增加丛集使用的准备时间,且多了丛集升级的复杂性。
此次更新之后,Spark 使用者不需要在个别丛集主机上安装程式库相依性,而是透过在Docker容器中执行Spark应用程式,使得应用程式得相依性范围,变为个别Spark应用程式。。
-
Docker 容器提供了一个自定义执行环境,其中应用程序的程式码运行与YARN NodeManager和其他应用程序的执行环境隔离。
-
用户可以使用Docker影像封装自己的程式库相依性,甚至可以在相同丛集上执行具有不同 R 和 Python 版本的容器。
要将Docker 与Spark 应用程式搭配使用,只需在将任务提交至EMR 丛集时,参考Docker images(影像)的名称即可。在EMR 丛集上执行的YARN 会从Docker Hub 或ECR 自动撷取影像,并执行应用程式。
-
以下变数用于指定使用的Docker runtime 和Docker images:
YARN_CONTAINER_RUNTIME_TYPE=docker
YARN_CONTAINER_RUNTIME_DOCKER_IMAGE={DOCKER_IMAGE_NAME}
-
部署的考量:Docker registries(Docker Hub 或 ECR)需要从丛集中的每个主机进行网路存取,因为YARN应用程式在丛集上执行时,每个主机都会从Docker registries下载映像。如何选择部署EMR丛集,将其启动至公用或私有子网路,可能会因网路连线需求而限制您选择Docker登录的方式。
Docker registries 是 Docker images 的存储和分发系统。
-
公用子网路:执行YARN NodeManager的节点可以直接存取透过网际网路可用的任何registery,例如:Docker Hub,如下图所示。
-
私有子网路:执行YARN节点管理器的节点无法直接存取网际网路。Docker images可以在ECR中托管并透过AWS PrivateLink存取,如下图所示。
-
更多设定Docker相关指令,可参考 Run Spark applications with Docker using Amazon EMR 6.0.0 (Beta)
-
EMR 版本 6.0.0 (Beta) 中也支援 Amazon Linux 2 和 Amazon Corretto JDK 8。
参考来源至:Simplify your Spark application dependency management with Docker and Hadoop 3 with EMR 6.0.0 (Beta)
Amazon AppStream 2.0 针对映像产生器和丛集提供AWS Identity and Access Management Role
Amazon AppStream 2.0 是一种全托管的应用程式串流服务,可让使用者从任何地方立即存取他们的桌面应用程式。AppStream 2.0管理和执行用户应用程式所需的AWS资源、自动扩展,并提供使用者随需存取。
AWS Identity and Access Management (IAM) 可让用户安全地管理对AWS服务与资源的存取。
此次更新之后,用户无需指定存取金钥或私密存取金钥,便可以从image builder(映像产生器)或fleet streaming instance(丛集串流的执行个体)发出AWS API呼叫。例如:从Amazon S3下载安装程式、执行AWS Lambda函数,或将日志上传到帐户中的S3储存贮体,无需在映像上存放登入资料。AppStream 2.0可代为管理登入资料,并主动定期进行轮换。
AWS App Mesh 支援 retry policies(重试政策)
AWS App Mesh 是一种服务网格,可提供应用程式层级网路,使多种类型的运算基础设施之间能够相互通讯,以便发生故障或需要部署程式码变更时,快速指出错误的实际位置,并且自动重新路由流量。
此次更新之后,用户可以在**大致没有更改应用程序代码的情况下 **,为应用程序添加弹性,从而防止用户遭受暂时性问题。此外,用户可以设定何时重试、多久以及为增强重试设定选择预设值。可选取HTTP错误码或TCP连线失败的清单,以重试网路要求、指定重试次数上限,并设定每次重试的逾时。
Amazon QuickSight 新增 Favorites(我的最爱)、异常警示等功能
QuickSight 是全托管服务,可让用户轻松地建立和发布包含ML深入分析的互动式仪表板,并可以从任何装置存取仪表板,同时嵌入用户的应用程式及网站,以提供商业情报。
此次更新之后,QuickSight 现在新支援Favorites(我的最爱)、异常侦测、使用多个资料点作为筛选依据、文字云等功能。
以下功能仅在 QuickSight Enterprise 和 Standard Edition 提供
-
Favorites(我的最爱):用户可为图表及分析资料,标注书签。已标注书签的资源可显示在QuickSight首页的Favorites(我的最爱)部分。同时,用户可以前往定期存取的dashboards/analyses寻找所需的资料,节省搜寻的时间。
-
Anomaly Detection(异常侦测):用户可透过持续分析数十亿个资料点来发现资料中隐藏的价值。当出现异常是见时,用户会在收件匣中收到警示。同时,提出导致这些异常的因素,方便用户针对那些需要注意的指标,立即采取行动。
-
Filtering previous N data points within the data set(以多个资料点筛选资料):例如,用户可以套用多个筛选条件查看一周前的销售指标,以排除这一周内的不完整资料。
-
Word Cloud(文字云):新推出的环状图和量规图,可支援文字云的功能,以视觉化的方式表现类别栏位及其相应指标的分析数据。
参考来源至:Amazon QuickSight Announces Favorites, Anomaly Alerts and More
WorkDocs Drive 推出自订磁碟机代号功能
Amazon WorkDocs 是全託管的安全内容建立、储存和协作服务。用户可轻松地建立、编辑和共享内容,而且因为其集中存放在AWS,可以从任何地方的任何装置存取内容。
此次更新之后,用户可选择任何自订磁碟机代码,还能为自己的组织部署大量的特定磁碟机代码。不但获得更多的灵活性,还能取得在虚拟WorkDocs Drive指定特定磁碟机代号所需的控制权,让组织可以根据其标准和需要,成功地安装和部署WorkDocs Drive。
此外,WorkDocs Drive 现在可以在相同的机器支援多个Window 帐户。如此一来,每个帐户都可拥有自己的Drive,让多个使用者在相同的机器上使用WorkDrive。
Amazon EKS 现在支援能将IAM permission 指派给Kubernetes 服务帐户
Amazon EKS 可在多个 AWS 可用区域为用户执行 Kubernetes 基础设施,以避免发生单一故障点问题。Amazon EKS 已取得 Kubernetes 一致性授权,用户可使用 Kubernetes 现有工具,以及由合作伙伴或 Kubernetes 社群开发之额外套件。
以往,在AWS 上执行Kubernetes 丛集时,只能将IAM role 与丛集中的EC2 节点建立关联,而且在该节点上执行的每个Pod 都会继承相同的IAM role,使得要在同一节点上执行拥有不同存取控制要求的Pod,变得相当困难。
此次更新之后,Amazon EKS支援用户将IAM role指派给Kubernetes丛集上执行之个别Pod的可使用服务帐户,提供更精细的权限控制,优化丛集的成本和可用性。
参考来源至:Amazon EKS Adds Support to Assign IAM Permissions to Kubernetes Service Accounts
除了上述更新之外,Amazon EKS 现在支援EBS CSI 驱动程式
现在EBS CSI驱动程式可以安装到EKS 1.14丛集中。现有的树状结构内EBS外挂程式仍然持续支援,但利用CSI驱动程式,用户可以分离Kubernetes上游发行周期和CSI驱动程式发行周期。在未来的版本中,将淘汰树状结构内EBS外挂程式,改而支援CSI驱动程式。
AWS Elemental MediaTailor Server-Side Ad Insertion 现在支援Live Pre-roll(即时预先备份)
AWS Elemental MediaTailor 可让影片提供者将定位广告个别插入其影片串流中,而无须牺牲广播的服务品质。
此次更新之后,用户可以在没有SCTE基础架构的情况下,透过HLS视讯串流获利。影片拥有者可以在串流开始之前插入预先制作的广告,以个人化广告作为其即时串流的开端,以便在每个串流开始时营利,支援低投资、高回报的营利策略。
前置广告的持续时间可以定义为MediaTailor 配置的一部分,或在广告决策服务(Ad Decision Service, ADS)回应中定义持续时间。MediaTailor 能够覆写资讯清单的开头,确保观众不会失去即时观看的体验。
参考来源至:AWS Elemental MediaTailor Server-Side Ad Insertion Now Supports Live Pre-roll
三、功能的增强或改动
NXP i.MX-RT1060、i.MX-RT1050、以及Kinetis K64 符合Amazon FreeRTOS 的资格
Amazon FreeRTOS 是一种适用于微型控制器的开放原始码作业系统,可让小型、低功率的边缘装置易于进行程式设计、部署、保护、连接及管理。
来自NXP 的三个新开发板符合Amazon FreeRTOS 的资格。执行Amazon FreeRTOS 的NXP 开发板可让装置轻松安全地连接到AWS IoT Core 或执行AWS IoT Greengrass 的边缘装置。
-
MIMXRT1060 EVK:基于i.MX-RT1060 Crossover Processor with Arm® Cortex®-M7 核心与可用的Murata WiFi 模组,具有Arduino® 接口,内置加密和解密加速器,I2C,I2S,CAN,UART,音频编解码器,加上触摸屏液晶和相机选项。
-
MIMXRT1050 EVK:基于i.MX-RT1050 Crossover Processor with Arm® Cortex®-M7 核心与可用的Murata WiFi 模块,具有Arduino® 接口,内置加密和解密加速器,I2C,I2S,CAN,UART,音频编解码器,加上触摸屏液晶和相机选项。
-
Freedom K64:基于Kinetis® K64 Arm® Cortex®-M4 型微控制器,1MB Flash / 256KB SRAM 运行在高达120 兆赫,具有板载感测器和透过乙太网路RJ-45、UARTs、SPI、I2C 、CAN 和Arduino® 网站的连接/扩展选项。
参考来源至:NXP i.MX-RT1060, i.MX-RT1050, and Kinetis K64 are Qualified for Amazon FreeRTOS
使用AWS Config 规则自动修正不合规的资源
AWS Config 是一项透过持续不断地监控和记录用户的AWS资源组态,进而让用户能够评量、稽核和评估AWS资源组态的服务。
此次更新之后,用户可经由AWS主控台或API使用AWS Config规则的自动修正功能。自动修正功能提供关联AWS Config规则与修正动作的能力,以及自动执行这些动作的选项,以便在无须人为介入的情况下处理不合规的资源,借此缩短修正这些资源的时间。
参考来源至:Use AWS Config Rules to Automatically Remediate Non-compliant Resources
新的解决方案:结合Amazon Elasticsearch Service 和Amazon Comprehend 之文字分析的参考实作
AWS解决方案是经过AWS架构师审核,协助用户解决在使用AWS平台时所遇到的常见问题并更快速建置。
此次新的文字分析是一项自动化的解决方案,运用 Amazon Comprehend自然语言处理服务,透过机器学习进行文字分析,并运用 Amazon Elasticsearch Service (Amazon ES) 来索引及分析非结构化文字。同时,也会建立预先设定的Kibana仪表板,将上传文件中撷取到的实体、关键片语、语法和情绪视觉化。
新的解决方案可在 AWS官方解决方案页面找到。
参考来源至:Introducing Analyzing Text with Amazon Elasticsearch Service and Amazon Comprehend
AWS Systems Manager Automation 现在支援其他伫列
Systems Manager 可以查看和控制您的云端和现场部署基础设施,而 Systems Manager Automation 是其中一项功能,可让用户安全地自动化AWS资源中重复的常见IT操作任务。
伫列的支援,让用户能针对更大量的资源建立更多的自动化任务。例如:定义错误阈值和并行速率,用受控制的方式来部署这些任务。此次更新之后,Systems Manager Automation现在支援的伫列达到1,000个执行。
参考来源:AWS Systems Manager Automation now supports additional queuing
Amazon SageMaker Ground Truth 现在支援Private Worker Throughput Worker Logs and Metrics(私有工作者之工作者日志和指标的传输量)
Amazon SageMaker 是一项能够快速建立、训练及部署机器学习模型的全托管服务,其中涵盖整个机器学习工作流程。Amazon SageMaker Ground Truth 可让用户快速建立拥有高度精确训练数据的机器学习模型。
此次更新之后,Amazon SageMaker Ground Truth 让用户能够测量和追踪自己的私有工作者执行资料标记的输送量与效率。在标记任务进行的过程中,Amazon SageMaker Ground Truth会将所有私有工作者事件(例如:标记者何时开始和提交任务)记录到Amazon CloudWatch。此外,用户也可以ㄒ使用CloudWatch的内建指标功能,测量和追踪工作团队之间或个别工作者的输送量。。
参考来源至:Amazon SageMaker Ground Truth Now Supports Private Worker Throughput Worker Logs and Metrics
AWS RoboMaker 现在支援连接模拟任务
AWS RoboMaker 是一项透过连线至云端服务,扩展最受广泛使用的开放原始码机器人软体架构Robot Operating System(ROS),以大规模开发、测试和部署智慧型机器人应用程式的服务。
此次更新之后,AWS RoboMaker 現在支援透过连接埠转送功能,连接至用户的机器人应用程式或模拟应用程式,以便与模拟任务中的应用程式互动。当设定连接埠转送时,会将流量从模拟任务连接埠转送至应用程式连接埠。例如:用户现在可以连接到机器人或模拟应用程式中执行的HTTP伺服器或ROS桥接器,并从本地端的笔记型电脑上执行的Web浏览器进行应用程式侦错或与其互动。
参考来源至:AWS RoboMaker now supports connectivity to a simulation job
AWS Transfer for SFTP 现在支援Amazon S3 的逻辑目录
AWS Transfer for SFTP 是一种全托管服务,可使用安全档案传输协定(SFTP,又称为Secure Shell(SSH)档案传输协定),直接将档案传入和传出Amazon S3。
此次更新之后,用户现在可以建立对应到Amazon S3储存贮体路径的逻辑目录结构。同时,用户可轻松锁定SFTP使用者对指定资料夹的存取权限(通常称为’chroot’),并且透过无需跨多个使用者复制档案的过程,进而简化SFTP传送资料的复杂结构。此外,现在可以向AWS SFTP使用者隐藏Amazon S3储存贮体名称和路径,提供额外等级的隐私权以符合安全要求。。
将identity provider 与AWS SFTP 伺服器整合时,用户可以指定逻辑路径,并将其对应至Amazon S3 储存贮体中的绝对路径。当SFTP 使用者使用其用户端登入时,逻辑路径的清单会显示在他们的主目录中。
参考来源至:AWS Transfer for SFTP now supports logical directories for Amazon S3
AWS Storage Gateway 支援Linux 上的IBM Spectrum Protect(频谱保护)和5 个TiB 磁带
AWS Storage Gateway 是一种混合云端储存服务,为用户提供接近无限的云端储存空间。Tape Gateway 是AWS Storage Gateway服务的功能之一,提供将现有实体磁带式工作流程转换到AWS中虚拟磁带的服务。
Tape Gateway现在支援在Linux上执行的IBM频谱保护(Tivoli Storage Manager)版本7.1.9。Tape Gateway也会将支援的最大虚拟磁带大小从2.5 TiB增加至5 TiB,以协助用户在单一磁带上储存更多资料,并简化磁带管理。随着此次更新,Tape Gateway支援大多数主要的备份应用程式。
参考来源至:AWS Storage Gateway supports IBM Spectrum Protect on Linux, and 5 TiB tapes
Amazon Pinpoint 新支援对iOS 13 和watchOS 6 推送通知的功能
Amazon Pinpoint 是一项透过多种管道向客户传送个人化、及时和相关的通讯的服务,借此让行销人员和开发人员能够了解并吸引客户,以提供更好的互动体验。
苹果公司最近宣布,对于发送到iOS 13和watchOS 6设备的所有推送通知都需要 apns-push-type 這这个新标题。此次更新后,当用户使用Apple推送通知服务(APN)时,Amazon Pinpoint会自动将这个必要的标头新增到它传送的所有APN讯息中。
如果用户将Amazon Pinpoint设定以静音讯息传送APN通知,Amazon Pinpoint会自动将 apns-push-type 标头的值设定为背景。否则,Amazon Pinpoint会设置要提醒的标题的值。使用iOS 13或watchOS 6的装置会如预期般收到这些通知。使用旧版iOS和watchOS的设备会忽略新标题,并像平常一样处理传入的消息。
参考来源至:Amazon Pinpoint Adds Support for iOS 13 and watchOS 6 Push Notifications
除了Amazon Pinpoint 的更新,Amazon SNS 同样支援新的apns-push-type 标题
Amazon Simple Notification Service (SNS) 是高度可用、耐用、安全的全受管发布/订阅简讯服务,可让您分离微型服务、分散式系统及无伺服器应用程式。
此次更新之后,用户可以在JSON装载中设定内容栏位,将APN通知类型指定为警示或背景。警示APN通知会藉由显示警示讯息、播放声音或在应用程式图示上显示徽章来通知使用者;背景APN通知会唤醒或通知用户的应用程式,根据通知的内容并采取行动,而不通知使用者。
以下是配置物件的范例:
{
"APNS": "{\"aps\":{\"content-available\":1},\"Foo1\":\"\Bar\",\"Foo2\":123}"
}
参考来源至:Amazon SNS Now Supports the New apns-push-type Header Field in Apple Push Notification Service
Amazon SageMaker 现在支援使用Amazon SageMaker-specific Condition Keys 进行更精细的存取控制
Amazon SageMaker 是一项能够快速建立、训练及部署机器学习模型的全托管服务,其中涵盖整个机器学习工作流程。
在这次更新后,用户能使用 Amazon SageMaker-specific Condition Keys来对Identity and Access Management (IAM)政策做更进一步的条件设定。透过此方法,用户就能够强制实行最佳实务和合规要求,如:在Amazon SageMaker上对资料做加密、对储存磁碟做加密或控制资源的存取等等。
同时,用户也可以将SageMaker 资源放入指定的Virtual Private Cloud(VPC)并停用notebook instance 根存取和网际网路存取。另外,在使用SageMaker 控管花费时,用户可以限制使用者能够选择的实体种类。
可将额外的Metadata 加入至Amazon VPC Flow Logs
Amazon Virtual Private Cloud (VPC) 服务让用户能够建议私有的网路环境,可将多项AWS配置于该网路环境中。
Amazon VPC Flow Logs 纪录私有网路环境中的资料传输流动,让用户在事件发生时查询特定的纪录。
经过此次更新后,用户可将AWS所新增的Metadata加入至Flow Log监看上,如:vpc-id
、subnet-id
以及TPC位元遮罩等等。例如,用户能使用TPC位元遮罩来辨识有做TPC连线初始化的资源,或是使用封包上的来源IP与目的IP栏位来辨认连接至NAT闸道或AWS传输闸道网路介面的连线的来源资源以及预定目标。
若您想深入了解新的Metadata栏位,可参阅此篇文章。
另外,用户可使用AWS Command Line Interface 或是AWS 管理页面来将VPC Flow Logs 纪录至Amazon Simple Storage Service (S3) 之上,而加入额外Metadata 至纪录中是不会有额外花费的
Tag:Amazon Comprehend, Amazon Corretto JDK 8, Amazon EKS, Amazon Elasticsearch Service, Amazon FreeRTOS, Amazon Linux 2, Amazon Pinpoint, Amazon Quantum Ledger Database, Amazon QuickSight, Amazon S3, Amazon SageMaker Ground Truth, Amazon SageMaker-specific Condition Keys, Amazon Simple Notification Service, Amazon SNS, Amazon VPC Flow Logs, Amazon WorkDocs, Anomaly Detection, Apache Flink, Apache HBase, Apache Hive, Apache Spark, API, apns-push-type, AppStream 2.0, Arduino®, AWS App Mesh, AWS Command Line Interface, AWS Config, AWS Elemental MediaTailor Server-Side Ad Insertion, AWS Identity and Access Management Role, AWS IoT Core, AWS IoT Greengrass, AWS Lambda, AWS PrivateLink, AWS RoboMaker, AWS Storage Gateway, AWS Systems Manager Automation, AWS Transfer for SFTP, CAN, Docker, Docker Hub, Docker images, Docker registries, EBS CSI, Ec2, EMR 6.0.0, Favorites, Filtering previous N data points within the data set, fleet streaming instance, Flow Log, Hadoop 3, i.MX-RT1050, I2C, I2S, IAM permission, IAM Role, IBM Spectrum Protect, image builder, iOS 13, JSON, Kinetis K64, Kubernetes, Linux, Live Pre-roll, Metadata, NAT, notebook instance, NXP i.MX-RT1060, Presto, Private Worker Throughput Worker Logs and Metrics, QLDB, QuickSight Enterprise, retry policies, RJ-45, Robot Operating System, ROS, SCTE, Secure Shell, SFTP, SPI, SQL, SSH, Standard Edition, Tape Gateway, Tivoli Storage Manager, TPC, UART, UARTs, Virtual Private Cloud, VPC, watchOS 6, Word Cloud, YARN NodeManager