【每周快报】0227-0304 AWS 服务更新
前言
适用于 Amazon DynamoDB 的 NoSQL Workbench 于这周正式推出,现在用户可以更轻松的设计数据库了。另外,为了优化用户的查询功能,许多服务都支持了更多查询功能,像是 Amazon Comprehend Medical 现在多了时间查询模式,而 AWS Config 现在可以跨帐户及跨区域查询,让管理者更方便观看目前使用情形。在警讯提醒这方面,AWS 也推出了更完善的警报功能,现在用户除了可以在 Amazon Lightsail Console 中看到警报通知,也能透过 E-mail 通知发送警报,Amazon CloudWatch 则是新增了复合式警报,可以降低警示噪音也让用户更能专注在其他重要问题。除了上述各项服务,本篇文章还会提及各个服务推出的新功能,例如 Amazon Pinpoint、Amazon Athena、AWS Secrets Manager… 等。
一、新服务
正式推出 NoSQL Workbench for Amazon DynamoDB
利用 NoSQL Workbench,用户可以在 local 环境中引入 DynamoDB 中的 Table,并在编辑后更新现有的 Table。此工具提供易阅读的接口,使创建、修改 Database 过程中容易遇到的问题,可以容易找到症结点,进而利用接口来更改问题。
参考来源至:NoSQL Workbench for Amazon DynamoDB is now generally available
二、服务的新功能
Amazon Pinpoint 利用 Machine Learning 的技术添加了模板个人化的功能
Amazon Pinpoint 推出了动态变量让用户在个人化电子邮件、SMS 与推播通知的模板更具弹性化,而这些变量值可使用特定的内容,如原先储存在 Pinpoint 的用户属性或透过 Amazon Personalize 所建立的机器学习模型。
用户可以将原先建立的 Personalize 的 campaign 与 Pinpoint 帐户结合,因此当用户连接到模型时,可用 Pinpoint Attribute Finder 将相关的变量复制到个人化的模板,最终将可创建更具个人化的推荐通知。
参考来源至:Amazon Pinpoint added template personalization using Machine Learning
Amazon Athena 支持 AWS IAM CalledVia Condition Key
用户今天如果想要利用 Amazon Athena 去查询放在 AWS S3 Bucket 里的数据,以往需要拥有 Amazon Athena 及 S3 Bucket 的权限才能进行查询,现在可以透过 CalledVia 这个参数,去设定访问某个 AWS S3 Bucket 的权限,必须要利用 Athena 才能进行访问,就不必开两个服务的权限给他人,且符合最小权限原则,降低风险。
Amazon Lightsail 支持监控、警报及通知功能
用户可以针对 Amazon Lightsail Instance、Load Balancers 及 databases 去设定监控指针,一旦监控指针在设定值的异常范围内,除了在 Amazon Lightsail Console 中看到通知,也能透过 E-mail 及 SNS 通知发送警报。
参考来源至:Amazon Lightsail now supports resource monitoring, alarming and notifications
Amazon FSx 现在可以在 Shared Amazon Virtual Private Clouds (VPCs) 中创立文件系统
原先,当用户可以利用共享 VPC 来让项目的共同开发者 (Participant) 在同一个 VPC 中一起建立应用程序需要的资源,并不支持 Amazon FSx。此次更新之后,用户可以在共享 VPC 中创立 Amazon FSx 文件系统,帮助在共享 VPC 中的 EC2s 一起使用同一个文件系统。
- 此功能支持 FSx for Windows File Server 及 FSx for Lustre 至所有能够使用 Amazon FSx 的 Region。
Amazon Comprehend Medical 新增时间查询模式
对于医疗保健单位而言,追踪患者的健康状况是非常重要的事情。因此能够在纵向时间轴上查阅对话讯息对于医疗保健方面也十分重要。
新功能 Time Expression(时间表达)允许用户撷取日期或时间表达并将其与当前从 Amazon Comprehend Medical 撷取的任何讯息相关联。Time Expression 不仅包括标准日期格式(MM / DD / YYYY),而且还可以使用关联名词替代时间,例如:录取日期 或 昨天。
参考来源至:Announcing Time Expression for Amazon Comprehend Medical
AWS Config 推出可跨帐户及跨区域的进阶查询功能
AWS Config 在去年已推出 advanced query 的功能,能够使用类似于 SQL 格式的语法,帮助快速查询资源使用的情况。 现在用户可以此功能,一次搜寻多个帐户及多个 Region 里的资源,对于组织管理者是一项方便观看目前使用状况的工具。
- 用户需要先启用 configuration aggregators 才可开始使用这项功能,以便数据统一收集
- 若跨账号搜寻,则不同帐户之间需先设定授权 configuration aggregators 可收集该帐户内的资源;但如果是同一个 AWS Organizations 里的帐户则不需要。
参考来源至:Introducing AWS Config multi-account, multi-region support for advanced query
Amazon Aurora with PostgreSQL 支持 Kerberos 和 Microsoft Active Directory 身份验证
当用户连接到 PostgreSQL 数据库时,以往只能透过 IAM 进行身份验证,现在可以利用 Kerberos 进行身份验证,搭配 Microsoft Active Directory 中的 AWS Directory Service 一起使用,这样当用户在 PostgreSQL 数据库进行身份验证时,会把身份验证请求将转发到 AWS Directory Service 的目录。
注意:不能同时使用 Kerberos 和 IAM 进行身份验证,只能择一。
Amazon Elasticsearch Service 支持自动化索引
以往用户只能透过第三方工具为 Elasticsearch 里面的数据自定义生命周期管理,此次更新后 Elasticsearch 可以自动执行定期索引管理。在分析 time-series 数据时,我们通常会考虑较新的数据,而这个时候我们会删除较旧的索引或减少副本,利用 Index State Management (ISM) 自定义 Policy 做定期化设定,例如:设定原本位于 Hot 状态的索引,经过 30 天后将变成 Delete 状态,会寄发索引已删除的通知到 Amazon Chime room:
{
"policy": {
"policy_id": "sample policy",
"description": "hot-delete workflow",
"default_state": "hot",
"schema_version": 1,
"states": [
{
"name": "hot",
"actions": [],
"transitions": [
{
"state_name": "delete",
"conditions": {
"min_index_age": "30d"
}
}
]
},
{
"name": "delete",
"actions": [
{
"notification": {
"destination": {
"chime": {
"url": "<URL>"
}
},
"message_template": {
"source": "The index {{ctx.index}} is being deleted"
}
}
},
{
"delete": {}
}
]
}
]
}
}
注意:ISM 功能目前仅支持 Elasticsearch 7.1或更新版本。
参考来源至:Automate index management with Amazon Elasticsearch Service
Amazon Elasticsearch 支持 k-Nearest Neighbor (k-NN) 搜寻
k-NN 搜寻让用户可以在向量空间中搜寻相似的「点」,并透过欧几里德距离找寻与这些点最邻近的其他邻居,可应用于推荐(如 YouTube 中的 “你可能喜欢的影片”)、图片辨识与诈欺侦测。k-nn 搜寻可以在高维度对数十亿个文件进行大规模、低延迟的邻近搜寻,仅需执行简单的语法即可搜寻。
首先将设定 knn 搜寻的索引 (index.knn) 并定义数据型态 (knn_vector)。最终用以下范例查询,k
为查询返回的邻居数量,vector
为欲查询的点:
GET my-index/_search
{
"size": 2,
"query": {
"knn": {
"my_vector2": {
"vector": [2, 3, 5, 6],
"k": 2
}
}
}
}
若要使用 k-NN 相似性搜寻,请使用 Elasticsearch 7.1 和更新版本。
参考来源至:Build k-Nearest Neighbor (k-NN) similarity search engine with Amazon Elasticsearch Service
三、功能的增强或改动
DeepAR+ 支持新的 hyperparameters 优化 Amazon Forecast 上的运作
DeepAR+ 是 Amazon Forecast 其中一种算法,可依照时间序列来预测在不同时间序列上可能的结果。此次更新之后,DeepAR+ 新增支持 3 个新的 hyperparameters,这些参数可以帮助减少训练时间,增加 Model 的稳定性和准确性。
- num_averaged_models: 由于 Forecast 在训练过程中,每次训练出的模型可能不尽相同,而每个模型能够预测未来的强度也会有所不同,为了减弱模型预测出的极端值,可利用此参数取得平均模型预测的结果。
- learning_rate_decay: 学习速率降低的级距,当 max_learning_rate_decays 大于 0 时才会使用此参数。
- max_learning_rate_decays: 学习速率降低次数的最大值。
AWS Lambda@Edge 现在新增支持 Node 12.x 及 Python 3.8
此次更新之后,用户可以在 Lambda@Edge 使用 Node 12.x 及 Python 3.8 作为 Function 的 runtime(运行程序语言)。
AWS Secrets Manager 现在支持更大的 secret 大小及提高每秒可提出 GetSecretValue 呼叫的上限
AWS Secrets Manager 可帮助托管像是数据库凭证或是 API 密钥等敏感数据(secret),此次更新之后,AWS Secrets Manager 现在可托管最高至 64 Kb 的 secret。此外,用户现在每秒可提出 2000 次 GetSecretValue 呼叫,加速提取数据的速度。
利用 CloudWatch Metrics 和 Service Quotas 主动管理 ECR API 使用状况
此次更新之后,用户可以利用 CloudWatch Metrics 来收集 pushing 及 pulling Container Images 的次数,针对收集的结果进行分析,甚至设定 Alarm,以便在接近极限的时候,可以采取必要措施来解决可能出现的问题。
此外,用户可以透过 Service Quotas 来查询每个帐户被分配的 API 使用额度,同时也可提出提高额度的请求。透过上述功能的增强,可帮助用户更加容易的控管 API 使用情形。
参考来源至:Now proactively manage your ECR API use with CloudWatch Metrics and Service Quotas
Amazon CloudWatch 新增复合式警报
新功能复合式警报(Composite Alarm)能让用户整合多个 Alarm 为一个单一 Alarm,例如用户的工作负载扩展的标准为 CPU 使用率 与 Memory 使用率 此两个 Alarm 同时触发才会进行扩展,但常常会因为其中一个 Alarm 达到条件而触发通知,搞得用户会觉得很吵。此次更新后,用户便可以透过基本的表达式来建立复合式的警报。 功能可以包括以下内容:
ALARM("alarm-name or alarm-ARN")
如果命名警报处于 ALARM 状态,则为 TRUE。OK("alarm-name or alarm-ARN")
如果命名警报处于 OK 状态,则为 TRUE。INSUFFICIENT_DATA("alarm-name or alarm-ARN")
如果命名警报处于 INSUFFICIENT_DATA 状态,则为 TRUE。
参考来源至:Amazon CloudWatch now allows you to combine multiple alarms
Tag:Amazon Athena, Amazon Aurora, Amazon Comprehend Medical, Amazon DynamoDB, Amazon Elasticsearch, Amazon Elasticsearch Service, Amazon Forecast, Amazon FSx, Amazon Lightsail, Amazon Pinpoint, AWS Config, AWS IAM, AWS Lambda@Edge, AWS Organizations, AWS S3 Bucket, AWS Secrets Manager, CalledVia, CloudWatch, CloudWatch Metrics, DeepAR+, ECR API, GetSecretValue, hyperparameters, Index State Management, k-Nearest Neighbor, k-NN, Kerberos, Machine Learning, Microsoft Active Directory, NoSQL Workbench, Personalize, PostgreSQL, Service Quotas, Shared Amazon Virtual Private Clouds, SIM, Time Expression, VPCs