【每周快報】0227-0304 AWS 服務更新
前言
適用於 Amazon DynamoDB 的 NoSQL Workbench 於這周正式推出,現在使用者可以更輕鬆的設計資料庫了。另外,為了優化使用者的查詢功能,許多服務都支援了更多查詢功能,像是 Amazon Comprehend Medical 現在多了時間查詢模式,而 AWS Config 現在可以跨帳戶及跨區域查詢,讓管理者更方便觀看目前使用情形。在警訊提醒這方面,AWS 也推出了更完善的警報功能,現在使用者除了可以在 Amazon Lightsail Console 中看到警報通知,也能透過 E-mail 通知發送警報,CloudWatch 則是新增了複合式警報,可以降低警示噪音也讓使用者更能專注在其他重要問題。除了上述各項服務,本篇文章還會提及各個服務推出的新功能,例如 Amazon Pinpoint、Amazon Athena、AWS Secrets Manager… 等。
一、新服務
正式推出 NoSQL Workbench for Amazon DynamoDB
利用 NoSQL Workbench,使用者可以在 local 環境中引入 DynamoDB 中的 Table,並在編輯後更新現有的 Table。此工具提供易閱讀的介面,使創建、修改 Database 過程中容易遇到的問題,可以容易找到癥結點,進而利用介面來更改問題。
參考來源至:NoSQL Workbench for Amazon DynamoDB is now generally available
二、服務的新功能
Amazon Pinpoint 利用 Machine Learning 的技術添加了模板個人化的功能
Amazon Pinpoint 推出了動態變數讓使用者在個人化電子郵件、SMS 與推播通知的模板更具彈性化,而這些變數值可使用特定的內容,如原先儲存在 Pinpoint 的用戶屬性或透過 Amazon Personalize 所建立的機器學習模型。
使用者可以將原先建立的 Personalize 的 campaign 與 Pinpoint 帳戶結合,因此當使用者連接到模型時,可用 Pinpoint Attribute Finder 將相關的變數複製到個人化的模板,最終將可創建更具個人化的推薦通知。
參考來源至:Amazon Pinpoint added template personalization using Machine Learning
Amazon Athena 支援 AWS IAM CalledVia Condition Key
使用者今天如果想要利用 Amazon Athena 去查詢放在 AWS S3 Bucket 裡的數據,以往需要擁有 Amazon Athena 及 S3 Bucket 的權限才能進行查詢,現在可以透過 CalledVia 這個參數,去設定訪問某個 AWS S3 Bucket 的權限,必須要利用 Athena 才能進行訪問,就不必開兩個服務的權限給他人,且符合最小權限原則,降低風險。
Amazon Lightsail 支援監控、警報及通知功能
使用者可以針對 Amazon Lightsail Instance、Load Balancers 及 databases 去設定監控指標,一旦監控指標在設定值的異常範圍內,除了在 Amazon Lightsail Console 中看到通知,也能透過 E-mail 及 SNS 通知發送警報。
參考來源至:Amazon Lightsail now supports resource monitoring, alarming and notifications
Amazon FSx 現在可以在 Shared Amazon Virtual Private Clouds (VPCs) 中創立文件系統
原先,當使用者可以利用共享 VPC 來讓專案的共同開發者 (Participant) 在同一個 VPC 中一起建立應用程式需要的資源,並不支援 Amazon FSx。此次更新之後,使用者可以在共享 VPC 中創立 Amazon FSx 文件系統,幫助在共享 VPC 中的 EC2s 一起使用同一個文件系統。
- 此功能支援 FSx for Windows File Server 及 FSx for Lustre 至所有能夠使用 Amazon FSx 的 Region。
Amazon Comprehend Medical 新增時間查詢模式
對於醫療保健單位而言,追蹤患者的健康狀況是非常重要的事情。因此能夠在縱向時間軸上查閱對話訊息對於醫療保健方面也十分重要。
新功能 Time Expression(時間表達)允許使用者擷取日期或時間表達並將其與當前從 Amazon Comprehend Medical 擷取的任何訊息相關聯。Time Expression 不僅包括標準日期格式(MM / DD / YYYY),而且還可以使用關聯名詞替代時間,例如:錄取日期 或 昨天。
參考來源至:Announcing Time Expression for Amazon Comprehend Medical
AWS Config 推出可跨帳戶及跨區域的進階查詢功能
AWS Config 在去年已推出 advanced query 的功能,能夠使用類似於 SQL 格式的語法,幫助快速查詢資源使用的情況。現在使用者可以此功能,一次搜尋多個帳戶及多個 Region 裡的資源,對於組織管理者是一項方便觀看目前使用狀況的工具。
- 使用者需要先啟用 configuration aggregators 才可開始使用這項功能,以便資料統一收集
- 若跨帳號搜尋,則不同帳戶之間需先設定授權 configuration aggregators 可收集該帳戶內的資源;但如果是同一個 AWS Organizations 裡的帳戶則不需要。
參考來源至:Introducing AWS Config multi-account, multi-region support for advanced query
Amazon Aurora with PostgreSQL 支援 Kerberos 和 Microsoft Active Directory 身份驗證
當使用者連接到 PostgreSQL 資料庫時,以往只能透過 IAM 進行身份驗證,現在可以利用 Kerberos 進行身份驗證,搭配 Microsoft Active Directory 中的 AWS Directory Service 一起使用,這樣當使用者在 PostgreSQL 資料庫進行身份驗證時,會把身份驗證請求將轉發到 AWS Directory Service 的目錄。
注意:不能同時使用 Kerberos 和 IAM 進行身份驗證,只能擇一。
Amazon Elasticsearch Service 支援自動化索引
以往使用者只能透過第三方工具為 Elasticsearch 裡面的資料自訂生命週期管理,此次更新後 Elasticsearch 可以自動執行定期索引管理。在分析 time-series 數據時,我們通常會考慮較新的數據,而這個時候我們會刪除較舊的索引或減少副本,利用 Index State Management (ISM) 自訂 Policy 做定期化設定,例如:設定原本位於 Hot 狀態的索引,經過 30 天後將變成 Delete 狀態,會寄發索引已刪除的通知到 Amazon Chime room:
{
"policy": {
"policy_id": "sample policy",
"description": "hot-delete workflow",
"default_state": "hot",
"schema_version": 1,
"states": [
{
"name": "hot",
"actions": [],
"transitions": [
{
"state_name": "delete",
"conditions": {
"min_index_age": "30d"
}
}
]
},
{
"name": "delete",
"actions": [
{
"notification": {
"destination": {
"chime": {
"url": "<URL>"
}
},
"message_template": {
"source": "The index {{ctx.index}} is being deleted"
}
}
},
{
"delete": {}
}
]
}
]
}
}
注意:ISM 功能目前僅支援 Elasticsearch 7.1或更新版本。
參考來源至:Automate index management with Amazon Elasticsearch Service
Amazon Elasticsearch 支援 k-Nearest Neighbor (k-NN) 搜尋
k-NN 搜尋讓使用者可以在向量空間中搜尋相似的「點」,並透過歐幾里德距離找尋與這些點最鄰近的其他鄰居,可應用於推薦(如 YouTube 中的 “你可能喜歡的影片”)、圖片辨識與詐欺偵測。k-nn 搜尋可以在高維度對數十億個文件進行大規模、低延遲的鄰近搜尋,僅需執行簡單的語法即可搜尋。
首先將設定 knn 搜尋的索引 (index.knn) 並定義數據型態 (knn_vector)。最終用以下範例查詢,k
為查詢返回的鄰居數量,vector
為欲查詢的點:
GET my-index/_search
{
"size": 2,
"query": {
"knn": {
"my_vector2": {
"vector": [2, 3, 5, 6],
"k": 2
}
}
}
}
若要使用 k-NN 相似性搜尋,請使用 Elasticsearch 7.1 和更新版本。
參考來源至:Build k-Nearest Neighbor (k-NN) similarity search engine with Amazon Elasticsearch Service
三、功能的增強或改動
DeepAR+ 支援新的 hyperparameters 優化 Amazon Forecast 上的運作
DeepAR+ 是 Amazon Forecast 其中一種演算法,可依照時間序列來預測在不同時間序列上可能的結果。此次更新之後,DeepAR+ 新增支援 3 個新的 hyperparameters,這些參數可以幫助減少訓練時間,增加 Model 的穩定性和準確性。
- num_averaged_models: 由於 Forecast 在訓練過程中,每次訓練出的模型可能不盡相同,而每個模型能夠預測未來的強度也會有所不同,為了減弱模型預測出的極端值,可利用此參數取得平均模型預測的結果。
- learning_rate_decay: 學習速率降低的級距,當 max_learning_rate_decays 大於 0 時才會使用此參數。
- max_learning_rate_decays: 學習速率降低次數的最大值。
AWS Lambda@Edge 現在新增支援 Node 12.x 及 Python 3.8
此次更新之後,使用者可以在 Lambda@Edge 使用 Node 12.x 及 Python 3.8 作為 Function 的 runtime(運行程式語言)。
AWS Secrets Manager 現在支援更大的 secret 大小及提高每秒可提出 GetSecretValue 呼叫的上限
AWS Secrets Manager 可幫助託管像是資料庫憑證或是 API 金鑰等敏感性資料(secret),此次更新之後,AWS Secrets Manager 現在可託管最高至 64 Kb 的 secret。此外,使用者現在每秒可提出 2000 次 GetSecretValue 呼叫,加速提取資料的速度。
利用 CloudWatch Metrics 和 Service Quotas 主動管理 ECR API 使用狀況
此次更新之後,使用者可以利用 CloudWatch Metrics 來收集 pushing 及 pulling Container Images 的次數,針對收集的結果進行分析,甚至設定 Alarm,以便在接近極限的時候,可以採取必要措施來解決可能出現的問題。
此外,使用者可以透過 Service Quotas 來查詢每個帳戶被分配的 API 使用額度,同時也可提出提高額度的請求。透過上述功能的增強,可幫助使用者更加容易的控管 API 使用情形。
參考來源至:Now proactively manage your ECR API use with CloudWatch Metrics and Service Quotas
Amazon CloudWatch 新增複合式警報
新功能複合式警報(Composite Alarm)能讓使用者整合多個 Alarm 為一個單一 Alarm,例如使用者的工作負載擴展的標準為 CPU 使用率 與 Memory 使用率 此兩個 Alarm 同時觸發才會進行擴展,但常常會因為其中一個 Alarm 達到條件而觸發通知,搞得使用者會覺得很吵。此次更新後,使用者便可以透過基本的表達式來建立複合式的警報。 功能可以包括以下內容:
ALARM("alarm-name or alarm-ARN")
如果命名警報處於 ALARM 狀態,則為 TRUE。OK("alarm-name or alarm-ARN")
如果命名警報處於 OK 狀態,則為 TRUE。INSUFFICIENT_DATA("alarm-name or alarm-ARN")
如果命名警報處於 INSUFFICIENT_DATA 狀態,則為 TRUE。
參考來源至:Amazon CloudWatch now allows you to combine multiple alarms
Tag:Amazon Athena, Amazon Aurora, Amazon Comprehend Medical, Amazon DynamoDB, Amazon Elasticsearch, Amazon Elasticsearch Service, Amazon Forecast, Amazon FSx, Amazon Lightsail, Amazon Pinpoint, AWS Config, AWS IAM, AWS Lambda@Edge, AWS Organizations, AWS S3 Bucket, AWS Secrets Manager, CalledVia, CloudWatch, CloudWatch Metrics, DeepAR+, ECR API, GetSecretValue, hyperparameters, Index State Management, k-Nearest Neighbor, k-NN, Kerberos, Machine Learning, Microsoft Active Directory, NoSQL Workbench, Personalize, PostgreSQL, Service Quotas, Shared Amazon Virtual Private Clouds, SIM, Time Expression, VPCs