【每周快報】0219-0304 AWS 服務更新
前言
AWS 於近兩周持續對機器學習領域的服務推出許多更新及支援,除了為 Amazon SageMaker Studio 新增支援可自定義過期時間的 presigned URL 外,也正式推出了去年在 AWS re:Invent 提及的 Amazon Lookout for Vision,有助於製造工業的使用者更快速且精密的檢測產品瑕疵。
上述新服務外,我們也將介紹 AWS Config、AWS IoT Events、Amazon EKS…等不同領域的服務更新及改善。
焦點新聞
電腦視覺服務 – Amazon Lookout for Vision 正式啟用,協助企業更精準快速偵測產品瑕疵
在去年的 re:Invent 上推出的 Amazon Lookout for Vision 正式 GA 了,Amazon Lookout for Vision 是針對工業瑕疵檢測所提出的服務,利用電腦視覺的方法去檢查產線上的產品有沒有漏件或損壞,甚至可以應用在精密的半導體產業或其他 PCB 產業(printed circuit boards)。
基本實作是透過使用者上傳照片(或從 SageMaker Ground Truth 匯入),使用者僅需針對 30 張照片進行 labeling 便可開始訓練瑕疵檢測模型,得到模型後可透過 Console 設定作業流程,或者透過 SDK 來推論。
參考來源至:Automate quality inspection with Amazon Lookout for Vision — now generally available
AWS 宣布啟用 Asia Pacific (Osaka) Region
AWS 在台灣時間 3 月 1 號宣佈開啟 大阪(ap-northeast-3) Region 供大家使用,並且這次在大阪的這個 region 中共有 3 個 AZ 給使用者做選擇,也讓大阪成為了 AWS 在亞太區的第 9 個 Region。
參考來源至:Announcing the newly expanded AWS Asia Pacific (Osaka) Region
其他服務更新
Amazon SageMaker Studio 支援可自定義過期時間的 presigned URL
Amazon SageMaker Studio 是一個用於機器學習的 IDE,提供使用者整個機器學習流程所需之工具。
以往使用 SageMaker Studio 主要會透過 IAM User 的方式進行登入,但並非所有的成員都需要有 AWS 帳號的必要(畢竟 IAM User 一多,在管理上就會相對麻煩許多)。 此次更新後,使用者可透過 presigned URL 來短暫授權給特定的人,讓他可以存取 SageMaker Studio 的環境跟資源,如此一來就可以只讓團隊中的管理人員擁有 IAM User,其餘人員則可以透過 presigned URL 進行登入。
除此之外,presigned URL 也可以定義過期的時間(expiration-time),超過過期時間後,presigned URL 也就失效,無法繼續使用。presigned URL 過期之後,如果想繼續使用同樣的環境,就需另外登入 AWS SageMaker Console 才可以回到同樣的環境。
- 透過呼叫
CreatePresignedDomainUrl
API request:
{
"DomainId": "string",
"ExpiresInSeconds": number,
"SessionExpirationDurationInSeconds": number,
"UserProfileName": "string"
}
設定
ExpiresInSeconds
參數來定義過期時間。最小值為 5 秒,預設為 5 分鐘。參考來源至:Now create Amazon SageMaker Studio presigned URL with custom expiration time
AWS IoT Events 新增 debug 功能
使用者以往在定義 IoT Events 的 State Machine 時,時常會發生許多語法上的錯誤,使得常常會讓使用者不清楚究竟是人為問題,還是資料流的問題。
此次更新後,IoT Events 新增了除錯功能,會自動在 State Machine 中執行 7 種不同的除錯分析(請參閱 IoT Events 文件),像是定義狀態時的語法錯誤(錯誤的表達式)、結構性問題(缺少狀態或觸發的 State)和運行時錯誤(數據類型與定義的不相同、資料遺失、達到服務限制等)。
這個新功能對於那些有複雜 State Machine 的使用者來說是一大福音,因為每個 State Machine 都可能有多個 Input data 並且同時觸發多條邏輯,所以時常在發生錯誤時不知道該如何下手。
參考來源至:New troubleshooting feature now generally available for AWS IoT Events
AWS Config 支援對 S3 buckets KMS encryption 加密
當使用者啟用 AWS Config 時,AWS 會在 S3 Bucket 儲存 AWS 資源設定的相關歷史紀錄及 Snapshot,以便除錯與稽核之用,並且在安全性的考量下,預設會透過 S3 AES-256 加密,此次更新後使用者可以在 AWS Config 選擇 KMS 金鑰或是指定 ARN 加密,提供使用者更多選擇。
參考來源至:Support for KMS encryption on S3 buckets used by AWS Config
Amazon EC2 Auto Scaling 支援顯示已刪除 Auto Scaling Group 的歷史紀錄
先前當使用者刪除了 Auto Scaling Group 之後,就無法再次讀取已刪除之 Auto Scaling Group 的歷史紀錄,使得以往使用者都會透過腳本定期紀錄 Auto Scaling Group 的操作記錄,或是透過 AWS Support 幫忙調閱歷史紀錄,才有機會拿回歷史紀錄。
此次更新後,使用者可以透過呼叫 describe-scaling-activities
API 時,加上--include-deleted-groups
參數,就可以取回已刪除之 Auto Scaling Group 的歷史紀錄。
- AWS CLI 範例:
aws autoscaling describe-scaling-activities --auto-scaling-group-name my-asg --include-deleted-groups
> Response:
{
"Activities": [
{
"ActivityId": "e1f5de0e-f93e-1417-34ac-092a76fba220",
"AutoScalingGroupName": "my-asg",
"Description": "Launching a new EC2 instance. Status Reason: Your Spot request price of 0.001 is lower than the minimum required Spot request fulfillment price of 0.0031. Launching EC2 instance failed.",
"Cause": "At 2021-01-13T20:47:24Z a user request update of AutoScalingGroup constraints to min: 1, max: 5, desired: 3 changing the desired capacity from 0 to 3. At 2021-01-13T20:47:27Z an instance was started in response to a difference between desired and actual capacity, increasing the capacity from 0 to 3.",
"StartTime": "2021-01-13T20:47:30.094Z",
"EndTime": "2021-01-13T20:47:30Z",
"StatusCode": "Failed",
"StatusMessage": "Your Spot request price of 0.001 is lower than the minimum required Spot request fulfillment price of 0.0031. Launching EC2 instance failed.",
"Progress": 100,
"Details": "{\"Subnet ID\":\"subnet-5ea0c127\",\"Availability Zone\":\"us-west-2b\"...}",
"AutoScalingGroupState": "Deleted",
"AutoScalingGroupARN": "arn:aws:autoscaling:us-west-2:123456789012:autoScalingGroup:283179a2-f3ce-423d-93f6-66bb518232f7:autoScalingGroupName/my-asg"
},
...
]
}
AutoScalingGroupState 顯示此 Auto Scaling Group 已被刪除
參考來源至:Amazon EC2 Auto Scaling now shows scaling history for deleted groups
AWS Config 現在支援 AWS 上與 Container 相關的服務
AWS Config 是一個可幫助使用審核和評估 AWS 資源 configuration 的服務。此次更新後,Config 新增支援 ECS、ECR、EKS,使用者可透過 Config 來了解資源的變動,例如:改變了 ECS Task Definition 裡 Volume 設定;改變 ECR Repository 裡的 Image…等等,可以透過 Config 知道改動的內容,幫助使用者了解過往的操作記錄。
Amazon Connect Customer Profiles 支援 S3 作為 Data Source
在客戶聯絡客服中心的情況下,若是能在電話接通前瞭解客戶之前提出的要求或是回應,可以幫助客服中心建立完全個人化的服務,這可以大大的提升使用者體驗,讓客戶覺得被關心且被理解。Amazon Connect Customer Profiles 自動將來自多個應用程序的客戶資訊匯總到一個客戶檔案中,與客戶開始互動時,將資料交付給客服,可以讓客服立即獲得客戶的資訊,並在通話中協助客戶建立資料,提供更加個人化的體驗。 此次更新後,支援使用 Amazon Simple Storage Service(Amazon S3)從本地和第三方應用程序(如Salesforce,ServiceNow,Zendesk和Marketo)中提取客戶資訊,不需要再額外費心傳輸資料。
參考來源至:Amazon Connect Customer Profiles now supports data sources from Amazon S3
AWS CodePipeline 提升 pipeline 數量
AWS CodePipeline 是一項持續交付(CD)服務,幫助使用者自動化發布管道,以實現快速,可靠的應用程序。每當使用者更改程式碼時,CodePipeline 都會根據使用者設定的pipeline,自動執行發布過程的構建,測試和部署階段。 以往,每個帳戶僅能有 300 條 pipeline,此次更新後,提升至 1000 條 pipeline。
參考來源至:AWS CodePipeline now supports 1000 pipelines per account
Amazon EKS 新增支援信封加密
Amazon EKS 可以輕鬆地在 AWS 雲端內部署 Kubernetes 應用程式,EKS 支援對現有的 Kubernetes cluster 使用 Amazon KMS 金鑰進行信封加密,對於處理敏感資料的應用程式是安全性的最佳實踐。
信封加密是使用資料金鑰來加密原始的資料,然後再透過另一個金鑰來加密資料金鑰的實務做法。
Amazon EKS 在以往僅能在創建 cluster 期間使用 KMS 密鑰啟用信封加密。此次更新後,使用者可以隨時為 Amazon EKS 集群啟用信封加密。
使用者可以先在 Amazon KMS 中創建自己的主金鑰(CMK),並將 CMK ARN 提供到現有 Kubernetes cluster 或是新建立的 cluster 中,即可實現信封加密。
有關更多的資訊,請參考:Amazon EKS documentation。
Amazon Elasticsearch Service Configuration APIs 現在支援 tag-based 認證
Amazon Elasticsearch Service 現在已經支援了 tag-based 的驗證,這也就代表著我們可以在 IAM 的 Identity Policy 中針對擁有某些 tag 的 Elasticsearch Domain 進行阻擋或是限制,也意味著你可以善用 Tag 來限制每個資源的使用權限。
參考來源至:Amazon Elasticsearch Service now supports tag-based authorization for configuration APIs
Amazon EventBridge 支援傳輸 X-Ray 追蹤資訊
這次更新之後 EventBridge 可以傳輸追蹤資訊到其他後端服務,讓使用者可以更輕鬆的監視和 debug 事件驅動的應用程式,EventBridge 支援追蹤所有與 X-Ray 整合的事件目標,現在有 Amazon SQS, SNS, API Gateway, AWS Lambda and AWS Step Functions 支援追蹤.
參考來源至:Amazon EventBridge now supports propagation of X-Ray trace context
Amazon VPC Flow Logs 可以顯示 AWS 服務名稱、流量路徑流向
VPC 的這次異動之後使用者可以為 Amazon Virtual Private Cloud (Amazon VPC) flow logs 加上額外 4 個 metadata 欄位,分別叫做 flow-direction, traffic-path, pkt-src-aws-service 跟 pkt-dst-aws-service,有了這些欄位使用者可以更深入了解某些工作負載正在與那些 AWS 服務通訊。
VPC Flow Logs 中豐富的 metadata 欄位可以幫助集中式日誌處理系統降低很多管理上的成本及運營費用,使用者可以藉由計算 VPC Flow Logs 監視 VPC 流量,多了那些 metadata 欄位再加以分析使用者就可以更加清楚的了解部署在 VPC 上的各個應用程式的相依性,或資料流。
參考來源至:Amazon VPC Flow Logs now reflects AWS Service name, Traffic Path and Flow Direction