【每周快報 】0829-0904 AWS 服務更新
一、新服務
推出機器到雲端連線框架 (Cloud Connectivity Framework)
機器到雲端連線框架是一種提供用戶的解決方案,可讓工廠設備安全地連接 AWS 雲端。提供快速、強大的資料擷取功能、高度可靠和耐久的設備資料儲存,以及可協助管理工廠組態的無伺服器應用程式。此解決方案能協助提高工廠效率和正常執行時間、改善生產彈性以及發現新的商機。 主要以 AWS IoT Core、AWS IoT Greengrass、AWS Lambda、Amazon DynamoDB 和 Amazon S3 來提供解決方案。
參考資源至 : Introducing the Machine to Cloud Connectivity Framework
二、服務的新功能
Amazon CloudWatch 現在推出適用於 Amazon ECS、EKS 和 Kubernetes 的容器監控功能
Amazon CloudWatch 是針對 DevOps 工程師、開發人員、網路可靠性工程師 (SRE) 和 IT 管理員,建置的監控和可觀察性服務。
CloudWatch Logs Insights 以互動式搜尋及分析的方式,提供範例查詢、命令描述、查詢自動完成及日誌欄位探索的服務。
此次更新之後,用戶可利用 CloudWatch Logs Insights 監控、隔離和診斷容器化應用程式和微型服務環境。從控制面板中,依照 Pod、node(節點)、namespace(命名空間)、task(任務)、container(容器)和service(服務),顯示 Amazon Elastic Container Service (ECS)、AWS Fargate、Amazon Elastic Container Service for Kubernetes (EKS) 和 Kubernetes 叢集的效能和運作狀態摘要。
啟用之後,可從 CloudWatch log 找到日誌,並用 Insights 做查詢的動作
參考來源至:Container monitoring for Amazon ECS, EKS, and Kubernetes is now available in Amazon CloudWatch
Amazon SageMaker notebook 新支援將 Jupyter log(日誌)匯出至 Amazon Cloudwatch
Amazon SageMaker 是一項全託管服務,其中涵蓋整個機器學習工作流程,使每個用戶都能夠快速建立、訓練及部署機器學習模型。
以往用戶若是要觀看 Amazon SageMaker notebook log(日誌),需要進入 Amazon SageMaker notebook instance terminal(終端機)才能存取,此次更新之後,用戶可直接從 CloudWatch 檢視和分析日誌,還能根據特定條件來設定警報以自動收到通知。
此外,即使 notebook instance 無回應,亦可透過 CloudWatch 存取日誌;另外還有一項益處,針對 AWS 帳戶 ID、私密金鑰…等敏感資訊會自動移除再寫入日誌中。
參考來源至:Amazon SageMaker Notebooks now export Jupyter logs to Amazon Cloudwatch
Amazon ECS 現在可透過 API 呼叫或是從 ECS 主控台知道執行中容器的 ID
Amazon Elastic Container Service (Amazon ECS) 是可高度擴展的高效能容器協調服務,支援 Docker 容器,用戶可在 AWS 上輕鬆執行及擴展容器化應用程式。
用戶以往必須拼接多個 API,才能建立執行階段容器 ID 和相應 ECS Task(任務)之間的關聯。此次更新之後,用戶可透過 DescribeTasks(描述任務)/StopTask(停止任務)的 API 呼叫,在 ECS Task 中傳回所有容器的執行階段容器 ID。也就是說,用戶可以在 log(日誌)檔中搜尋失效的容器,並對應至相應的 Task,藉此簡化診斷錯誤的工作流程。
除了使用 API 呼叫之外,用戶也可以從 ECS 主控台中,從 Task detail 中看到執行階段容器 ID。
由 eCloudture 團隊實作結果如下圖:
參考來源至:Amazon ECS now exposes runtime ContainerIds to APIs and ECS Console
AWS X-Ray 現在支援 Amazon SQS
AWS X-Ray 協助開發人員分析和偵錯生產、分散式應用程式,例如那些使用微型服務架構的建置成果,以識別和疑難排解效能問題與錯誤的根本原因。
Amazon Simple Queue Service (SQS) 是訊息佇列服務,可讓用戶分離和擴展微型服務、分散式系統及無伺服器應用程式,免除與管理和操作訊息導向中介軟體相關的複雜性及開銷。
使用 AWS X-Ray 追蹤 Amazon SQS 傳遞的訊息,用戶能輕鬆診斷和排除分散式應用程式與微型服務架構中的效能問題和錯誤。 主控台會顯示 Amazon SQS 與其他服務之間的連線圖,以便檢視平均延遲與故障率等指標。例如,可追蹤已傳送到 Amazon SQS 佇列的訊息,以便分發給 Amazon EC2 Container Service 等。
AWS Site-to-Site VPN 為 VPN 通道新增可設定的安全演算法和計時器設定
AWS Site-to-Site VPN 讓用戶在自己的 VPC 與用戶的遠端網路之間建立 IPsec VPN 連接,在 Site-to-Site VPN 連接的 AWS 端上,虛擬私有閘道 (Virtual private gateway) 會提供兩個 VPN 端點 (通道) 用於自動容錯移轉。
AWS Site-to-Site VPN 讓用戶可針對全新和現有的 VPN 限制安全演算法和設定計時器設定,用於加密、完整性和金鑰交換的安全演算法,以及用於設定通道和更新金鑰的計時器設定。用戶可強制執行安全和合規標準,並且用戶可建立通道,無需變更客戶閘道(Customer Gateway)裝置上的計時器設定。
參考資源至 : AWS Site-to-Site VPN Adds Configurability of Security Algorithms and Timer Settings for VPN Tunnels
AWS Application Auto Scaling 提供暫停/繼續擴展
AWS Auto Scaling 可監控應用程式並自動調整容量,盡可能以最低成本維持穩定、可預測的效能,在幾分鐘內即可為多項服務的多種資源輕鬆設定應用程式擴展功能。
用戶從今起可以暫停和繼續他們的任何 AWS Application Auto Scaling 動作。在任何這些資源上暫停和繼續擴展動作,而不用刪除擴展政策或排定的動作,使用新功能來暫停並稍後繼續任何下列擴展動作:排定的擴展動作、動態向內擴展動作、動態向外擴展動作。
參考資源至 : Suspend/Resume Scaling now Available in AWS Application Auto Scaling
AWS Chatbot 支援來自 AWS Systems Manager 的通知
AWS Chatbot 是一種互動式代理,用戶可從 Slack 頻道和 Amazon Chime 聊天室輕鬆監控 AWS 資源,並與這些資源互動。
AWS Systems Manager 讓用戶查看及控制 AWS 的基礎設施。提供統一的使用者界面,方便查看多項 AWS 服務的運作資料,並允許用戶將各種 AWS 資源上的操作任務設為自動化執行。
AWS Chatbot 可在用戶的 Slack 頻道和 Amazon Chime 聊天室接收 AWS Systems Manager 的通知。例如,用戶可接收有關 Run Command 組態合規或狀態變更的通知,便能快速進行審查和協作。
若需要在聊天中接收 AWS Systems Manager 通知,建立 AWS Chatbot 組態,將 Amazon Simple Notification Service (SNS) 主題對應到 Slack 頻道,針對 Systems Manager 設定發佈到 SNS 主題的 Amazon CloudWatch Event 規則。觸發事件時,系統會自動將通知傳送到用戶的聊天應用程式。
參考資源至 : AWS Chatbot Now Supports Notifications from AWS Systems Manager
三、功能的增強或改動
Amazon CloudFront 推出葡萄牙的第一個 Edge Location
Amazon CloudFront 是快捷的內容交付網路 (CDN) 服務,可在開發人員容易使用的環境中,以低延遲、高速傳輸的方式,將資料、影片、應用程式和 API 安全地傳送到用戶手中。
隨著新的 Edge Location 的推出,現今在葡萄牙的用戶,透過連結 Amazon CloudFront 可降低最高達 60% 的延遲時間。
參考資源至 : Amazon CloudFront announces its first Edge location in Portugal
Amazon EFS 宣布降低 Infrequent Access storage 的價格
Amazon Elastic File System(Amazon EFS) 針對 Linux 式工作負載提供簡單、可擴展的彈性檔案儲存,提供數千個 Amazon EC2 執行個體進行大規模的並行共享存取。
此次更新後,針對 Amazon Elastic File System Infrequent Access storage class(EFS IA),降低 44% 的收費,改至 $0.025/GB-month
起跳。依據業界公認的估計,可讓用戶的平均收費變成 $0.08/GB-month
,是 AWS 有史以來最大幅度的降價。
參考資源至 : Announcing Amazon EFS price reduction for Infrequent Access storage
Amazon ElastiCache for Redis 針對 AWS Key Management Service 靜態加密,新支援使用客戶管理金鑰
Amazon ElastiCache 提供全託管的 Redis 和 Memcached。從高輸送量和低延遲的記憶體資料存放區內擷取資料,可建立資料密集型應用程式或提高現有應用程式的效能。
AWS Key Management Service (KMS) 提供安全、彈性地建立及管理金鑰的服務,並控制多種 AWS 服務和應用程式的加密使用,採用已通過 FIPS 140-2 驗證或正在驗證中的硬體安全模組,來保護金鑰。而 Customer Master Keys (CMKs) 是客戶自行在 AWS 帳戶中建立、擁有和管理的金鑰。
此次更新之後,用戶可以使用自己的 CMK 在 ElastiCache for Redis 加密靜態資料。當用戶啟用 CMK 的靜態加密,Amazon ElastiCache for Redis 會使用用戶的加密金鑰來加密磁碟上的所有資料,包含 Amazon S3 中存放的服務備份。
Amazon FSx for Lustre 降低 File System 大小的下限值至 1.2 TBs
Amazon FSx for Lustre 提供高效能檔案系統,並且針對以下快速處理工作負載進行優化:機器學習、高效能運算 (HPC)、影片處理、財務模組化和電子設計自動化 (EDA) 等。
此次更新之後,Amazon FSx for Lustre 現在支援最小至 1.2 TBs 的 file system(文件系統),進而拓展更廣泛的工作負載量,包含更小的機器學習訓練組。
Amazon FSx for Lustre file system 可以配置為獨立的文件系統,也可以連接至 Amazon S3 bucket。當連結至 Amazon S3 時,FSx for Lustre 文件系統將 S3 物件顯示為文件,並允許您將結果直接寫回 S3,因此隨著此次更新,用戶也可以以高性能系統來處理 S3 內更小的數據資料。
參考來源至:Amazon FSx for Lustre Reduces Minimum File System Size to 1.2 TBs
由於上述更新,同步更動 Amazon SageMaker 可支援更新、更小的文件系統作為資料來源
Amazon SageMaker 與 Amazon FSx for Lustre 和 Amazon EFS 結合的功能已在 2019/08/27 推出,透過省去從 Amazon S3 複製物件到檔案系統的時間,加速並簡化模型訓練的過程。
隨著此次更新,Amazon SageMaker 同步改變可支援的最小檔案系統,擴大服務的範圍。更多詳情請參閱:eCloudture 【每周快報 】0822-0828 AWS 服務更新
- 創建完成 Amazon FSx for Lustre 或 Amazon EFS file systems 文件系統後,可在創立 Amazon SageMaker training job 時,指定資料來源為文件系統,並明確。
圖片來源至:Speed up training on Amazon SageMaker using Amazon FSx for Lustre and Amazon EFS file systems
Tag:Amazon Chime, Amazon CloudWatch, Amazon DynamoDB, Amazon EC2 Container Service, Amazon ECS, Amazon Elastic Container Service, Amazon Elastic Container Service for Kubernetes, Amazon ElastiCache for Redis, Amazon FSx for Lustre, Amazon S3, Amazon S3 bucket, Amazon SageMaker notebook, Amazon Simple Notification Service, Amazon Simple Queue Service, Amazon SQS, API, AWS Auto Scaling, AWS Chatbot, AWS Fargate, AWS IoT Core, AWS IoT Greengrass, AWS Key Management Service, AWS Lambda, AWS Site-to-Site VPN, AWS Systems Manager, AWS X-Ray, Cloud Connectivity Framework, CloudWatch Logs Insights, CMKs, Customer Gateway, Customer Master Keys, DescribeTasks, DevOps, EKS, File System, Jupyter log, KMS, Kubernetes, SNS, StopTask, Virtual private gateway