【每周快報 】0912-0918 AWS 服務更新
一、新服務
Smart Product Solution 介紹
Smart Product Solution 為 AWS 雲端提供安全的產品連線能力,包括產品內的本機運算功能、複雜的事件規則,以及資料處理和儲存。此解決方案具有快速且穩固的資料擷取、高度可靠且耐用的產品遙測資料儲存、簡單且可擴充的大數據分析服務,以及與客戶聯繫的全球訊息和應用程式服務。
主旨在提供連線產品服務的架構,讓用戶專注於擴充解決方案的功能,而不是管理基礎架構作業。
二、服務的新功能
Amazon DynamoDB 新增 NoSQL Workbench(工作台)預覽版
Amazon DynamoDB 是一種全託管、多區域、多主機的鍵值和文件型資料庫,內建安全性、備份和還原以及記憶體內快取,可在任何規模下達到不到 10 毫秒的效能,以供網際網路規模的應用程式使用。
此次更新之後,開發人員可透過使用 NoSQL Workbench ,一款用於 Windows 和 macOS 的免費應用程式,輕鬆地從頭開始構建新的數據模型,或導入和修改現有的數據模型。
此外,也可以根據其應用程式的存取模式,視覺化資料模型。同時,NoSQL Workbench 還提供查詢開發功能來查看、探索和查詢數據集,以及用於執行數據平面操作和生成多種程式語言的 operation builder(結構化操作構建器)。
- Data modeler:建立新的資料模型,或根據符合應用程式資料存取模式的現有資料模型來設計模型。
- Data Visualizer:對應查詢和視覺化應用程式的不同存取模式。
經由視覺化的功能檢視所有資料表的狀態之後,若是完成所有編輯,可上傳至 Amazon DynamoDB。
輸入用戶的 Access key ID 以及 Secret access key 以完成身分認證,並指定目的地的區域,按下 Commit 即可。
- Operation Builder:查看、探索和查詢數據集;或是建置和執行數據平面作業,並支援投影和條件表示式,以及產生多種語言的範例程式碼。
參考來源至:Introducing NoSQL Workbench for Amazon DynamoDB — Now in Preview
WorkMail Message Flow 軟體開發套件(SDK)
Amazon WorkMail 是一種公司電子郵件和行事曆服務,支援現有桌面及行動電子郵件用戶端應用程式。支援用戶使用 Microsoft Outlook、原生 iOS 和 Android 電子郵件應用程式、支援 IMAP 協定的任何用戶端應用程式,或透過 Web 瀏覽器進行存取。
此次更新之後,Amazon WorkMail 可使用電子郵件流程規則(Email Flow Rules),透過 SDK,用戶可從 AWS Lambda 函數中存取完整的電子郵件訊息內容,以建立強大的電子郵件處理、自動化及分析的應用程式。
Amazon QuickSight 推出層級感知(Level-Aware)計算、更大的 SPICE 資料集等
Amazon QuickSight 可建立和發佈包含 ML 深入分析的互動式儀表板。然後用戶可以從任何裝置存取儀表板,並嵌入用戶的應用程式、入口網站和網站。
Amazon QuickSight 的層級感知計算,不需使用在圖表上的彙總和篩選器,可直接讓用戶取得進階分析深入解析,均可在 QuickSight 整體查詢評估順序中所需層級計算的計算。
QuickSight 現在支援較大的 SPICE 資料集。在之前,每個 SPICE 資料集最多可容納 25GB 的資料。 現在的 SPICE 資料集最多可容納 1 億資料列(或 200GB)的資料和 25 萬個資料列(或 25GB)。提升資料集的限制,處理資料集有許多資料行的情況。
用戶還可以如何定義儀表板上異常顯示的順序。包括:
- 按實際值排序(actual value)
- 與預期值的差異(difference from the expected value)
- 預期值的加權差異(weighted difference from the expected value)
- 計算出的異常分數(computed anomaly score)
- 加權異常分數(weighted anomaly score)
此外,SPICE 資料集支援新的字串計算。在 SPICE 數據集上,用戶可以使用 concat, replace, locate, strlen, substring, trim,和多個字符串函數。
參考資源至:Amazon QuickSight Launches Level Aware Calculations, Larger SPICE Data Sets, and More
參考資源至:Create advanced insights using Level Aware Aggregations in Amazon QuickSight
AWS Step Functions 在工作流程中新增了動態平行性的功能
AWS Step Functions 協調多個 AWS 服務以成為無伺服器的工作流程,以利用戶快速建立及更新應用程式。
此次更新之後,透過平行處理的功能,用戶可以將資料處理和任務自動化等應用程式工作流程的效能和效率最佳化,並達成一致的執行時間,以降低營運成本。
- Fanout patterns:並行傳送相同工作清單,以簡化工作流程,例如:訂單處理和執行個體修補管理。
- Scatter-gather patterns:利用 AWS 上的可擴展運算加速檔案處理和產生報告等工作流程。例如:用戶可以平行轉碼十個 500 MB 的媒體檔案,然後合併以建立 5 GB 的檔案。
參考來源至:AWS Step Functions adds support for dynamic parallelism in workflows
Amazon WorkSpaces 現在支援將工作空間還原到上次已知的健康狀態
Amazon WorkSpaces 是一項託管的安全雲端桌面服務,可在幾分鐘內佈建 Windows 或 Linux 桌面,並快速地擴展。
Amazon WorkSpaces 會定期掃描用戶 WorkSpaces 中的健康狀態,並在 WorkSpaces 狀況良好時,產生根磁碟區和使用者磁碟區的快照。此次更新之後,用戶可將 WorkSpace 還原到上次已知的健康狀態。
- WorkSpaces 會從上次掃描報告中,與狀況良好時所取得的最新快照配對,重新建立 WorkSpaces 根和使用者磁碟區。
- 還原後,在快照時間之後對 WorkSpace 所做的所有變更都不會保留。
參考來源至:Amazon WorkSpaces Introduces WorkSpaces Restore to the Last Known Healthy State
Amazon S3 現在支援相同區域複製備份
Amazon Simple Storage Service(Amazon S3)物件儲存服務提供可擴展性、資料可用性、安全性及效能的特性。
此次更新之後,Amazon S3 相同區域複寫(Same-Region Replicatio, SRR) 為 Amazon S3 增加了一個新的複寫選項,建置在 S3 跨區域複寫(Cross-Region Replication, CRR) 上。
使用 SRR 時,會在相同 AWS 區域內製作另一個 S3 物件副本,具有與目標儲存類別相同的備援。當上傳新物件到 Amazon S3 儲存貯體時,會將 bucket、prefix 或物件 tag 層級進行複寫。複製的物件可以隸屬於和原始副本相同的 AWS 帳戶,也可以由不同的帳戶者擁有,以防止意外刪除。
Amazon S3 SRR 和 CRR 複寫可提供企業級複寫功能,例如:跨帳戶複寫,以防止意外刪除,或複寫到任何 Amazon S3 儲存類別,包括 S3 Glacier 和 S3 Glacier Deep Archive,以建立備份和長期存檔。
使用 SRR 複寫 S3 物件時,與物件相關聯的中繼資料、存取控制清單(Access Control Lists, ACL)和物件標籤也是複寫的一部分。一旦在來源儲存貯體上設定 SRR,對物件、中繼資料、ACL 或物件標籤的任何變更都會觸發對目的地儲存貯體的新複寫。
AWS Storage Gateway 的檔案閘道(File Gateway)可新增 Amazon CloudWatch 日誌記錄和指標
AWS Storage Gateway 是一種混合雲端儲存服務,為用戶提供接近無限的雲端儲存空間,進而簡化儲存管理並降低關鍵混合雲端儲存使用案例的成本。
AWS Storage Gateway 提供三種不同類型的閘道:磁帶閘道、檔案閘道和磁碟區閘道。
Amazon CloudWatch 是一項藉由偵測用戶環境中的異常行為、設定警示、展示日誌和指標、採取自動動作、排除故障問題,還有探索洞見的監控和可觀察性服務。
此次更新之後,檔案閘道的運作狀態和效能日誌及指標可發佈到 Amazon CloudWatch,以便快速回應工作負載的變化。
- 用戶可將 Amazon CloudWatch 日誌記錄設定為記錄組態錯誤,以持續了解閘道的各項操作狀態。
- 用戶可訂閱這些日誌項目,接收通知以更正錯誤。
- 用戶可使用 Amazon CloudWatch 指標來監控分配給閘道的 CPU、快取磁碟和 RAM,以偵測效能異常,並在檔案共用者受到影響之前調整資源。
參考資源至:AWS Storage Gateway adds Amazon CloudWatch logging and metrics for File Gateway
AWS Service Catalog 支援 Budget Visibility(預算的可見性)
AWS Service Catalog 提供用戶建立和管理已核准在 AWS 上使用的 IT 服務型錄,以便集中管理普遍部署的 IT 服務,並協助實現一致性管理和滿足合規要求。
AWS Budgets 設定自訂預算,並在成本或用量超過(或是預測超過)預算金額時,提醒用戶目前用量。此外,用戶還可檢視下列資訊:
- 用戶的方案與預算金額,或與免費方案上限的接近程度
- 至今的用量,包括已使用的預留執行個體(Reserved Instances)
- 估計用戶目前的費用,以及預測未來月底時所產生的使用量和費用
- 用戶已使用的預算量
此次更新之後,AWS Service Catalog 透過與 AWS Budgets 整合,用戶可以建立預算與產品組合和產品相關聯,以追蹤支出,達到預算可見性的功能。此外,可使用標籤選項和自動標籤來建立關聯性,簡化管理員掌握預算和每月迄今支出的過程。
AWS Elemental MediaStore 現在支援刪除過時的清單
AWS Elemental MediaStore 是針對媒體優化的 AWS 儲存服務,可提供交付即時串流影片內容所需的效能、一致性和低延遲。
AWS Elemental MediaStore 作為即時串流來源時,用戶可透過物件生命週期政策的 API(Object Lifecycle Policy API),在容器上設定暫時性資料政策(Transient Data Policy)。如果 HLS 資訊清單尚未更新,該資訊清單將會移除,可使得用戶能自動從主要來源切換到備份來源,無需額外編碼或設定。
而如果擁有冗餘編碼管道的用戶,必須在底層執行複雜的配置,以確保清單的新鮮度,但透過暫時性資料原則,用戶可以利用原生 HLS 行為來執行原始切換。
參考資源至:AWS Elemental MediaStore Now Supports Stale Manifest Deletion
Amazon EKS 現在支援叢集標記的功能
Amazon Elastic Kubernetes Service (Amazon EKS) 是一項用戶可使用 AWS 上的 Kubernetes 輕鬆部署、管理和擴展容器化應用程式的服務。
以往,用戶難以針對個別叢集控制存取以管理 EKS API,此次更新之後,用戶可以在每個 Amazon EKS 叢集新增自訂標籤,並透過 IAM 管理這些標籤以用來控制 EKS API 的存取。此外,新增到 EKS 叢集的標籤專屬於 AWS EKS 叢集資源,不會影響到叢集使用的其他 AWS 資源,例如:EC2 執行個體或負載平衡器。
AWS Glue 現在提供 Apache Spark UI 來監控和故障排除 Glue ETL jobs
AWS Glue 是全託管的擷取、轉換和載入(ETL)服務,可讓用戶輕鬆準備資料,以及載入資料用於分析。
此次更新之後,用戶可以使用 Apache Spark UI web 界面來監控和檢查 Glue ETL 作業。 同時,還可視覺化代表 Glue ETL 作業執行中不同階段的有向無環圖(Directed Acyclic Graph, DAG),分析 Spark SQL 查詢計劃,並檢查運行或終止 Spark 執行程序的事件時間表。Spark UI 可與 job metrics 和 continuous logging 結合使用,以監控和疑難排解複雜的 Glue 作業。
參考來源至:AWS Glue now provides the Apache Spark UI to monitor and troubleshoot Glue ETL jobs
三、功能的增強或改動
AWS PrivateLink 支援 Amazon Rekognition
AWS PrivateLink 透過不讓資料暴露於公有網際網路,簡化與雲端應用程式共享資料的安全性。AWS PrivateLink 在 Amazon 網路上,安全地提供 VPC、AWS 服務和本地端應用程式間的私有連線。
Amazon Rekognition 可針對用戶提供的影像和影片,提供最精準的臉部分析和臉部辨識,將偵測、分析及比對臉部技術運用在使用者驗證、計算人數和公共安全等各種使用案例。
此次更新之後,用戶可以使用 AWS PrivateLink,從自己的 Amazon VPC 存取 Amazon Rekognition,而不需經過網際網路,即可存取。
參考資源至:Announcing AWS PrivateLink support for Amazon Rekognition
AWS Elemental MediaLive 現在支援直撥頻道的 HEVC 和 4K/UHD 輸出
AWS Elemental MediaLive 是廣播級的即時影片處理服務。建立高品質的影片串流以交付到廣播電視和與網際網路連線的多螢幕裝置,像是連網電視、平板電腦、智慧手機以及電視機上盒。即時編碼用戶的現場直播影片,先擷取較大的即時影片來源,再將它壓縮成較小的版本,以利分發給觀眾。
AWS Elemental MediaLive 現在支援標準畫質 (SD)、高畫質 (HD) 和超高畫質 (UHD) 編碼的高效率視訊編碼 (HEVC)。使用 HEVC 的效率比 AVC 高 30-50%,從而大幅降低 CDN 成本。 如果只有一半的觀眾可以查看 HEVC 內容,從而節省 35% 的編碼,用戶可以實現 17.5% 的 CDN 帶寬節省。這表示可以改善視訊品質,同時降低發佈成本。
參考資源至:AWS Elemental MediaLive Now Supports HEVC and 4K/UHD Outputs for Live Channels
AWS Elemental MediaConnect 現在支援 RIST 通訊協定
AWS Elemental MediaConnect 是可靠、安全和彈性的即時影片傳輸服務,讓廣播公司和影片擁有者能建立即時影片工作流程,並且安全地與合作夥伴和客戶共享即時內容。
此次更新之後,新增支援 Reliable Internet Stream Transport (RIST) 標準。透過 RIST 通訊協定,用戶可以在低延遲以及對封包遺失的高恢復能力之下傳輸即時影片。此外,AWS Elemental MediaConnect 允許使用任何支援 RIST 的裝置將串流帶回內部部署,提供了更多的彈性。
Amazon Elastic Inference 現在可在 Amazon ECS Task 中使用
Amazon Elastic Inference 將低成本的 GPU 支援加速功能附加到 Amazon EC2 和 Amazon SageMaker 執行個體,使用戶最多可節省 75% 執行深度學習 Inference(推論)的成本。
此次更新之後,Amazon Elastic Inference 不只支援 Amazon EC2 或 Amazon SageMaker 執行個體,另外新增 Amazon ECS Task。用戶可以配置最適合應用程式需求的 CPU 和記憶體,接著,單獨設定所需的推論加速量,而不需要變更任何程式碼,以達到有效地使用資源及降低使用成本的目的。
- 目前只有使用 Linux 容器和使用 EC2 啟動類型的工作時,支援此功能。
- Amazon Elastic Inference 支援 TensorFlow、Apache MXNet、和 ONNX 模型。
參考來源至:Amazon Elastic Inference Now Available In Amazon ECS Tasks
Elastic Load Balancing:Network Load Balancers 現在支援使用伺服器名稱指示 (SNI) 的多個 TLS 憑證
Elastic Load Balancing 可在多個目標(例如 Amazon EC2 執行個體、容器、IP 地址和 Lambda 函數)之間自動分配傳入的應用程式流量。
Elastic Load Balancing 提供三種負載平衡器:
- Application Load Balancer – 適合用來處理 HTTP 與 HTTPS 流量的負載平衡
- Network Load Balancer – 適合用來在需要極高效能的情況下處理傳輸控制協定(TCP)、使用者資料包協定(UDP)和 Transport Layer Security(TLS)流量的負載平衡
- Classic Load Balancer – 提供跨多個 Amazon EC2 執行個體的基本負載平衡功能,而且可同時在請求層與連線層運作
以往,Network Load Balancers(網路負載平衡器)只支援每個 TLS 接聽程式一個憑證,而且用戶必須使用萬用字元或多網域(SAN)憑證來裝載相同負載平衡器後面的多個安全應用程式。而現在透過 SNI 支援,用戶可將多個憑證與偵聽程式建立關聯,讓負載平衡器後方的每個安全應用程式都能使用自己的憑證。
網路負載平衡器也支援 SNI 的智慧憑證選擇演算法。如果用戶端指示的主機名稱符合多個憑證,負載平衡器會根據多個因素(包括用戶端 TLS 功能)決定要使用的最佳憑證。
Amazon EKS 藉由 SSM 參數提供了 EKS 優化的 AMI 原始數據
Amazon Elastic Kubernetes Service(Amazon EKS) 可讓用戶使用 AWS 上的 Kubernetes,輕鬆部署、管理和擴展容器化應用程式。
AWS Systems Manager 提供統一的使用者界面,方便用戶查看多項 AWS 服務的運作資料,並允許將各種 AWS 資源上的操作任務設為自動化執行。
此次更新之後,用戶不再需要為了確保使用最新版本的 EKS 優化 AMI,手動更新任何部署模板或資源;而是可以利用 AWS Systems Manager Parameter Store API,取得特定版本 Kubernetes 的最新 AMI 版本 ID。
參考來源至:Amazon EKS provides EKS-Optimized AMI metadata via SSM Parameters
AWS CloudFormation 更新針對 Amazon EC2, Amazon ECS, Amazon ElastiCache, Amazon ElasticSearch 等服務的功能優化
AWS CloudFormation 提供一種通用語言,可用來描述和佈建雲端環境中的所有基礎設施資源。
此次更新之後,用戶可以利用 AWS CloudFormation 做到以下行為:
- 在 Amazon EC2 Autoscaling 中暫停和恢復自動擴展。
- 指定用作 Amazon CloudWatch alarms 臨界值的 ANOMALY_DETECTION_BAND 函數的 ID。
- 在 Amazon DymanoDB 表中,指定服務器端 (server side) 加密。
- 指定執行個體的 CPU 選項,以及用來為 EC2 執行個體加密 Amazon EBS 的 AWS KMS Customer Master Key 的識別碼。
- 指定用來加密 ElastiCache 複寫群組中叢集磁碟的 AWS KMS 金鑰 ID。
- 在 Amazon ES 網域中指定區域感知配置選項。
- 指定 Task 的 Amazon ECS 任務群組、執行任務的啟動類型、與任務關聯的 VPC 子網路和安全群組,以及是否要使用公用 IP 位址、 Amazon CloudWatch Events Rules 的任務平台版本。
更多優化請參閱參考來源。
Amazon Athena 現在支援兩種方式將資料放入資料表:使用 SELECT 查詢的結果、提供一組自訂值
Amazon Athena 是一種互動式查詢服務,可讓用戶使用標準 SQL 輕鬆分析 Amazon S3 中的資料。
Amazon Athena 現在支援使用 INSERT INTO 陳述式將新的資料插入現有的資料表。用戶可以根據在來源資料表上執行的 SELECT 查詢陳述式,或根據做為查詢陳述式一部分提供的一組值,將新資料列插入目的地資料表。支援的數據格式包括 Avro,JSON,ORC,Parquet 和 Text 文件。
Amazon API Gateway 簡化了調用私有 API 的過程
Amazon API Gateway 是一種全託管的服務,可讓開發人員輕鬆地建立、發佈、維護、監控和保護任何規模的 API。
此次更新之後,Amazon API Gateway 允許將一個或多個 Amazon 虛擬私有雲端(Virtual Private Cloud, VPC)端點與私有 API 關聯,以簡化存取私有 API 的過程。API Gateway 將創建和管理必要的 Route53 別名記錄以調用私有 API。
私有 API 透過 VPC 端點(VPC Endpoints, VPCE)將 REST API 安全地公開給 VPC 內的資源。用戶可在 API Gateway 中定義資源的 Policy 以及 VPC Endpoints Policy,以控制 VPC 和私有 API 之間的存取。
AWS IoT Greengrass 1.9.3 支援 ARMv6 以及新的機器學習連接器
AWS IoT Greengrass 將 AWS 無縫延伸到節點裝置,以便在本機上操作其產生的資料,同時繼續將雲端用於管理、分析和持久儲存。
透過這項新平台支援,用戶可以在執行 Raspbian Buster 的 ARMv6 裝置上使用 AWS IoT 綠草核心。
此外,Greengrass 現在有兩個新的機器學習連接器可供使用:
- ML Object Detection Connector:用戶可利用由 Amazon SageMaker Neo 深度學習編譯器編譯的模型來執行物件偵測推論。
- ML Feedback Connector:可讓用戶輕鬆地將 ML 輸入資料和預測結果傳送至雲端以進行 ML 重新訓練。
用戶可以使用來自使用者 Lambdas 的 ML 意見反應連接器、ML 物件偵測連接器,或搭配更新版本的 ML 影像分類連接器使用。
參考來源至:AWS IoT Greengrass 1.9.3 With Support for ARMv6 and New Machine Learning Connectors Now Available
Tag:Access Control Lists, ACL, Amazon API Gateway, Amazon Athena, Amazon CloudWatch, Amazon DynamoDB, Amazon EC2, Amazon ECS, Amazon ECS Task, Amazon EKS, Amazon Elastic Inference, Amazon Elastic Kubernetes Service, Amazon ElastiCache, Amazon Elasticsearch, Amazon QuickSight, Amazon Rekognition, Amazon S3, Amazon SageMaker, Amazon Simple Storage Service, Amazon VPC, Amazon WorkMail, Amazon WorkSpaces, Apache Spark UI, API, Application Load Balancer, ARMv6, AWS CloudFormation, AWS Elemental MediaConnect, AWS Elemental MediaLive, AWS Elemental MediaStore, AWS Glue, AWS IoT Greengrass 1.9.3, AWS Lambda, AWS PrivateLink, AWS Service Catalog, AWS Step Functions, AWS Storage Gateway, AWS Systems Manager, AWS Systems Manager Parameter Store API, Budget Visibility, Cross-Region Replication, CRR, DAG, Data modeler, Data Visualizer, Directed Acyclic Graph, Elastic Load Balancing, File Gateway, Glue ETL jobs, HEVC, IAM, INSERT INTO, Kubernetes, Level-Aware, ML, ML Feedback Connector, ML Object Detection Connector, Network Load Balancer, NoSQL Workbench, Reliable Internet Stream Transport, RIST, S3 Glacier, S3 Glacier Deep Archive, Same-Region Replicatio, SDK, SELECT, Smart Product Solution, Spark SQL, SPICE, SRR, SSM, Transient Data Policy, Virtual Private Cloud, VPC, WorkMail Message Flow