【每周快報 】0905-0911 AWS 服務更新
去年底於 AWS re:Invent 大會針對區塊鏈項目提出的兩項服務,Amazon Managed Blockchain 和 Amazon QLDB,上半年 Amazon Managed Blockchain 已經正式推出 (延伸閱讀:New – Amazon Managed Blockchain – Create & Manage Scalable Blockchain Networks ),另外一項重要推出則是 Amazon QLDB – 是一個新的資料庫類型。該資料庫是一個完全託管的分類帳資料庫,提供由中央信任授權單位擁有的透明、不可變和以密碼編譯方式驗證的交易日誌。
-
Amazon QLDB 無需參與建置類似分類帳之應用程式的複雜開發工作,例如:透過供應鏈網路追蹤項目的移動、追蹤銀行交易中的信用和借方歷史記錄、驗證事件提交對保險索賠,或追蹤供應鏈網路中的商品流動…等。
-
使用 QLDB,用戶數據的更改歷史是不可變的,也就是不能被改變或刪除。並且支援加密驗證服務,用戶可以輕鬆地驗證應用程序的數據是否被修改。
-
QLDB 使用不可變交易記錄的日誌,追蹤每個應用程式資料變更,並維護一段時間內完整且可驗證的變更歷史記錄。
-
QLDB 提供開發人員熟悉之類似 SQL 的 API、彈性的文件資料模型,以及完整的交易支援。
-
QLDB 是無伺服器的,因此它會自動調整以支援應用程式的需求。沒有可管理的伺服器,也沒有可設定的讀取或寫入限制。
-
QLDB 是按照使用量付費。
參考來源至:Announcing General Availability of Amazon Quantum Ledger Database (QLDB)
二、服務的新功能
利用 Docker 和 Hadoop 3 搭配 EMR 6.0.0 (Beta) 來簡化 Spark 應用程式相依性管理
Amazon EMR 是一個大數據的平台,用戶可快速、高效地大規模處理大量資料,同時支援 Apache Spark、Apache Hive、Apache HBase、Apache Flink 及 Presto 等程式碼工具。
以往,PySpark 和 SparkR 使用者必須在叢集的每個主機上安裝它們的相依性。因此,操作多叢集的團隊很難跟上特定程式庫版本和管理相依性,因而限制了開發人員的生產力、增加叢集使用的準備時間,且多了叢集升級的複雜性。
此次更新之後,Spark 使用者不需要在個別叢集主機上安裝程式庫相依性,而是透過在 Docker 容器中執行 Spark 應用程式,使得應用程式得相依性範圍,變為個別 Spark 應用程式。
-
Docker 容器提供了一個自定義執行環境,其中應用程序的程式碼運行與 YARN NodeManager 和其他應用程序的執行環境隔離。
-
用戶可以使用 Docker 影像封裝自己的程式庫相依性,甚至可以在相同叢集上執行具有不同 R 和 Python 版本的容器。
要將 Docker 與 Spark 應用程式搭配使用,只需在將任務提交至 EMR 叢集時,參考 Docker images(影像)的名稱即可。在 EMR 叢集上執行的 YARN 會從 Docker Hub 或 ECR 自動擷取影像,並執行應用程式。
-
以下變數用於指定使用的 Docker runtime 和 Docker images:
YARN_CONTAINER_RUNTIME_TYPE=docker
YARN_CONTAINER_RUNTIME_DOCKER_IMAGE={DOCKER_IMAGE_NAME}
-
部署的考量:Docker registries(Docker Hub 或 ECR)需要從叢集中的每個主機進行網路存取,因為 YARN 應用程式在叢集上執行時,每個主機都會從 Docker registries 下載映像。如何選擇部署 EMR 叢集,將其啟動至公用或私有子網路,可能會因網路連線需求而限制您選擇 Docker 登錄的方式。
Docker registries 是 Docker images 的存儲和分發系統。
-
公用子網路:執行 YARN NodeManager 的節點可以直接存取透過網際網路可用的任何 registery,例如:Docker Hub,如下圖所示。
-
私有子網路:執行 YARN 節點管理器的節點無法直接存取網際網路。 Docker images 可以在 ECR 中託管並透過 AWS PrivateLink 存取,如下圖所示。
-
更多設定 Docker 相關指令,可參考 Run Spark applications with Docker using Amazon EMR 6.0.0 (Beta)
-
EMR 版本 6.0.0 (Beta) 中也支援 Amazon Linux 2 和 Amazon Corretto JDK 8。
參考來源至:Simplify your Spark application dependency management with Docker and Hadoop 3 with EMR 6.0.0 (Beta)
Amazon AppStream 2.0 針對映像產生器和叢集提供 AWS Identity and Access Management Role
Amazon AppStream 2.0 是一種全託管的應用程式串流服務,可讓使用者從任何地方立即存取他們的桌面應用程式。AppStream 2.0 管理和執行用戶應用程式所需的 AWS 資源、自動擴展,並提供使用者隨需存取。
AWS Identity and Access Management (IAM) 可讓用戶安全地管理對 AWS 服務與資源的存取。
此次更新之後,用戶無需指定存取金鑰或私密存取金鑰,便可以從 image builder(映像產生器)或 fleet streaming instance(叢集串流的執行個體)發出 AWS API 呼叫。例如:從 Amazon S3 下載安裝程式、執行 AWS Lambda 函數,或將日誌上傳到帳戶中的 S3 儲存貯體,無需在映像上存放登入資料。AppStream 2.0 可代為管理登入資料,並主動定期進行輪換。
AWS App Mesh 支援 retry policies(重試政策)
AWS App Mesh 是一種服務網格,可提供應用程式層級網路,使多種類型的運算基礎設施之間能夠相互通訊,以便發生故障或需要部署程式碼變更時,快速指出錯誤的實際位置,並且自動重新路由流量。
此次更新之後,用戶可以在大致沒有更改應用程序代碼的情況下,為應用程序添加彈性,從而防止用戶遭受暫時性問題。此外,用戶可以設定何時重試、多久以及為增強重試設定選擇預設值。可選取 HTTP 錯誤碼或 TCP 連線失敗的清單,以重試網路要求、指定重試次數上限,並設定每次重試的逾時。
Amazon QuickSight 新增 Favorites(我的最愛)、異常警示等功能
QuickSight 是全託管服務,可讓用戶輕鬆地建立和發佈包含 ML 深入分析的互動式儀表板,並可以從任何裝置存取儀表板,同時嵌入用戶的應用程式及網站,以提供商業情報。
此次更新之後,QuickSight 現在新支援 Favorites(我的最愛)、異常偵測、使用多個資料點作為篩選依據、文字雲等功能。
以下功能僅在 QuickSight Enterprise 和 Standard Edition 提供
-
Favorites(我的最愛):用戶可為圖表及分析資料,標註書籤。已標註書籤的資源可顯示在 QuickSight 首頁的 Favorites(我的最愛)部分。同時,用戶可以前往定期存取的 dashboards/analyses 尋找所需的資料,節省搜尋的時間。
-
Anomaly Detection(異常偵測):用戶可透過持續分析數十億個資料點來發現資料中隱藏的價值。當出現異常是見時,用戶會在收件匣中收到警示。同時,提出導致這些異常的因素,方便用戶針對那些需要注意的指標,立即採取行動。
-
Filtering previous N data points within the data set(以多個資料點篩選資料):例如,用戶可以套用多個篩選條件查看一週前的銷售指標,以排除這一週內的不完整資料。
-
Word Cloud(文字雲):新推出的環狀圖和量規圖,可支援文字雲的功能,以視覺化的方式表現類別欄位及其相應指標的分析數據。
參考來源至:Amazon QuickSight Announces Favorites, Anomaly Alerts and More
WorkDocs Drive 推出自訂磁碟機代號功能
Amazon WorkDocs 是全託管的安全內容建立、儲存和協作服務。用戶可輕鬆地建立、編輯和共享內容,而且因為其集中存放在 AWS,可以從任何地方的任何裝置存取內容。
此次更新之後,用戶可選擇任何自訂磁碟機代碼,還能為自己的組織部署大量的特定磁碟機代碼。不但獲得更多的靈活性,還能取得在虛擬 WorkDocs Drive 指定特定磁碟機代號所需的控制權,讓組織可以根據其標準和需要,成功地安裝和部署 WorkDocs Drive。
此外,WorkDocs Drive 現在可以在相同的機器支援多個 Window 帳戶。如此一來,每個帳戶都可擁有自己的 Drive,讓多個使用者在相同的機器上使用 WorkDrive。
Amazon EKS 現在支援能將 IAM permission 指派給 Kubernetes 服務帳戶
Amazon EKS 可在多個 AWS 可用區域為用戶執行 Kubernetes 基礎設施,以避免發生單一故障點問題。Amazon EKS 已取得 Kubernetes 一致性授權,用戶可使用 Kubernetes 現有工具,以及由合作夥伴或 Kubernetes 社群開發之額外套件。
以往,在 AWS 上執行 Kubernetes 叢集時,只能將 IAM role 與叢集中的 EC2 節點建立關聯,而且在該節點上執行的每個 Pod 都會繼承相同的 IAM role,使得要在同一節點上執行擁有不同存取控制要求的 Pod,變得相當困難。
此次更新之後,Amazon EKS 支援用戶將 IAM role 指派給 Kubernetes 叢集上執行之個別 Pod 的可使用服務帳戶,提供更精細的權限控制,優化叢集的成本和可用性。
參考來源至:Amazon EKS Adds Support to Assign IAM Permissions to Kubernetes Service Accounts
除了上述更新之外,Amazon EKS 現在支援 EBS CSI 驅動程式
現在 EBS CSI 驅動程式可以安裝到 EKS 1.14 叢集中。現有的樹狀結構內 EBS 外掛程式仍然持續支援,但利用 CSI 驅動程式,用戶可以分離 Kubernetes 上游發行週期和 CSI 驅動程式發行週期。在未來的版本中,將淘汰樹狀結構內 EBS 外掛程式,改而支援 CSI 驅動程式。
AWS Elemental MediaTailor Server-Side Ad Insertion 現在支援 Live Pre-roll(即時預先備份)
AWS Elemental MediaTailor 可讓影片提供者將定位廣告個別插入其影片串流中,而無須犧牲廣播的服務品質。
此次更新之後,用戶可以在沒有 SCTE 基礎架構的情況下,透過 HLS 視訊串流獲利。影片擁有者可以在串流開始之前插入預先製作的廣告,以個人化廣告作為其即時串流的開端,以便在每個串流開始時營利,支援低投資、高回報的營利策略。
前置廣告的持續時間可以定義為 MediaTailor 配置的一部分,或在廣告決策服務(Ad Decision Service, ADS)回應中定義持續時間。 MediaTailor 能夠覆寫資訊清單的開頭,確保觀眾不會失去即時觀看的體驗。
參考來源至:AWS Elemental MediaTailor Server-Side Ad Insertion Now Supports Live Pre-roll
三、功能的增強或改動
NXP i.MX-RT1060、i.MX-RT1050、以及 Kinetis K64 符合 Amazon FreeRTOS 的資格
Amazon FreeRTOS 是一種適用於微型控制器的開放原始碼作業系統,可讓小型、低功率的邊緣裝置易於進行程式設計、部署、保護、連接及管理。
來自 NXP 的三個新開發板符合 Amazon FreeRTOS 的資格。執行 Amazon FreeRTOS 的 NXP 開發板可讓裝置輕鬆安全地連接到 AWS IoT Core 或執行 AWS IoT Greengrass 的邊緣裝置。
-
MIMXRT1060 EVK:基於 i.MX-RT1060 Crossover Processor with Arm® Cortex®-M7 核心與可用的 Murata WiFi 模組,具有 Arduino® 接口,內置加密和解密加速器,I2C,I2S,CAN,UART,音頻編解碼器,加上觸摸屏液晶和相機選項。
-
MIMXRT1050 EVK:基於 i.MX-RT1050 Crossover Processor with Arm® Cortex®-M7 核心與可用的 Murata WiFi 模塊,具有 Arduino® 接口,內置加密和解密加速器,I2C,I2S,CAN,UART,音頻編解碼器,加上觸摸屏液晶和相機選項。
-
Freedom K64:基於 Kinetis® K64 Arm® Cortex®-M4 型微控制器,1MB Flash / 256KB SRAM 運行在高達 120 兆赫,具有板載感測器和透過乙太網路 RJ-45、UARTs、SPI、I2C、CAN 和 Arduino® 網站的連接/擴展選項。
參考來源至:NXP i.MX-RT1060, i.MX-RT1050, and Kinetis K64 are Qualified for Amazon FreeRTOS
使用 AWS Config 規則自動修正不合規的資源
AWS Config 是一項透過持續不斷地監控和記錄用戶的 AWS 資源組態,進而讓用戶能夠評量、稽核和評估 AWS 資源組態的服務。
此次更新之後,用戶可經由 AWS 主控台或 API 使用 AWS Config 規則的自動修正功能。自動修正功能提供關聯 AWS Config 規則與修正動作的能力,以及自動執行這些動作的選項,以便在無須人為介入的情況下處理不合規的資源,藉此縮短修正這些資源的時間。
參考來源至:Use AWS Config Rules to Automatically Remediate Non-compliant Resources
新的解決方案:結合 Amazon Elasticsearch Service 和 Amazon Comprehend 之文字分析的參考實作
AWS 解決方案是經過 AWS 架構師審核,協助用戶解決在使用 AWS 平台時所遇到的常見問題並更快速建置。
此次新的文字分析是一項自動化的解決方案,運用 Amazon Comprehend 自然語言處理服務,透過機器學習進行文字分析,並運用 Amazon Elasticsearch Service (Amazon ES) 來索引及分析非結構化文字。同時,也會建立預先設定的 Kibana 儀表板,將上傳文件中擷取到的實體、關鍵片語、語法和情緒視覺化。
新的解決方案可在 AWS 官方解決方案頁面找到。
參考來源至:Introducing Analyzing Text with Amazon Elasticsearch Service and Amazon Comprehend
AWS Systems Manager Automation 現在支援其他佇列
Systems Manager 可以查看和控制您的雲端和現場部署基礎設施,而 Systems Manager Automation 是其中一項功能,可讓用戶安全地自動化 AWS 資源中重複的常見 IT 操作任務。
佇列的支援,讓用戶能針對更大量的資源建立更多的自動化任務。例如:定義錯誤閾值和並行速率,用受控制的方式來部署這些任務。此次更新之後,Systems Manager Automation 現在支援的佇列達到 1,000 個執行。
參考來源至:AWS Systems Manager Automation now supports additional queuing
Amazon SageMaker Ground Truth 現在支援 Private Worker Throughput Worker Logs and Metrics(私有工作者之工作者日誌和指標的傳輸量)
Amazon SageMaker 是一項能夠快速建立、訓練及部署機器學習模型的全託管服務,其中涵蓋整個機器學習工作流程。Amazon SageMaker Ground Truth 可讓用戶快速建立擁有高度精確訓練數據的機器學習模型。
此次更新之後,Amazon SageMaker Ground Truth 讓用戶能夠測量和追蹤自己的私有工作者執行資料標記的輸送量與效率。在標記任務進行的過程中,Amazon SageMaker Ground Truth 會將所有私有工作者事件(例如:標記者何時開始和提交任務)記錄到 Amazon CloudWatch。此外,用戶也可以使用 CloudWatch 的內建指標功能,測量和追蹤工作團隊之間或個別工作者的輸送量。
參考來源至:Amazon SageMaker Ground Truth Now Supports Private Worker Throughput Worker Logs and Metrics
AWS RoboMaker 現在支援連接模擬任務
AWS RoboMaker 是一項透過連線至雲端服務,擴展最受廣泛使用的開放原始碼機器人軟體架構 Robot Operating System(ROS),以大規模開發、測試和部署智慧型機器人應用程式的服務。
此次更新之後,AWS RoboMaker 現在支援透過連接埠轉送功能,連接至用戶的機器人應用程式或模擬應用程式,以便與模擬任務中的應用程式互動。當設定連接埠轉送時,會將流量從模擬任務連接埠轉送至應用程式連接埠。例如:用戶現在可以連接到機器人或模擬應用程式中執行的 HTTP 伺服器或 ROS 橋接器,並從本地端的筆記型電腦上執行的 Web 瀏覽器進行應用程式偵錯或與其互動。
參考來源至:AWS RoboMaker now supports connectivity to a simulation job
AWS Transfer for SFTP 現在支援 Amazon S3 的邏輯目錄
AWS Transfer for SFTP 是一種全託管服務,可使用安全檔案傳輸協定(SFTP,又稱為 Secure Shell(SSH)檔案傳輸協定),直接將檔案傳入和傳出 Amazon S3。
此次更新之後,用戶現在可以建立對應到 Amazon S3 儲存貯體路徑的邏輯目錄結構。同時,用戶可輕鬆鎖定 SFTP 使用者對指定資料夾的存取權限(通常稱為 ‘chroot’),並且透過無需跨多個使用者複製檔案的過程,進而簡化 SFTP 傳送資料的複雜結構。此外,現在可以向 AWS SFTP 使用者隱藏 Amazon S3 儲存貯體名稱和路徑,提供額外等級的隱私權以符合安全要求。
將 identity provider 與 AWS SFTP 伺服器整合時,用戶可以指定邏輯路徑,並將其對應至 Amazon S3 儲存貯體中的絕對路徑。當 SFTP 使用者使用其用戶端登入時,邏輯路徑的清單會顯示在他們的主目錄中。
參考來源至:AWS Transfer for SFTP now supports logical directories for Amazon S3
AWS Storage Gateway 支援 Linux 上的 IBM Spectrum Protect(頻譜保護)和 5 個 TiB 磁帶
AWS Storage Gateway 是一種混合雲端儲存服務,為用戶提供接近無限的雲端儲存空間。Tape Gateway 是 AWS Storage Gateway 服務的功能之一,提供將現有實體磁帶式工作流程轉換到 AWS 中虛擬磁帶的服務。
Tape Gateway 現在支援在 Linux 上執行的 IBM 頻譜保護(Tivoli Storage Manager)版本 7.1.9。Tape Gateway 也會將支援的最大虛擬磁帶大小從 2.5 TiB 增加至 5 TiB,以協助用戶在單一磁帶上儲存更多資料,並簡化磁帶管理。隨著此次更新,Tape Gateway 支援大多數主要的備份應用程式。
參考來源至:AWS Storage Gateway supports IBM Spectrum Protect on Linux, and 5 TiB tapes
Amazon Pinpoint 新支援對 iOS 13 和 watchOS 6 推送通知的功能
Amazon Pinpoint 是一項透過多種管道向客戶傳送個人化、及時和相關的通訊的服務,藉此讓行銷人員和開發人員能夠了解並吸引客戶,以提供更好的互動體驗。
蘋果公司最近宣布,對於發送到 iOS 13 和 watchOS 6 設備的所有推送通知都需要 apns-push-type 這個新標題。此次更新後,當用戶使用 Apple 推送通知服務 (APN) 時,Amazon Pinpoint 會自動將這個必要的標頭新增到它傳送的所有 APN 訊息中。
如果用戶將 Amazon Pinpoint 設定以靜音訊息傳送 APN 通知,Amazon Pinpoint 會自動將 apns-push-type 標頭的值設定為背景。否則,Amazon Pinpoint 會設置要提醒的標題的值。使用 iOS 13 或 watchOS 6 的裝置會如預期般收到這些通知。使用舊版 iOS 和 watchOS 的設備會忽略新標題,並像平常一樣處理傳入的消息。
參考來源至:Amazon Pinpoint Adds Support for iOS 13 and watchOS 6 Push Notifications
除了 Amazon Pinpoint 的更新,Amazon SNS 同樣支援新的 apns-push-type 標題
Amazon Simple Notification Service (SNS) 是高度可用、耐用、安全的全受管發佈/訂閱簡訊服務,可讓您分離微型服務、分散式系統及無伺服器應用程式。
此次更新之後,用戶可以在 JSON 裝載中設定內容欄位,將 APN 通知類型指定為警示或背景。警示 APN 通知會藉由顯示警示訊息、播放聲音或在應用程式圖示上顯示徽章來通知使用者;背景 APN 通知會喚醒或通知用戶的應用程式,根據通知的內容並採取行動,而不通知使用者。
以下是配置物件的範例:
{
"APNS": "{\"aps\":{\"content-available\":1},\"Foo1\":\"\Bar\",\"Foo2\":123}"
}
參考來源至:Amazon SNS Now Supports the New apns-push-type Header Field in Apple Push Notification Service
Amazon SageMaker 現在支援使用 Amazon SageMaker-specific Condition Keys 進行更精細的存取控制
Amazon SageMaker 是一項能夠快速建立、訓練及部署機器學習模型的全託管服務,其中涵蓋整個機器學習工作流程。
在這次更新後,用戶能使用 Amazon SageMaker-specific Condition Keys 來對 Identity and Access Management (IAM) 政策做更進一步的條件設定。透過此方法,用戶就能夠強制實行最佳實務和合規要求,如:在 Amazon SageMaker 上對資料做加密、對儲存磁碟做加密或控制資源的存取等等。
同時,用戶也可以將 SageMaker 資源放入指定的 Virtual Private Cloud(VPC)並停用 notebook instance 根存取和網際網路存取。另外,在使用 SageMaker 控管花費時,用戶可以限制使用者能夠選擇的實體種類。
可將額外的 Metadata 加入至 Amazon VPC Flow Logs
Amazon Virtual Private Cloud (VPC) 服務讓用戶能夠建議私有的網路環境,可將多項 AWS 配置於該網路環境中。
Amazon VPC Flow Logs 紀錄私有網路環境中的資料傳輸流動,讓用戶在事件發生時查詢特定的紀錄。
經過此次更新後,用戶可將 AWS 所新增的 Metadata 加入至 Flow Log 監看上,如:vpc-id
、subnet-id
以及 TPC 位元遮罩等等。 例如,用戶能使用 TPC 位元遮罩來辨識有做 TPC 連線初始化的資源,或是使用封包上的 來源 IP 與 目的 IP 欄位來辨認連接至 NAT 閘道或 AWS 傳輸閘道網路介面的連線的來源資源以及預定目標。
若您想深入了解新的 Metadata 欄位,可參閱此篇文章。
另外,用戶可使用 AWS Command Line Interface 或是 AWS 管理頁面來將 VPC Flow Logs 紀錄至 Amazon Simple Storage Service (S3) 之上,而加入額外 Metadata 至紀錄中是不會有額外花費的。
Tag:Amazon Comprehend, Amazon Corretto JDK 8, Amazon EKS, Amazon Elasticsearch Service, Amazon FreeRTOS, Amazon Linux 2, Amazon Pinpoint, Amazon Quantum Ledger Database, Amazon QuickSight, Amazon S3, Amazon SageMaker Ground Truth, Amazon SageMaker-specific Condition Keys, Amazon Simple Notification Service, Amazon SNS, Amazon VPC Flow Logs, Amazon WorkDocs, Anomaly Detection, Apache Flink, Apache HBase, Apache Hive, Apache Spark, API, apns-push-type, AppStream 2.0, Arduino®, AWS App Mesh, AWS Command Line Interface, AWS Config, AWS Elemental MediaTailor Server-Side Ad Insertion, AWS Identity and Access Management Role, AWS IoT Core, AWS IoT Greengrass, AWS Lambda, AWS PrivateLink, AWS RoboMaker, AWS Storage Gateway, AWS Systems Manager Automation, AWS Transfer for SFTP, CAN, Docker, Docker Hub, Docker images, Docker registries, EBS CSI, Ec2, EMR 6.0.0, Favorites, Filtering previous N data points within the data set, fleet streaming instance, Flow Log, Hadoop 3, i.MX-RT1050, I2C, I2S, IAM permission, IAM Role, IBM Spectrum Protect, image builder, iOS 13, JSON, Kinetis K64, Kubernetes, Linux, Live Pre-roll, Metadata, NAT, notebook instance, NXP, NXP i.MX-RT1060, Presto, Private Worker Throughput Worker Logs and Metrics, QLDB, QuickSight Enterprise, retry policies, RJ-45, Robot Operating System, ROS, SCTE, Secure Shell, SFTP, SPI, SQL, SSH, Standard Edition, Tape Gateway, Tivoli Storage Manager, TPC, UART, UARTs, Virtual Private Cloud, VPC, watchOS 6, Word Cloud, YARN NodeManager