【每周快報 】0808-0814 AWS 服務更新
一、新服務
AWS Lake Formation 現在已正式推出
AWS Lake Formation 是一個在做 Data Lake 的服務。
Data Lake 指集中、專用且安全的儲存空間,可用原始格式和可進行分析的格式儲存用戶的所有資料。透過 Data Lake 可幫助用戶解決因資料類型不同而彼此孤立的問題,經由合併不同類型的資料後進行分析,協助用戶制定更有效的解決方案。
先前,Data Lake 的設定及管理,涉及大量手動、複雜且耗時的工作。包括從不同來源載入資料、監控資料流程、設定分割區、啟用加密與管理金鑰、定義轉換工作和監控操作情形…等等。
然而,使用 AWS Lake Formation 建立 Data Lake 十分簡單,用戶只需定義資料所在位置和想套用的資料存取權與安全政策。AWS Lake Formation 就會從資料庫和物件儲存系統收集資料並編列目錄、將資料移動到新的 Amazon S3 Data Lake,運用機器學習演算法清理和分類資料,同時保護敏感性資料的存取。
使用者可自行選擇使用資料分析或機器學習的服務來運用這些資料集,例如:Amazon EMR for Apache Spark、Amazon Redshift Spectrum 及 Amazon Athena。
Amazon Redshift 支援 AWS Lake Formation 的欄層級存取控制
Amazon Redshift 是一個全託管的資料倉儲服務,可讓用戶使用標準 SQL 語法及現有的商業工具進行查詢及大規模查詢的方式分析所有資料,同時支援對數 PB 的結構化資料進行分析。
對於存放在 Amazon S3 並由 AWS Lake Formation 管理的資料,可以透過 Amazon Redshift Spectrum 進行欄位存取控制。欄位層級的存取控制可用來限制特定用戶僅允許存取資料表的特定欄位。利用 Amazon Redshift 與 AWS Lake Formation 的整合,可以使受管 Data Lake 實作更精細的存取控制,同時仍可使用 Amazon Redshift Spectrum 查詢 Data Lake。
參考資源至 : Amazon Redshift now supports column level access control with AWS Lake Formation
Amazon Athena 支援 AWS Lake Formation,提供對資料庫、表格和資料欄的更精細存取控制權
Amazon Athena 是互動式查詢服務,可讓用戶使用標準 SQL 語法在 Amazon S3 中直接分析資料。
Amazon Athena 支援強制執行 AWS Lake Formation 政策,使用更精細的方式,對 AWS Glue 資料型錄中針對存放在 Amazon S3 的資料所定義的資料庫、表格和資料欄進行存取控制。
Amazon EMR 與 AWS Lake Formation 的整合現在提供 Beta 版,支援 Apache Spark 的資料庫、表格以及欄層級存取控制
Amazon EMR 使用 Apache Spark、Apache Hive、Apache HBase、Apache Flink 等開放原始碼工具,再加上 Amazon EC2 的動態可擴展性和 Amazon S3 的可擴展儲存,可擁有執行 PB 級分析。
Amazon EMR 支援為 Apache Spark 強制套用以 AWS Lake Formation 為基礎的精細存取控制政策。用戶可以為 Amazon S3 中存放的資料強制套用資料庫、表格和欄層級政策。
二、服務的新功能
Amazon EC2 Spot 執行個體新增全新的容量優化(Capacity-Optimized)分配策略
透過 Amazon EC2 Spot 執行個體,用戶可享受最高 90% 的折扣來使用 AWS 雲端中未使用的 EC2 容量。
當用戶將 Auto Scaling 群組、EC2 叢集或 Spot 叢集設定成使用多種 Spot 執行個體類型時,必須選擇 Spot 分配策略。此次更新之後,若是選擇容量優化(Capacity-Optimized)策略,將會自動查看即時容量資料並預測可用性最高的集區,並將 Spot 執行個體自動啟動到該集區。
此方式適合以下工作負載:大數據分析、影像和媒體轉譯、機器學習,以及中斷成本較高的高效能運算等。容量優化策略可減少中斷發生的可能性,進而降低工作負載的整體成本。
-
以下程式碼為使用容量優化策略分配的範本(JSON格式):
{ "AutoScalingGroupName": "runningAmazonEC2WorkloadsAtScale", "MixedInstancesPolicy": { "LaunchTemplate": { "LaunchTemplateSpecification": { "LaunchTemplateName": "my-launch-template", "Version": "$Latest" }, "Overrides": [ { "InstanceType": "c3.large" }, { "InstanceType": "c4.large" }, { "InstanceType": "c5.large" } ] }, "InstancesDistribution": { "OnDemandPercentageAboveBaseCapacity": 0, "SpotAllocationStrategy": "capacity-optimized" } }, "MinSize": 10, "MaxSize": 100, "DesiredCapacity": 60, "HealthCheckType": "EC2", "VPCZoneIdentifier": "subnet-a1234567890123456,subnet-b1234567890123456,subnet-c1234567890123456" }
相較以往的最低價格(lowest-price)策略,單純考量價格的高低,而不考慮 Spot 執行個體的可用數量,可能導致隨時工作中斷的結果,雖然成本價格變動低,但產能卻不穩定。用戶可自行評量後,選擇較適合的分配策略。
參考資源至 : New Capacity-Optimized Allocation Strategy for Provisioning Amazon EC2 Spot Instances
參考資源至:Introducing the capacity-optimized allocation strategy for Amazon EC2 Spot Instances
Amazon Aurora Multi-Master 現在已正式上市
Amazon Aurora 是專為雲端建立的 MySQL 和 PostgreSQL 相容關聯式資料庫,結合了傳統企業資料庫的效能和可用性,以及開放原始碼資料庫的簡單與經濟實惠優勢。
此功能推出之後,用戶可在多個可用區域之間建立多個 Aurora 資料庫讀寫執行個體,使高度仰賴正常執行時間的應用程式在執行個體故障期間,仍能繼續執行寫入功能。
此外,如果執行個體或可用區域發生故障,可透過 Aurora Multi-Master 來維持運作,就不需要資料庫容錯移轉來恢復寫入操作。
-
如下圖,整體儲存空間由位於三個可用區中的六個存儲節點組成,而每個數據庫節點都是可以運行讀寫語句的編寫器節點,透過寫入的最終一致性來達成高可用性及持久性。
-
當 writer node 收到確認寫入的指令時,會提交到存儲層做更改,觸發每個存儲節點將新的訊息寫入緩存區;若是 writer node 並未收到確認的指令,則會取消寫入的命令
- 當其中一個 writer node 發生故障時,應用程式只需改變連結點到正常的 writer node,系統即可維持營運。
參考來源至:Amazon Aurora Multi-Master is Now Generally Available
圖片參考至:Build highly available MySQL applications using Amazon Aurora Multi-Master
AWS Step Functions 新增巢狀的工作流程
AWS Step Functions 可以協調多個 AWS 服務成為無伺服器的工作流程,並透過視覺化的工作流程,以利用戶快速、簡單的建立及更新應用程式。
隨著組織更廣泛地使用工作流程,用戶的工作流程建立、測試和變更變得更加複雜。透過建立巢狀 Step Functions 工作流程,用戶可建立模組化、可重複使用的建置區塊,來簡化重複出現的程序,加快開發的速度。
此外,用戶也可以將高階工作流程步驟與低階工作流程步驟分開,以便在幾秒鐘內更輕鬆地監控和發現錯誤來源,達到使用較小、較簡單的工作流程建立更大型、更複雜工作流程的目標。
Amazon SNS 訊息篩選新增 Attribute Key 比對功能
Amazon Simple Notification Service (SNS) 是發佈/訂閱簡訊服務。用戶可以使用 Amazon SNS 主題來分離訊息發佈者和訂閱者,同時將訊息分發到多個端點。
Attribute Key比對功能可讓用戶建立 Amazon SNS 訂閱篩選Policy,該Policy會比對包含Attribute Key內送的訊息。此功能可讓用戶將額外的訊息篩選邏輯交給 Amazon SNS 處理。
Amazon SNS 訊息篩選提供多種比對運算子:
屬性字串值比對 (白名單、黑名單、前綴比對)
例如:"customer_interests": ["rugby", "tennis"]
符合:"customer_interests": {"Type": "String", "Value": "rugby"}
不符合:"customer_interests": {"Type": "String", "Value": "baseball"}
屬性數字值比對 (白名單、黑名單、範圍比對)
例如:"price": [{"anything-but": [100, 500]}]
符合:"price": {"Type": "Number", "Value": 101}
不符合:"price": {"Type": "Number", "Value": 100}
屬性鍵比對
例如:"store": [{"exists": true}]
符合:"store": "fans" / "customer_interests": ["baseball", "basketball"]
不符合:"customer_interests": ["baseball", "basketball"]
參考資源至 : Amazon SNS Message Filtering Adds Support for Attribute Key Matching
AWS Glue 提供 FindMatches ML 轉換
AWS Glue 是用於擷取、轉換和載入 (ETL) 服務,讓用戶輕鬆準備資料及載入資料用於分析。將 AWS Glue 指向 AWS 的資料,AWS Glue 就會探索用戶的資料,並將相關的中繼資料存放在 AWS Glue 資料型錄中,而資料立即可供 ETL 搜尋、查詢和使用。
AWS Glue 透過新的 FindMatches ML 轉換來尋找資料集中的相符記錄 (包括沒有識別符的記錄),這是一種自訂的機器學習轉換,能幫助用戶識別相符的記錄。也可以利用 FindMatches 轉換刪除重複的資料,例如找出已多次註冊的客戶、在產品型錄意外多次新增的產品等等。
AWS Elemental MediaConvert 新增多重 DRM CMAF 輸出並擴展音軌的支援
AWS Elemental MediaConvert 是一款檔案型影片處理服務,可輕鬆穩定地將隨需內容加以轉碼,以供轉播或多螢幕播放,適用於影片供應商任何大小的內容資料庫。數分鐘內即可建立起高品質影片輸出的生成工作流程。
AWS Elemental MediaConvert 支援以一般媒體應用程式格式 (CMAF) 建立受多重數位版權管理 (multi-DRM) 保護的內容,並已擴展支援的音軌數目,多達 64 個音軌。用戶可用高音軌數擷取中間層的內容,並將音訊轉發到不同的輸出。
參考資源至 : AWS Elemental MediaConvert Adds Multi-DRM CMAF Output and Expands Audio Track Support
Amazon WorkDocs 移轉服務
Amazon WorkDocs 可讓用戶輕鬆地與他人協作,並讓用戶輕鬆地分享內容、提供內容豐富的回饋,以及以協作方式編輯文件。使用 Amazon WorkDocs 透過將檔案共享移至雲端,可淘汰傳統的檔案共享基礎設施。
Amazon WorkDocs 提供移轉服務可協助用戶移轉使用者檔案和部門檔案共享到 Amazon WorkDocs 。移轉服務可以讓用戶從 Amazon S3 移轉大量的資料,從數十個 GB 到多個 TB。
使用 Amazon WorkDocs 移轉服務應用程式,用戶可以設定移轉任務,並選擇要移轉資料的目標 WorkDocs 帳戶和站點。用戶可以安排在特定時間內執行移轉任務以進行一次性的資料傳輸操作,或者定期執行移轉以大幅降低使用者的停機時間。
三、功能的增強或改動
Amplify Framework 新增 GraphQL 的 API、儲存、函數和部署的本機模擬和測試
Amplify Framework 是建立具有雲端功能的 mobile 和 Web 應用程式的開放原始碼專案。
此次更新之後,Amplify CLI toolchain (Amplify Framework 的一部分) 新增包括 API、儲存、函數和部署等類別的本機模擬和測試功能。用戶可以在地端環境使用 Amazon DynamoDB 和 AWS Lambda 函數等資料來源,全面進行 AWS AppSync GraphQL API 的開發和測試。
參考資源至 : Amplify Framework adds local mocking and testing for GraphQL APIs, Storage, Functions, and Hosting
Amazon Rekognition 現在能在影像和影片中偵測出暴力、武器和自我傷害等元素,並提高裸體偵測的準確性
Amazon Rekognition 是深度學習型影像和影片分析服務,可識別各種物件、人物、文字、場景,並藉由偵測不安全的內容來支援內容評斷。
此次更新後,用戶可偵測與「暴力」和「令人反感」等主題相關的內容,例如血腥、受傷、武器、自我傷害、屍體等等,進而提高對於影像內容評斷的品質。同時,Amazon Rekognition 更將誤報率和誤判率分別減少 68% 和 36% (平均值),改善識別「清楚裸露」和「性暗示」內容的能力。
除此之外,Amazon Rekognition 還支援偵測新的成人內容類別,例如:不安全的動漫或插圖內容、成人玩具和輕薄透明的衣服。
從 AWS Rekognition 回覆的信心指數,可知道圖片內容包含的類別,且符合的程度,圖片審核的用戶可透過這項資訊,來選擇是否符合顯示的標準。
除了上述更新外,Amazon Rekognition 也改善臉部分析功能
往後,Amazon Rekognition 改善了性別識別的準確性。同時,也改進了情緒偵測的準確性 (針對 7 種情緒:「高興」、「難過」、「生氣」、「驚訝」、「厭煩」、「平靜」和「困惑」),另外增加新的情緒:「恐懼」。最後,改善了年齡範圍預估準確性;用戶在大多數年齡分組中都可取得較小的年齡範圍。
AWS Lex 現在支援新的 API
Amazon Lex 是一種用於使用語音和文字在任何應用程式建立交談界面的服務。利用自動語音辨識 (ASR) 的進階深度學習功能,可將語音轉換為文字,也提供自然語言理解 (NLU) 來辨識文字的含義,使建立的應用程式能具備高度參與的使用者體驗和逼真的交談互動功能。
此次更新之後,用戶不再是只能在伺服器端使用 Lambda 函數管理動態對話,還能透過 PutSession 和 GetSession API 來控制對話流程,可執行的操作包括切換至其他主題,或是從對話中先前的時間點繼續等等。
Amazon EC2 Fleet 現在可修改 On-Demand 類型的目標容量
AWS EC2 Fleet 是一項簡化佈建 Amazon EC2 容量的叢集,透過單一 API 呼叫,用戶可以在不同 Amazon EC2 執行個體類型(type)、可用區域、隨需(On-Demand)、Amazon EC2 Reserved 執行個體 (RI) 及 Amazon EC2 Spot 購買方式中,部署容量的需求,達到所需的規模、效能及成本。
先前,用戶若是要擴展 On-Demand 容量,就必須建立新的 EC2 叢集。此次更新後,用戶可以在執行中的叢集修改 On-Demand 目標容量,簡化執行個體與購買選項的容量佈建和成本優化。
參考來源至:Amazon EC2 Fleet Now Lets You Modify On-Demand Target Capacity
除了上述更新,Amazon EC2 Fleet 現在可設定執行個體叢集的最高價
此次更新之後,設定 EC2 叢集的最高價後,EC2 叢集將會在不超過最高叢集價格的前提下,佈建執行個體。若是超過價格,將會停止部署。
參考來源至:Amazon EC2 Fleet Now Lets You Set A Maximum Price For A Fleet Of Instances
Amazon Managed Blockchain 現在支援 AWS CloudFormation
AWS Managed Blockchain 是一項全託管服務,可在多個 AWS 帳戶之間輕鬆建立和管理可擴展的區塊鏈網路。
AWS CloudFormation 可讓用戶使用安全、可預測且一致的方式,以程式碼建立雲端資源的模型並進行佈建。
此次更新之後,Amazon Managed Blockchain 便可利用 AWS CloudFormation 來建立新區塊鏈網路和定義網路組態、建立成員和加入現有網路,以及描述成員與網路詳細資訊 (例如:投票政策)。用戶也可以為網路中的成員建立對等節點。
參考來源至:Amazon Managed Blockchain now supports AWS CloudFormation
AWS Storage Gateway 支援標籤和以標籤為基準的權限配置
AWS Storage Gateway 是一種混合雲端儲存服務,為用戶提供接近無限的雲端儲存空間。用戶可以利用 Storage Gateway 簡化儲存管理並降低混合雲端儲存使用案例的主要成本。
此次更新之後,用戶可在創建 AWS Storage Gateway 時建立標籤,同時 利用標籤來管理存取的權限。針對 File Shares, Volumes, Volume napshots, Tapes 等不同類型,皆有支援標籤的服務。
參考來源至:AWS Storage Gateway now supports tag-on-create and tag-based access control
Amazon Kinesis Data Analytics 現在支援 Unicode 標準(UTF-8)
Amazon Kinesis Data Analytics 是分析串流資料、取得具有可行性建議,以及即時回應業務和客戶需求最簡單的方法。
Amazon Kinesis Data Analytics 可簡化建構、管理及整合串流應用程式與其他 AWS 服務的複雜程序。SQL 使用者可透過範本和互動式 SQL 編輯器輕鬆查詢串流資料或建立整個串流應用程式。
此次更新之後,用戶能夠使用 Unicode 標準的語言及字符來建立即時的應用程式。
參考來源至:Amazon Kinesis Data Analytics Announces Full Unicode Support
AWS Elemental MediaConvert 簡化了設定的編輯和共享
AWS Elemental MediaConvert 是以檔案為基礎的影片轉碼服務,內含廣播級功能。能讓用戶輕鬆地建立隨選視訊 (VOD) 內容,以在廣播和多螢幕進行大規模交付。
用戶現在可以為任務設定、輸出預設集以及任務範本,匯入和匯出 JSON 檔案,這讓編輯和共享任務、預設集和範本變得更加簡單。用戶可以從現有預設集和範本建立新的預設集和範本,並進行實驗和版本更新,以便找到觀眾覺得最佳的視訊設定。最後,MediaConvert 工具提示也變得更加精簡,以協助用戶快速了解主控台中各項設定的功能。
參考資源至 : AWS Elemental MediaConvert Simplifies Editing and Sharing of Settings
Amazon Aurora with PostgreSQL Compatibility 支援將 PostgreSQL 記錄檔發佈到 Amazon CloudWatch Logs
CloudWatch Logs 能為用戶的資料庫記錄檔提供長期封存目的地。用戶還可以使用 CloudWatch Logs 隨機搜尋多個記錄檔。要疑難排解、稽核及執行記錄分析。
Amazon Aurora 結合了高階商用資料庫的效能和可用性,以及開放原始碼資料庫的簡易性和成本效益。它提供優於典型 PostgreSQL 資料庫高達三倍的輸送量,以及更高的可擴展性、耐用性和安全性。
Amazon Aurora with PostgreSQL Compatibility 資料庫的 Logs 發佈到 Amazon RDS 中的 Amazon CloudWatch Logs。這些記錄發佈到 CloudWatch Logs,讓用戶持續查看 Aurora PostgreSQL 資料庫的 Aurora PostgreSQL 系統記錄。
Tag:Amazon Athena, Amazon Aurora Multi-Master, Amazon CloudWatch Logs, Amazon DynamoDB, Amazon EC2 Fleet, Amazon EC2 Spot, Amazon EMR, Amazon Kinesis Data Analytics, Amazon Managed Blockchain, Amazon RDS, Amazon Redshift Spectrum, Amazon Rekognition, Amazon S3, Amazon Simple Notification Service, Amazon SNS, Amazon WorkDocs, Amplify CLI toolchain, Amplify Framework, Apache Spark, API, Attribute Key, Auto Scaling, AWS CloudFormation, AWS Elemental MediaConvert, AWS Glue, AWS Lake Formation, AWS Lex, AWS Step Functions, AWS Storage Gateway, Capacity-Optimized, CMAF, Data Lake, DRM CMAF, ETL, File Shares, FindMatches ML, GetSession API, GraphQL, Lambda, multi-DRM, MySQL, PostgreSQL, PutSession, Tapes, Unicode, UTF-8, Volume napshots, Volumes