【每周快報】0917-0928 AWS 服務更新
前言
AWS 長期以來持續為客戶推出更友善的使用介面以及更便宜的價格,希望能讓更多使用者受惠。這周 AWS 推出了 AWS Glue Studio,讓使用者可以輕鬆創建 ETL 作業,不管熟不熟悉 Apache Spark 編程的使用者,都能輕易上手。價格方面,AWS 發表了 Cost Anomaly Detection 預覽版,透過機器學習的方式,找出使用資源的模式,當系統發生異常時就能提醒使用者,避免在月底收到帳單時,看到驚人的費用。
這周我們也會向大家分享 Amazon Comprehend、AWS Lambda、AWS Fargate、Amazon Lex…等服務,除了價格上的變化,在使用上或是支援的新增,我們也都會一一介紹。
一、焦點新聞
推出 AWS Glue Studio:可幫助視覺化 AWS Glue 中 Job 的創建過程並支援進階監控
AWS Glue 是一個可幫助使用者進行擷取、轉換和載入(ETL)的服務,但對於第一次使用或是不熟悉編寫 Apache Spark 程式碼的使用者而言,容易遇到不知道從何開始的頻頸。隨著這次 Glue Studio 的推出,可幫助讓更多人可以開始使用 Glue 來進行 ETL。
AWS Glue Studio 是一個提供視覺化界面的功能,可以讓使用者利用圖形化介面來建立 ETL 的過程,使用者可逐步加入 ETL 處理資料的流程,並直接設置資料處理的方式。如下圖,一開始可先把來源資料引入到 Job 中,接著進行擷取,去除不需要的欄位並轉換資料類型。
最上方為兩個資料來源,可分別進行指定的資料擷取與轉換。
除了可以進行擷取、轉換以外,也支援自訂的轉換邏輯。在利用 Glue 進行初步的擷取與轉換之後,可另外再接自訂的腳本做最後的處理。如下圖中,Aggregate_Tickets
便是自定義的處理流程。
借助 AWS Glue Studio,許多對 Apache Spark 編程不熟悉的使用者以及習慣使用界面化 ETL 工具的使用者均可創建 Glue Job,同時為有工作經驗的人加快了流程,而無需編寫任何程式碼。除此之外,還可以使用 AWS Glue Studio 進行監控以獲取 ETL 執行的狀況詳情,並取得資源使用情況的綜觀圖。
AWS Glue Studio 旨在幫助使用者輕鬆地創建 ETL 作業。在圖形界面中設計好處理流程後,Glue Studio 可自動化生成 Apache Spark 程式碼,從而讓使用者擺脫了編程的難題。
參考來源至:Announcing AWS Glue Studio: Visual job authoring and advanced monitoring for AWS Glue
AWS 推出 Cost Anomaly Detection (Preview)
當使用者在使用 AWS 資源創建系統時,會希望保持開發團隊的創造力並加快產品上市時間,同時可以將成本保持在合理範圍之內。如果成本超出合理範圍,則管理者也希望儘早獲得通知,並了解導致成本超支的原因。如果是因為使用不當或效率不佳,或是因市場需求提高而消耗更多的資源,管理者都希望進行改善,並減少意外的費用。
而有時可能是因權限設置錯誤或是 credentials 外流,導致有心人士胡亂耗費資源。最後管理者在月底時,收到高額的帳單,但現在使用者可以利用 Cost Anomaly Detection 監控成本的花費。
Cost Anomaly Detection 透過機器學習的技術,紀錄過往個人的歷史資料,掌握資源使用的趨勢,藉此偵測當有特別增長或是持續增加的使用狀況時,會自動視為異常狀況;使用者不需要特別設立異常的標準,Cost Anomaly Detection 會持續學習並修正標準,同時還可以進一步分析造成成本增加的潛在主要原因,幫助使用者快速偵錯,了解問題的起始點。
除此之外,Cost Anomaly Detection 與 AWS Cost Explorer,因此使用者也可以選擇視覺化成本使用的狀況。另外也可以額外設置 alert(警告),當成本來到使用者設定的警戒值,觸發 SNS 遞送通知到使用者的 email 或是寄發簡訊。
參考來源至:Introducing AWS Cost Anomaly Detection (Preview)
圖片來源至:Preview: Anomaly Detection and alerting now available in AWS Cost Management
二、其他服務更新
Amazon Lex 新增支援美式西班牙語(US Spanish)
此次更新後,使用者可以透過 Amazon Lex 創建可以用美式西班牙語對話的聊天機器人。Lex 可以幫助使用者建立自動化的電子客服,也可以辨識美式西班牙語的語音,轉換為文字後,再辨識語句中的 request,回覆給使用者所需要的內容。
截至目前為止,Lex 支援的語言已有 4 種,分別是美式英語、澳大利亞英語、英式英語及美式西班牙語。
AWS Fargate 調高了 resource count 的預設限制
先前,每個使用 Fargate On-Demand / Fargate Spot 運行 ECS Tasks 或是 EKS Pods 的使用者,只能同時運行 100 個 Fargate On-Demand / 250 個 Fargate Spot;此次更新後,使用者可同時運行 500 個 Fargate On-Demand / 500 個 Fargate Spot。若是需要更高數量的使用者,仍可以透過申請,調高限制。
此外,如果先前申請的數量在 500 以上,而且已經通過了,那仍會保持提高後的限制數量,而不需重新再申請一次。
參考來源至:AWS Fargate increases default resource count service quotas
Amazon CloudWatch Agent 成為開源軟體
透過安裝 CloudWatch Agent,使用者可以收集在機器裡的數據、Log,不論是 EC2 或是使用者個人地端環境中的機器,都可以在安裝後,將機器的數據傳輸到 AWS CloudWatch Metrics,不僅可以監控機器的狀態,同時也可以進一步做更多分析,以利機器未來營運。
此次更新後,CloudWatch Agent 成為開源的軟體,使用者可以直接訪問 Amazon CloudWatch Agent Github repository 取得 source code,便可以幫助了解 CloudWatch Agent 設計與確切實作的方式。而使用 Amazon Linux 2 的使用者可以利用 yum
套件來安裝 CloudWatch Agent。除此之外,如果使用者在實作過程中,出現 error message 或是其餘問題,也可以反饋給 AWS,讓他們同樣增進目前的設計。
參考來源至:Amazon CloudWatch Agent is now Open Source and included with Amazon Linux 2
使用者現在可直接在 AWS Lambda 主控台看到 Step Functions workflows
現今有許多使用者會利用 Lambda 建構 serverless 應用程式,同時搭配 Step Function 串連多個 Lambda Finction,形成一連串的 serverless workflow 以處理數據或是 request。Step Function 可方便使用者了解應用程式進行的進度,即使出現 error,也可以知道是哪一個 Lambda Function 開始出錯,進而加速除錯的速度。
先前使用者如果想利用 Step Function 看 function 運行的狀況,需切換到 Step Function 的 console 畫面;此次更新後,使用者不必再 Lambda 和 Step Function 兩個 Console 畫面來回切換,而是可以直接在 Lambda 的 Console 畫面看到 Step Function State Machines。
參考來源至:AWS Lambda adds console support for visualizing AWS Step Functions workflows
Amazon RDS for SQL Server 新增支援 Read Replica 的備份與復原
先前使用 RDS for SQL Server 的使用者,如果原先 DB Instance 有啟用 Read Replica,需要先移除 Read Replica 才可以恢復 native backup 至 DB Instance;此次更新後,使用者不需要移除 Read Replica,也可以恢復 native backup,讓恢復的過程更加簡單、方便。
參考來源至:Amazon RDS for SQL Server Now Supports Native Backup/Restore on DB Instances with Read Replicas
Amazon Comprehend 現在支援隱蔽文件中與個人相關的資訊
使用者在生成系統文件時,有時候會不小心將個人相關的資訊(personally identifiable information, PII)也一並附在文件中,有可能是聯絡資訊,甚至是更加私密的資料,例如:信用卡帳號、密碼、Security number 等等。如果在做文件傳輸時,沒有仔細留意文件中的內容,就容易造成資料外流。
此次更新後,在傳輸文件之前,使用者可以利用 Comprehend 偵測文件中是否包含與個人相關的隱私內容。使用者只需要切換到 PII
的標籤,就可以看到 Comprehend 辨識的結果。
而 Comprehend 支援偵測的隱私性內容包含以下幾種:
偵測過後,Comprehend 也可以自動將隱私資料遮蔽,例如:電話號碼 09-1234-5678
可變成顯示 [Phone]
(資料的類別),或是顯示 ***
(隱蔽性文字)。以下為官方測試的結果:
-
原始文字:
Hello Zhang Wei. Your AnyCompany Financial Services, LLC credit card account 1111-0000-1111-0000 has a minimum payment of $24.53 that is due by July 31st. Based on your autopay settings, we will withdraw your payment on the due date from your bank account XXXXXX1111 with the routing number XXXXX0000.
Your latest statement was mailed to 100 Main Street, Anytown, WA 98121.
After your payment is received, you will receive a confirmation text message at 206-555-0100.
If you have questions about your bill, AnyCompany Customer Service is available by phone at 206-555-0199 or email at support@anycompany.com.
-
隱蔽後的文字:
將隱私性資料遮蔽成
*
:
Hello *********. Your AnyCompany Financial Services, LLC credit card account ******************* has a minimum payment of $24.53 that is due by *********. Based on your autopay settings, we will withdraw your payment on the due date from your bank account ********** with the routing number *********.
Your latest statement was mailed to **********************************.
After your payment is received, you will receive a confirmation text message at ************.
If you have questions about your bill, AnyCompany Customer Service is available by phone at ************ or email at **********************.
將隱私性資料遮蔽成其資料類型:
Hello [NAME]. Your AnyCompany Financial Services, LLC credit card account [CREDIT_DEBIT_NUMBER] has a minimum payment of $24.53 that is due by [DATE_TIME]. Based on your autopay settings, we will withdraw your payment on the due date from your bank account [BANK_ACCOUNT_NUMBER] with the routing number [BANK_ROUTING].
Your latest statement was mailed to [ADDRESS].
After your payment is received, you will receive a confirmation text message at [PHONE].
If you have questions about your bill, AnyCompany Customer Service is available by phone at [PHONE] or email at [EMAIL].
參考來源至:Amazon Comprehend now helps you mask personally identifiable information from text documents
AWS 現在可預先安排 Savings Plans 購買計劃
Savings Plans 是 AWS 於 2019 年 11 月推出的購買方案,使用者可依據實際使用到「運算效能」來購買。Savings Plans 不僅適用於 EC2,也可用於 ECS、EKS、Fargate 及 Lambda 等等不同的 Computing Resource,都可以一併計入 Savings Plans,進而彈性配置資源的購買方式。
此次更新後,使用者可預先安排 Savings Plans 的購買日期(scheduling purchases),而不用再等到 Savings Plans 到期後,手動續約 Savings Plans。不僅提升便利性,也可降低因續約而產生的空窗期。
Amazon Transcribe 支援 AMR、Ogg 及 WebM 影音格式
以往使用者如果想將 AMR、Ogg 及 WebM 影音格式的檔案交由 Transcribe 進行語音轉文字的辨識工作,需要優先將檔案轉成 WAV、FLAC、MP3 或是 MP4 等其他格式,才可以讓 Transcribe 辨識。而 AMR 格式經常用於語音郵件;Ogg 格式則是經常用於客服中心的錄音檔案;最後 WebM 則是作為視聽媒體的格式。
此次更新後,使用者可以省去事先轉檔的程序,直接交給 Transcribe 轉成文字檔。不僅可以幫助把語音郵件、通話紀錄自動轉成文檔作為未來分析資料或是紀錄備份,也可以為視聽媒體自動化加上字幕,提升觀看體驗。
參考來源至:Amazon Transcribe adds support for AMR, Ogg and WebM file formats
Tag:Amazon CloudWatch Agent, Amazon Comprehend, Amazon Lex, Amazon RDS for SQL Server, Amazon Transcribe, AMR, Apache Spark, AWS, AWS Fargate, AWS Glue, AWS Glue Studio, AWS Lambda, Cost Anomaly Detection, Job, Ogg, Read replica, resource count, Savings Plans, Step Functions workflows, US Spanish, WebM