【每周快報】1112-1118 AWS 服務更新
前言
AWS 在這周推出了些新的儀表板及圖表類型,希望能讓使用者更快速的了解每項服務的運行狀態,也能夠更容易的偵錯。像是 Amazon S3 推出了 Storage Lens 功能,讓企業管理者可以透過一個儀表板看到整個組織中 S3 的 Bucket 使用狀況,既能快速識別異常狀況又能夠優化成本。另外,Amazon QuickSight 則是新增了一些圖表類型,讓業者可以清楚看出商業脈絡的分析圖。
新服務的推出外,AWS 近期也將許多服務做了些優化。我們將在本周新聞周為各位介紹 AWS Lambda、Amazon Athena、AWS Step Functions、Amazon Textract…等多項服務的更新以及應用。
焦點新聞
Amazon S3 推出 Storage Lens 功能 – 提供在 Organization 範圍內的 Object Storage 使用狀況
每個使用者剛開始使用 AWS 時,使用到的服務及存放在 AWS 上的資料可能只有一小部分,但隨著使用時間越長,使用量多多少少也會跟著增加。而 Amazon S3 是許多使用者經常用來存放大量資料的地方,甚至多數 AWS 服務也會結合 S3 bucket 來暫存資料。因此,使用者的帳戶內就會有越來越多個 S3 bucket。
假如考量到組織內部權限控管,使用者擁有兩個或兩個以上的 AWS 帳號,那麼就不僅僅是單一帳號內的 bucket 增加而已,可能是整個 AWS Organization 裡的 bucket 數量增加,而這些 bucket 也可能分佈在不同的 Region,因此在 bucket 的監控上,就成了一大挑戰。
過去,如果使用者想同時監控多個 accross-region、accross-account(跨區域與跨帳號)的 S3 bucket,需要自行統整各個 S3 bucket Metrics 的資料才能進行整個 organization-level 的分析。此次更新後,Amazon S3 推出 Storage Lens 功能,可以讓使用者自定義一個 dashboard,顯示 organization-level 底下 S3 bucket 的使用狀況。
透過收集多個 S3 bucket 的 Metrics 資料,S3 Storage Lens 不僅可以幫助使用者了解多個 bucket 的使用狀況,還提供了 篩選、分析、圖表及推薦 的選項。不過,也因為需要收集大量的 Metrics 資料,因此 創建一個 dashboard,需要花費 48 小時的時間。
創建 S3 Storage Lens dashboard 時,使用者可以選擇要納入哪些帳號內的 bucket,同時也可以特定 Region、bucket、prefix 的 bucket 來劃分範圍。
除此之外,Metrics 也有分為 Free tier 及 Advanced tier,依照不同 Region 會有不同的計費方式。另外,也可以把統整後的 Metrics 資料匯出成 .csv
或 Apache Parquet
檔案至額外的 bucket,以利後續使用者可用其他的工具做分析。
若想了解更多 S3 Storage Lens 的操作方式,可參考以下由 AWS 官方提供的實作影片:Amazon S3 Storage Lens: Demo
影片來源至:Introducing Amazon S3 Storage Lens – Organization-wide Visibility Into Object Storage
AWS 推出 VPC Network Firewall 服務
以往要管控流量進到 VPC 裡面,會透過 Security group 或是 NACL 控制,Security group 雖然是有狀態性的(Stateful),並以白名單的方式去設定哪些流量可以進出;而 NACL 是無狀態性的(Stateless),以黑名單的方式來阻擋惡意流量進出,但對於管理人員來說,面對龐大的網路威脅,還需要做深度封包檢測(DPI)、通訊協定檢測及 Domain name 過濾,這樣的配置可能無法因應需求。
AWS Network Firewall 可以透過自定義的規則,去防止 VPC 存取未經授權的流量,阻擋惡意 IP 訪問或是也可以透過 signature detection 來辨別異常活動,也能透過 CloudWatch Metric 即時知道 AWS Network Firewall 的狀態,將 Log 推送到 S3、CloudWatch 或 Kinesis Firehose,幫助管理人員去做後續的追蹤及分析。
現在開始,使用者可以透過 AWS Management Console、AWS Command Line Interface(CLI)及 AWS SDKs 來啟用 AWS Network Firewall。首先可以從 VPC Console 中左側導覽格,點擊 AWS Network Firewall,選擇 Create Firewall。
在 Create Firewall 的設置中,必須選擇把 Firewall Endpoint 放在哪個 AZ 及 Public Subnet。
接著設定 Firewall policy,使用者可以選擇 Rule Group 新增有狀態性及無狀態性的規則,進一步去管控進出 VPC 的流量。如果在這選擇有狀態性的規則,即可看到以下三個選項:
- 5-tuple
- Domain list
- 使用 Suricata 語法的 IPS rules
如此一來,使用者可以透過 Firewall policy 的規則,靈活、嚴謹地配置進出流量的設定,提供更細緻的存取控制,且還能與 AWS Firewall Manager 相輔相成,監視組織中所有帳戶的防火牆狀態,達到增強安全性目的,讓環境保有合規性。
圖片來源至:AWS Network Firewall – New Managed Firewall Service in VPC
Amazon CloudFront 在泰國推出兩個新的 Edge Location
Amazon CloudFront 利用 Edge Location 與終端使用者較近的地理優勢,低延遲的 CDN 服務。截至目前為止,AWS 已在全球部署超過 200 個 Edge Location,此次更新後,AWS 首次在 泰國曼谷 推出兩個 Edge Location,有助於降低 30% 的延遲。同時,在新的 Edge Location 也支援 AWS Global Accelerator 服務,可加速使用者資料的傳輸速度。而這兩個新的 Edge Location 則是歸類於亞洲區域,並 以亞洲區域的收費模式來計費。
參考來源至:Amazon CloudFront launches in Thailand
參考來源至:AWS Global Accelerator launches a new Edge location in Thailand
其他服務更新
Amazon Lex 新增支援更多語言
Amazon Lex 是一個語音機器人服務,提供自動語音辨識 (ASR) 與自然語言理解 (NLU) 來辨識文字的含義,讓使用者可快速設計與部署語音機器人。此次更新後,Lex 新增支援 法語、西班牙語、意大利語,讓使用者有更多的語言選擇。
參考來源至:Amazon Lex adds language support for French, Spanish, Italian and Canadian French
AWS Lambda 支援把 Log 推送到第三方平台
AWS Lambda 是一個無伺服器的服務,讓使用者運行程式碼時可不必部署或管理伺服器。
日前 AWS 推出了 Lambda Extension,可與原先 Lambda 程式碼 runtime 執行非同步處理,無論是在監控效能或是安全性上都有顯著的應用。
而原先為了幫助使用者除錯,Lambda 會將 log 推送到 CloudWatch log 中,而此次更新後,可透過 Lambda Extension 將 log 發送至 Coralogix、Datadog、Honeycomb、Lumigo、New Relic 和 Sumo Logic 等第三方軟體中。
參考來源至:AWS Lambda now makes it easier to send logs to custom destinations
圖片來源至:Using AWS Lambda extensions to send logs to custom destinations
Amazon QuickSight 推出新的圖表類型
Amazon QuickSight 是一個商業智慧服務(BI),和其他 AWS 有高度的整合性,能夠快速的將各服務中的資料進行視覺化。此次更新後,QuickSight 新增了瀑布圖,圖中會顯示數值產生正負變化的原因,最常用於表達財務方面的數據。例如:使用瀑布圖顯示當月內銷售總額與淨收入的比率,或去年與今年之間的淨收入差異,以及造成這一變化的因素。
上圖表示 2012 年累積的總營業額為 1.17M,是由 US、EMEA、APAC 三個區域的銷售額加總而來,以此類推後續幾年的數據。
第二種圖表是漏斗圖,第一層稱為 Head 比例會最大,其後是較小,稱為 Neck,因呈現漏斗狀而得名,漏斗圖常使用於可顯示商業脈絡的分析圖。
參考來源至:Amazon QuickSight launches new Chart Types, Table Improvements and more
圖片來源至:Using Waterfall Charts
Amazon Athena 推出 Federated Query
企業常會將不同型態的資料分別存放在各個地方,像是關聯式、NoSQL、圖形⋯等多種資料庫,以資料庫管理者的角度來說,操作上較為便捷,但對於數據分析人員來說,如果要將這些異質資料做合併分析,這是一件非常耗時且麻煩的事。此次更新之後,Athena 支援可以跨異質資料庫 query 資料,Federated Query 消弭不同資料庫之間查詢資料的複雜度,讓數據分析師可以透過 SQL 更快速地分析資料,將結果匯出到 S3 存放。
Amazon CloudWatch Synthetics 支援使用環境變數
CloudWatch Synthetics 現在支援使用環境變數並可以與 Canary 一起使用。
Canary 是輕量級且模組化的腳本,使用者可以用它來監視 Endpoint 與 API。在軟體開發過程中往往會有許多不同的階段,像是 prod、 dev 和 pre-release 等,而每個階段使用的 Endpoint 也會不同。以往使用者若要使用 Canary 來監測每個 Endpoint 的話,就需要對每個 Endpoint 部屬相似功能、環境變數不同的 Canary。
此次更新後使用者就可以只創建一個 Canary 腳本,利用不同環境變數快速部屬在不同開發階段的 Endpoint 之上,節省大量時間。
參考來源至:Amazon CloudWatch Synthetics now supports Environment Variables
AWS Step Functions 支援 Amazon EKS、Amazon API Gateway
AWS Step Functions 現在支援 Amazon EKS 服務,使用者可以使用少量的程式碼來協調 AWS Lambda、Amazon SNS 和 Amazon SQS 等 AWS 服務在 Kubernetes 資源上的調度,也就是說使用者可以不用編寫程式碼,直接使用 Step Functions 來管理 EKS 資源。
此更新之後,使用者甚至可以使用 Step Functions 建立自動化腳本來處理任務失敗或其他暫時性問題,從而減少需要編寫和維護的程式碼數量。
Step Functions 除了新增支援 Amazon EKS 之外,也支援了 Amazon API Gateway,使用者可以在 Step Functions workflow 中加入與 API Gateway 相關的部署動作,讓部署 application 的流程更快、更加容易串接。
參考來源至:AWS Step Functions now supports Amazon EKS service integration
參考來源至:AWS Step Functions now supports Amazon API Gateway service integration
Amazon Textract 現在可以辨識手寫文字與另外五種語言
Amazon Textract 是一項利用機器學習模型,進行文字提取的 AI 服務,可快速地從文件中找出文字,幫助使用者完成掃描文檔的工作。此次更新後,Textract 新增了 辨識手寫文字 的功能,同時新增支援 西班牙文、德文、意大利文、葡萄牙文和法文。
以往 Textract 在進行文字提取時,能正確地辨識出以電腦輸入的文字,對於辨識人類手寫的文字,相對準確度也就降低許多。這次 AWS 優化了 Textract 對於手寫文字的敏感度,像是醫療病歷、處方籤、請願信、支票、學術論文…等以手寫內文居多的文檔,就可以利用 Textract 快速的掃描、建檔,或是作為備份。
此外,AWS 也錄製了一段實作影片,展示這次 Textract 對於手寫文字的辨識結果。若想了解更多,可觀看以下影片:Amazon Textract Handwriting Recognition (New)。
參考來源至:Amazon Textract supports handwriting and five new languages
AWS Shield Advanced 推出 protection groups
AWS Shield 是一種幫助企業防止 DDoS 攻擊的服務,分成標準(Standard)及進階( Advanced)方案。此次更新後,使用者可以透過 Protected resources 下的 Protection groups,將要預防防護的資源群組化,讓使用者能更專注於定義該群組的檢查方式及範圍,同時提高檢測的準確性,並降低誤報的機率。除了在管理上更為方便以外,也能加快緩解資源遭受攻擊的時間。
現在可利用 AWS KMS 加密 Amazon SageMaker Studio storage volume
Amazon SageMaker Studio 是 AWS 於去年 re:invent 推出適用於機器學習的整合式開發環境 (IDE),讓使用者可以輕鬆建立、訓練、偵錯、部署、監控機器學習模型,並專注於開發機器學習模型,而非環境的設置與開發工具的轉換。我們常會將 Notebook 檔案、腳本或其他物件存放在 EFS 或是 EBS 裡,從現在開始,可以透過 AWS KMS 選取其 CMK 做加密處理,增強資料的安全性。
參考來源至:AWS KMS – based Encryption is Now Available in Amazon SageMaker Studio
AWS CloudFormation Change Sets 支援 Nested Stacks
當業務規模日漸擴大,基礎設施也要跟著成長,企業為了可以快速部署資源,降低人工的繁瑣,會使用 Cloudformation 來作為部署資源的工具,但是我們可能常會遇到一種狀況,就是在好幾個 Template 裡面,會宣告許多相同的物件,然後當需要新增 Template 時,這些相同的物件可能又被寫進去,變成是一直在執行重複性的動作,在這就會推薦使用 Nested(巢狀)Stacks,將這些常用的物件拆分出來成一個 Template,再根據不同情境,搭配不同的 Template。
此次更新後,CloudFormation Change Sets 也開始支援 Nested Stacks。當使用者利用 Change Sets 變更 Nested Stacks 當前的架構時,使用者不需要再一個個建立不同 Stacks 的 Change Sets,而是在 Root Stack 創建好 Change Sets 之後,由 Root Stack 自動生成其餘 Stack 的 Change Sets。除此之外,使用者可以利用 Change Sets 預覽資源的變更狀態,檢視資源的配置是否正確再執行變更,如此一來,可以更放心更新 Stack。
參考來源至:AWS CloudFormation change sets now support nested stacks
圖片來源至:AWS CloudFormation Documentation – Working with nested stacks
Tag:Amazon API Gateway, Amazon Athena, Amazon CloudFront, Amazon CloudWatch Synthetics, Amazon EKS, Amazon Lex, Amazon QuickSight, Amazon S3, Amazon SageMaker Studio storage volume, Amazon Textract, AWS, AWS CloudFormation Change Sets, AWS KMS, AWS Lambda, AWS Shield advanced, AWS Step Functions, Dashboard, Edge location, Federated Query, log, Nested Stacks, Object Storage, Organization, protection groups, Storage Lens, VPC Network Firewall