【每周快報】1002-1012 AWS 服務更新
前言
九月初這段期間,AWS 在各個領域的服務都推出了重要的更新,包含了無伺服器服務、機器學習、容器服務…等。在無伺服器領域中,AWS 推出了 AWS Lambda Extensions,這項新服務讓使用者可以將其他程式集成到 Lanmbda 內,不僅操作起來更方便,也不會影響到原本 Lambda 的效能。機器學習方面,除了每周固定會將一些服務改善外,這周 AWS 還將 Amazon SageMaker 降價,ml.P3 和 ml.P2 Instances 的降價幅度更是高達了 18%!
這周我們還會帶大家了解 Amazon EKS、Amazon S3、AWS Cost Categories、AWS Config、Amazon Honeycode…等二十多項 AWS 服務在這兩周的更新,同時也會與大家分享一些服務在價格上的調整。
焦點新聞
推出 AWS Lambda Extensions (preview)
使用 Lambda 這類 Serverless 服務時,使用者不需要擔心管理 Server,只要負責編寫需要執行的程式碼,AWS 會提供用於運行這些程式碼的伺服器,並在必要時對伺服器進行擴展或縮放,執行完畢後,使用者僅需要為運行程式碼過程中所消耗的資源付費,是近年來的趨勢。
但是使用者在操作 Lambda 時,會遇到一個痛點,就是它沒有辦法像 EC2 一樣,在裡面安裝監控或代理程式,當發生問題時,僅能透過 CloudWatch Logs 查看發生什麼錯誤去做修正,但是查看大量的 Logs,會導致成本增加。
AWS 宣佈推出 AWS Lambda Extensions (preview),即可解決這個痛點,它其實就是一個腳本,跟 Lambda Function 一起執行,但是 Lambda Extensions 並不會增加 Lambda Function 的執行時間,以利於打造更安全、強壯的服務。
參考來源至:AWS Lambda Extensions: a new way to integrate Lambda with operational tools (in preview)
Amazon EKS 新增設定 EKS IP 範圍
以往 EKS 會根據 Cluster 使用的 VPC CIDR 自動選擇一段網段作為網路位址,儘管這在大多數情況下都不會有什麼特殊的影響,但某些使用 VPC 並有使用 VPN 或 Peering 的使用者發現,EKS 自動選擇的 IP 位址範圍有可能與其他 IP 範圍衝突,這會導致很嚴重的問題。
此次更新後,Amazon Elastic Kubernetes(EKS)新增支援可設定 Kubernetes service IP 位址範圍。這讓具有在對等或直接連接的網絡環境中運行的 Cluster 的使用者能夠確保其 Pod 可以與外部網路的應用程式進行溝通。
參考來源至:Amazon EKS now supports configurable Kubernetes service IP address range
AWS 和 Grafana Labs 宣布啟動 X-Ray 插件
X-Ray 是一個幫助開發人員分析和追蹤分散式應用程式的服務,例如:使用微服務架構所構建的應用程式中,每個服務之間的溝通與狀況;而 Grafana 是一個開源的視覺化分析軟體。
AWS 和 Grafana Labs 合作發布了 X-Ray plugin,使用者可以使用最新版本的 Grafana(版本7.2.0或更高版本)在 Grafana 儀表板中可視化 X-Ray 的追蹤結果,以便對性能問題進行分類與追蹤。
參考來源至:AWS and Grafana Labs launch AWS X-Ray data source plugin
Amazon SageMaker Studio 現在可啟用在私有 VPC 內
Amazon SageMaker Studio 是個適用於機器學習的 Integrated Development Environment (IDE),SageMaker Studio 可快速啟用 SageMaker Studio Notebooks,藉此擷取數據集和構建模型。
預設 SageMaker Studio 可直接訪問 Internet,以方便下載訓練過程中所需的套件、Library、Dataset 等等,但同時容易發生意外,像是下載到惡意軟體、程式碼,造成他人未經授權就能訪問個人的 Notebook Instance,讓機器暴露在風險中。此次更新後,使用者可選擇將 SageMaker Studio 啟用在私人的 VPC 環境中,對 Studio Notebooks Instances 網路存取進行更細緻的設定。例如:將 SageMaker Studio Notebooks 放在 private subnet;藉由 VPC Endpoints 與其他 AWS Service 溝通。
參考來源至:Now launch Amazon SageMaker Studio in your Amazon Virtual Private Cloud (VPC)
Amazon SageMaker 降價:ml.P3 和 ml.P2 Instances 的降價幅度高達 18%
AWS 近日宣布對 Amazon SageMaker 中的所有 ml.p3 和 ml.p2 Instance 進行降價,且降價幅度高達 18%。新的降價將於 2020 年 10 月 1 日生效,並適用於 SageMaker Studio Notebooks、On-Demand Notebooks、Processing、Training、Real-Time Inference 及 Batch Transform。詳細降價資訊如下表:
Instance Type | Price Reduction |
---|---|
ml.p2.xlarge | 11% |
ml.p2.8xlarge | 14% |
ml.p2.16xlarge | 18% |
ml.p3.2xlarge | 11% |
ml.p3.8xlarge | 14% |
ml.p3.16xlarge | 18% |
m.p3dn.24xlarge | 18% |
參考來源至:Amazon SageMaker Price Reductions – Up to 18% for ml.P3 and ml.P2 instances
Amazon S3 新增 Object Ownership 功能 – Bucket 擁有者可自動取得上傳到其 Bucket 中 Object 的所有權
當使用者將 S3 作為 Data Lake 時,團隊成員共同編輯將檔案存在一個 Bucket,在預設的狀況下,S3 的物件都會是上傳的使用者擁有所有權,也就是說 Bucket 擁有者不會有全部物件的所有權。
此次更新後,透過 Object Ownership 此功能,可以讓多個 AWS 帳戶,將物件上傳到同一個儲存桶中,Bucket 擁有者可自動取得上傳 bucket 中的 Object 所有權,以利管理 S3 Bucket 權限。
現在開始,可以從 Bucket 中的 Permission 下,看到 Object Ownership,設定物件所有權是否為上傳者或 Bucket 擁有者。
Fluent Bit 新增支援將 Container log 匯至 S3
Fluent Bit 是一個常見的開源 log 收集、彙整的軟體,使用者常拿來收集 ECS、EKS 容器中的 log 紀錄,並傳送至 AWS CloudWatch、Kinesis 或者第三方的軟體 Datadog、Splunk 等。
此次更新後,允許使用者將 log 紀錄傳送至 S3 中存放,使用者一樣可以在 Task definition 中使用 FireLens interface 來設定 Fluent Bit 將 log 傳送的目的地。
參考來源至:Fluent Bit supports Amazon S3 as a destination to route container logs
其他服務更新
Amazon ElastiCache Redis 6 支援 RBAC
Amazon ElastiCache for Redis 6 更新後,使用者可以透過創建和管理 User 和 User Group,讓這些 User 和 User Group 可以使用 Role-based access control (RBAC) 進行控管,以利於多個使用相同的 Redis Cluster 的應用程式,無法存取彼此的數據,簡化管理,同時達到安全性目的。
此外,也強化了部分功能,在 Amazon ElastiCache 在低記憶體狀態下,降低延遲也減少快照需要的時間,包括改善過期演算法,更快回收過期的金鑰。也強化 Client Cache,提高應用程序性能。
參考來源至:Amazon ElastiCache for Redis adds support for Redis 6 with managed Role-Based Access Control (RBAC) 參考來源至:New – Redis 6 Compatibility for Amazon ElastiCache
Amazon Kinesis Data Analytics 新增支援強制停止
Amazon Kinesis Data Analytics 是支援 Apache Flink 的串流服務,Apache Flink 是用於處理串流數據的開源框架和引擎。
應用程式有時可能會無回應或者停滯不動,容易出現在創建、更新或停止這幾個動作發生時,通常是因為設定錯誤導致,現在使用者可以選擇在控制台上強制停止,或者在 StopApplication API 中設定強制停止的條件。
參考來源至:Amazon Kinesis Data Analytics now supports Force Stop and a new Autoscaling status
AWS Cost Categories 新增支援多層次結構的帳號花費
AWS Cost Categories 是 AWS Cost Management 服務中的一項功能,可讓使用者將 AWS 服務花費透過更細緻的方式呈現,例如:創建自定義類別,並根據各種維度(帳號、標籤、服務種類或者費用類型)來定義的規則,設定完成後便可以在 AWS Cost Explorer、AWS Budgets 和 AWS Cost and Usage Report(CUR)中透過上述自定義的分類方式查看花費。
以往,使用者只能夠使用四個維度(帳戶,標籤,服務和費用類型)進行分類,此次更新後,使用者可以選擇「成本類別」作為分類,以在成本類別之間創建層次關係。例如:使用者定義了一個名為「Team」的成本類別,其底下的可以創建多個 value 分別為 「Team-1」、「Team-2」和「Team-3」,如此一來使用者便可以更輕鬆的檢視這些分類後的成本花費。
參考來源至:AWS Cost Categories now supports hierarchies and status tracking
Amazon Keyspaces 新增支援 NoSQL Workbench
Amazon Keyspaces 是一種全託管且與 Apache Cassandra 相容的資料庫服務。
此次更新後,可以使用 NoSQL Workbench 來設計和視覺化 Amazon Keyspaces(用於 Apache Cassandra)的數據模型。另外 NoSQL Workbench 為使用者新增了一個視覺化點選介面,可以為 Amazon Keyspaces 創建數據模型。
參考來源至:You now can design and visualize Amazon Keyspaces data models more easily by using NoSQL Workbench
推出 Amazon CloudWatch Lambda Insight (Preview)
對於大多數的 Lambda 使用者來說,每當要查看 Lambda 函數的狀態都必須要透過 CloudWatch Logs 或是 Metric,沒有辦法很容易、快速地去觀察到 Lambda 函數錯誤或狀態,此次更新後,AWS 推出 Amazon CloudWatch Lambda Insight 預覽版,可以使用多功能圖表來了解運算、內存分配或函數持續時間變化,以利優化 Lambda 函數,也可以幫助解決單個請求的問題。
啟用的方式非常簡單,使用者可透過 AWS Console 在 Lambda Configuration 畫面修改 Monitoring tools 的設定,即可啟用 CloudWatch Lambda Insight 的功能。
參考來源至:Announcing Amazon CloudWatch Lambda Insights (preview)
AWS Config 新增範本 rule
此次更新後,Config 新增了 15 個範本的 rule template,這些模板可以幫助擁有多個帳戶並需要管理資源設定的使用者。透過打包 Config 規則和補救措施,一起部署在整個組織帳號中。
Rule template 是一個 YAML 檔案,其中可包含 Config 託管或自定義的規則以及相關補救措施。
而此次更新所發布的模板,都包含一組 Config 託管規則,幫助使用者驗證是否符合 HIPAA、NIST-800-53、NIST-800-171、FedRAMP、US-FFIEC、網絡安全成熟度模型認證(CMMC)1、2 等級以及 最佳實踐 AWS 架構。
Amazon Honeycode 新增範本應用程式
Amazon Honeycode 是一項全託管的服務,使客戶可以快速創建功能強大的 Web 應用程式而無需撰寫程式碼,以滿足團隊需求。
此次更新後,使用者可以用 Honeycode 應用程式模板,該模板可幫助使用者為團隊或組織創建 自動化的員工入職流程應用程式。
參考來源至:Employee onboarding app template now available for Amazon Honeycode
Amazon CloudWatch Logs 增加訂閱數量
此次更新後,CloudWatch Logs 針對每個 log group 新增了訂閱機制(每個 log group 能有兩個 Subscription filters),讓使用者能夠將 log 中所發生的事件以 real-time 的方式從 CloudWatch Logs 傳送到 Kinesis Data Stream、Kinesis Data Firehose 或 Lambda。
如此一來,使用者可以針對 CloudWatch Logs 所發生的事件創建、觸發兩個並行的工作流程,例如:使用 Kinesis Streams 將 log 事件傳遞到 S3,同時使用 Lambda 進行分析。
參考來源至:Amazon CloudWatch Logs now supports two subscription filters per log group
Amazon EKS 新增支援 Local Zones
此次更新後,可以在洛杉磯的兩個 Local Zones 中開啟 EKS Kubernetes Cluster。透過此方式,使用者可以讓位於洛杉磯的 end-user 在更近的地方與 Kubernetes 應用程式互動,以降低延遲。
參考來源至:Amazon EKS now supports the Los Angeles AWS Local Zones
Amazon CloudWatch Synthetics 新增預設儀表板快照
CloudWatch Synthetics 支援每分鐘監控端點,當使用者應用程序端點運行異常時發出警報,可以按計劃運行,監視端點和API。達到持續監視客戶目的,此次更新後,從 Console 上對預設儀表板的快照,就可以看到 API 或端點的狀態,助於管理者監控,當異常事件發生時,能夠更快地解決,維持良好的使用者體驗。
參考來源至:Amazon CloudWatch Synthetics now supports prebuilt canary monitoring dashboard
Amazon AppFlow 新增更多觸發的選項
Amazon AppFlow 可幫助使用者快速且安全的將存放在第三方軟體的資料轉移到 AWS 端,例如:Datadog、Google Analytics、Salesforce 等第三方軟體內的資料傳輸到 AWS 上。之前 AppFlow 會偵測資料來源的變更,觸發資料傳輸的動作,且僅傳輸上次成功運行流以來更改的記錄,但並不能修改「資料是否變更」的標準。
此次更新後,使用者可彈性修改「資料是否變更」的標準。使用者可利用額外的時間戳記作為在觸發資料傳輸的標準,例如:以「創建日期和修改日期」表示「該時間段內的資料變更」為觸發的標準。
參考來源至:Amazon AppFlow supports new options for schedule triggered flows
Amazon AppFlow 新增更多修改資料的選項
此次更新後,若設定 Salesforce 為 AppFlow Destination 的使用者,除了可以更新現有資料內的數據以外,若該項目並未存在,AppFlow 會直接新增新的 records。
參考來源至:Amazon AppFlow supports new options for updating records
AWS Glue Streaming ETL 自動檢測及處理數據
AWS Glue Streaming ETL,在運行中擷取和轉換數據,在幾秒鐘內就可以用於分析,以往使用者需要使用 AWS Glue 數據目錄指定傳入數據的 schema,並透過更新 ETL 腳本以變更 schema。此次更新後,AWS Glue 可以自動檢測傳入數據的 schema,並自動地處理數據的 schema,不用再透過更新腳本。
參考來源至:AWS Glue Streaming ETL jobs support schema detection and evolution
Amazon EMR 支援利用 placement group 將 EMR master node 放置在不同的實體機櫃
EMR master node 是負責管理 Cluster 且通常會執行分散式應用程式的重要元件,每一個 EMR Cluster 也至少需要一個 master node;若 master node 全數故障,就會導致 EMR 無法繼續進行處理資料的任務。先前 EMR 並沒有任何 placement strategies,而 master node 會放置在同一個 subnet 中。
此次更新後,使用者可利用 placement group,制定 master node 放置在實體機櫃的方式,可讓具有多個 master node 的 EMR Cluster 跨機櫃的啟動 master node,以減少 Instances 共享同一機櫃時可能發生的同時發生故障的風險。若要開始使用此功能,使用者需要給予 EMR Cluster 具有 placement group managed policy 的 IAM Role,並使用 placement-group-configs
參數啟用 EMR Cluster。
AWS Lake Formation 支援跨 Account 分享資料庫
AWS Lake Formation 是集中、專用且安全的資料庫,可用原始格式或進行分析的格式儲存使用者的所有資料。資料湖可幫助不同類型的資料分析,以助於管理者做出更好的決策。
在現今的環境中,光是從不同來源載入資料、監控這些資料流程、啟用加密與管理金鑰、定義轉換等等,資料湖的設定管理是一件複雜且耗時的任務,以往發生安全問題時,其他人無法訪問時,可能會導致 Data Lake 中的數據無法處理,此次更新後,透過 Lake Formation 跨 Account 分享資料庫,即可解決此問題,讓整個組織都能共享資料湖中的數據。
參考來源至:AWS Lake Formation now supports cross account database sharing
AWS 提供簡易還原 MySQL database 的方法
當今有越來越多的使用者開始使用 AWS 雲端來實作系統,而搬遷一直都是從地端環境轉移到雲端時,許多使用者會遇到的難題。現在,AWS 提供一種可快速、簡單搬遷使用者現有 MySQL 5.6 / 5.7 / 8.0 database 的方法,不論是運行在 Amazon EC2 或是 AWS 環境以外的 MySQL 5.6 / 5.7 / 8.0 database,皆可透過這種方式還原至 Amazon RDS。
使用者可利用 Percona XtraBackup,一款可備份 MySQL 大量資料的第三方方案,將當前運行 MySQL 5.6 / 5.7 / 8.0 database 的備份檔上傳至 Amazon S3,在利用 AWS Console 或是 CLI,還原成 RDS Instance。
參考來源至:Easily restore an Amazon RDS for MySQL database from your MySQL 8.0 backup
Amazon Rekognition 新增 6 種不當內容的審核類別
Amazon Rekognition content moderation 是一項利用深度學習以檢測影像內是否具有不當、有害或令人反感的內容。原先 Amazon Rekognition 提供了以下的分類法,例如:Explicit Nudity、Suggestive、Violence。
此次更新後,使用者可另外檢測到 6 種新類別:Drugs (藥品)、Tobacco (菸草)、Alcohol (酒精)、Gambling (賭博)、Rude Gestures (粗魯的手勢)、Hate Symbols (仇恨符號),以創建更好的用戶體驗,為廣告商提供品牌安全保證,或者遵守本地和全球法規。
參考來源至:Amazon Rekognition adds support for six new content moderation categories
Tag:Account, Amazon AppFlow, Amazon CloudWatch, Amazon CloudWatch Lambda Insight, Amazon CloudWatch Logs, Amazon CloudWatch Synthetics, Amazon EKS, Amazon ElastiCache Redis 6, Amazon EMR, Amazon Honeycode, Amazon Keyspaces, Amazon Kinesis Data Analytics, Amazon Rekognition, Amazon S3, Amazon SageMaker Studio, AWS, AWS Cost Categories, AWS Glue Streaming ETL, AWS Lake Formation, Bucket, config, Container Log, Ec2, EKS IP, EMR master node, Extensions, Fluent Bit, Grafana Labs, Insight, Lambda, Local Zones, MySQL database, NoSQL Workbench, Object Ownership, placement group, RBAC, rule, S3, serverless, VPC, X-Ray