【每周快報】0603-0609 AWS 服務更新
前言
去年底的 re:Invent 上,Andy Jassy 提及的 AWS Proton 終於在上周正式發布,這項服務讓使用者在改動應用程式的資源配置時,僅需更改範本內容,就可以產生可直接使用/測試的環境。推出新服務外,AWS 在上周也發布了些重大的服務更新,像是 Rekognition Custom Labels 新增透過主控台操作模型,讓使用者可以不需要額外透過 CLI 或者腳本來處理,可以在主控台中透過 UI 介面進行啟用、推論、停用等動作。而 Amazon SageMaker Data Wrangler 則是新增支援 Snowflake 作為 Data Source。
本篇文章也將介紹 AWS Security Hub、Amazon FSx for Windows File Server 以及 AWS Glue Studio…等服務新增的支援及改動。
焦點新聞
AWS Proton 正式發布
在去年的 AWS re:Invent 2020 中的 AWS CEO Andy Jassy keynote session 裡,提到即將發布 AWS Proton,並且有 preview 版本可以做使用,如今終於在 2021 6/9 正式發布啦!
AWS Proton 是一個可以讓維運團隊用 Stack 的方式宣告每一個 serverless/container-based 應用程式將所需要的資源結構與參數配置成一個範本的服務。當需要改動應用程式的資源配置時,就不需要手動建置,而是更改範本內容,就可以產生可直接使用/測試的環境。
AWS Proton 可幫助使用者連接和協調基礎設施、部署程式碼、監控和更新所需的不同工具。
- 首先在 AWS Service Menu 找到 AWS Proton 後,使用者可以看到兩個區塊:一個用於定義 Template,一個用於部署 Template。
使用者可以按照 AWS 提供的步驟來實作,並且為了讓整個工作流程能自動化進行,也可以選擇使用 Cloudformation 或是自己的 Github repo 去打造 CI/CD 的流程。最後開發人員就可以透過 Template,快速將自己的程式碼部署到所需要的環境了!是不是很方便呢?
參考來源至:AWS announces the general availability of AWS Proton
圖片來源至:AWS re:Invent 2020
Rekognition Custom Labels 新增透過主控台操作模型
Rekognition Custom Labels 是一個能讓使用者透過 UI 介面標記圖片並訓練影像辨識模型的服務。使用者可透過兩種方式來標記圖片:一種是將標籤應用於整個圖像,另一種是利用點擊和拖移邊框來識別和標記圖片中的特定物件。
以往透過 Custom Labels 訓練出來的模型得透過 CLI 進行 啟用 (如下方指令):
aws rekognition start-project-version --project-version-arn model_arn\
--min-inference-units "1"
使用者可以根據模型的效能需求決定 inference unit
(可以把它想成是託管這個模型的運算資源的效能單位);若使用者欲停用模型(模型運行時間是收費依據)也得透過 CLI 的方式停用。
aws rekognition stop-project-version --project-version-arn model_arn
也就是說通常我們會自己寫腳本來進行這一連串的動作(啟用、推論、停用),而此次更新後,使用者終於可以在主控台中透過 UI 介面進行上述這些動作,讓使用者可以不需要額外透過 CLI 或者腳本來處理。
參考來源至:Amazon Rekognition Custom Labels adds support for deploying models via the Console
Amazon SageMaker Data Wrangler 支援 Snowflake 作為 Data Source
數據準備仍然是機器學習 (ML) 領域的主要挑戰。數據科學家和工程師需要編寫查詢和代碼以從源數據存儲中獲取數據,然後編寫查詢來轉換這些數據,以創建用於模型開發和訓練的特徵。所有這些數據管道開發工作並不真正關注 ML 模型的構建,而是關注構建模型所需的數據管道。Amazon SageMaker Data Wrangler 使數據科學家和工程師可以使用可視化界面在開發 ML 應用程序的早期階段更輕鬆地準備數據。
當你要使用 Snowflake 作為你的數據來源時,需要先具備以下條件:
- 具備 Snowflake 帳戶,並允許儲存空間的整合
- 要有數據在 Snowflake 的 table
- 有權創建 AWS IAM Policy 和 Role 的 AWS 帳戶
- Amazon S3 存儲桶(用於 Data Wrangler 存放轉換的數據)
要創建數據流,需完成以下步驟:
- 在 SageMaker Console 中,選擇 Amazon SageMaker Studio。
- 選擇 open SageMaker Studio。
- 在 Launcher 中,選擇新建數據流。
- 在 File 下拉列表中,選擇 New,然後選擇 Data Wrangler Flow。創建新的 Flow 可能需要幾分鐘時間。創建完 Flow 後,會看到「導入 data」頁面。
在 Data Wrangler 中添加 Snowflake 作為 Data Source
- 接下來,我們添加 Snowflake 作為 Data Source 。
在添加 Data Source 菜單上,選擇 Snowflake。
- 添加您的 Snowflake 連接 Data Wrangler 使用 HTTPS 連接到 Snowflake。
- 如果手動創建 Secrets Manager 密鑰,請選擇身份驗證方法下拉選單並選擇 ARN。
- 選擇連接,就會被重新導向到 Menu。
就可以開始將自己的數據拿到 AWS SageMaker 上面訓練啦,期望未來能夠再增加更多第三方軟體。
參考來源至:Prepare data from Snowflake for machine learning with Amazon SageMaker Data Wrangler
圖片來源至:Prepare data from Snowflake for machine learning with Amazon SageMaker Data Wrangler
其他服務更新
-
AWS China (Beijing) Region 新增第三個 Availability Zone:AWS 在北京地區增加第三個可用區域(Avaliability Zone) 來面對中國日益龐大的雲端使用者。
-
AWS Security Hub 在基礎安全最佳實踐標準中增加了 16 個新項目,增強雲端安全狀況監控。這些項目可針對 Amazon API Gateway、AWS Elastic Beanstalk、Amazon RDS…等服務,根據安全最佳實踐進行全自動檢查。
-
Amazon FSx for Windows File Server 新增針對檔案系統審核的功能,透過將使用者訪問檔案、資料夾、共享資料夾的 log 紀錄,推送到 CloudWatch 或 Kinesis 等服務,讓管理者可以分析、審查 log 紀錄,進而建立反應機制。
-
AWS Glue Studio 新增程式碼文字編譯器,讓使用者在 Console 就可以編譯 job 腳本。以往使用者如果要用文字編譯器編輯 job 腳本,需要下載之後再修改;現在可直接在 console 畫面中直接編輯。