eCloudtureeCloudture
  • 雲端培訓
    • 雲端培訓課程
  • 人才培育
    • 2023 eCloudture 雲端種子計畫
  • 雲端資源
    • 部落格
    • 考試中心
  • eCloudture
    • 關於eCloudture
    • 學員心得分享
    • 聯絡我們
  • English
    • 雲端培訓
      • 雲端培訓課程
    • 人才培育
      • 2023 eCloudture 雲端種子計畫
    • 雲端資源
      • 部落格
      • 考試中心
    • eCloudture
      • 關於eCloudture
      • 學員心得分享
      • 聯絡我們
    • English
    • 目錄
    • 全部文章
    • 【每周快報】0416-0422 AWS 服務更新

    【每周快報】0416-0422 AWS 服務更新

    • Posted by Shelly Yu
    • 課程類別 全部文章, 新聞
    • Date 24/04/2020
    • Comments 0 comment

    前言

    AWS 於周三宣佈「非洲 – 開普敦區域正式啟動」,目前支援了大部分的服務,未來也計畫在亞洲及歐洲建構更多區域,希望能帶給使用者更好的體驗!

    為了幫助使用者在做搬遷資料及邊緣運算工作能更便利,AWS 這周更新了許多 AWS Snowball 效能,包含改善權限管理、新增支援 AWS System Manager 做自動化處理以及新增了 AWS OpsHub 用於管理 Snowball 的圖形介面服務。

    除此之外,AWS 也對數據庫服務做了些服務更新,像是 Amazon Redshift 除了推出 Federated Querying with PostgreSQL Engine,現在也支援 multi-factor authentication (MFA)。另外, Amazon RDS for SQL Server 也新增支援 Multifile Native Backups!本篇文章還會提及許多不同領域的服務改善,包含了 AWS Config、Amazon Polly、AWS IoT Event…等諸多服務。

    焦點新聞

    新增區域 – Region Africa (Cape Town)

    各位是否還記得 2018 年時,Jeff 曾說過要在非洲建立基礎設施,從 2015 年 AWS 便開始在非洲建立辦事處,2017 將 AWS 骨幹網路牽到了非洲成立 Edge Location 邊緣節點。

    現在非洲-開普敦區域正式啟動!正式名稱為 Africa (Cape Town),縮寫為 af-south-1 ,為 AWS 第 23 個區域,由三個 AZ 所組成, AZ 可用區的全球數量也來到 73 個!

    目前非洲 – 開普敦區域支援大部分的服務,詳細請見 Region Table – Africa。

    AWS 也承諾構建未來兩個亞太區 AWS 區域:印尼和日本;以及兩個歐洲區的區域:義大利和西班牙。

    更多的區域支援也將帶給終端使用者更好的使用體驗!

    參考來源至:Now Open – AWS Africa (Cape Town) Region

    AWS Cost Explorer 新增整合 Compute Optimizer

    Cost Explorer 是 Billing and Cost Management 服務當中的其中一項功能,需要使用者手動啟用。啟用後,AWS 會提供當月及前三個月的花費分佈與服務使用量,接著利用過往資訊來預測未來三個月的花費。而 Compute Optimizer 則是透過機器學習分析使用者現有架構中的 EC2 資源是不是有充分運用,並提供意見。

    Cost Explorer 之前只能根據過去 14 天的最大 CPU 和 Memory 使用率等歷史記錄,建議使用者更好的執行個體類型 (Instance Type) 選擇,例如從 t3.medium 改為 t3.large 以提供更好的體驗。

    此次更新後,這些建議推薦會從 Compute Optimizer 產生,還會提供不同系列、大小的選擇。

    參考來源至:AWS Cost Explorer Rightsizing Recommendations Integrates with AWS Compute Optimizer

    AWS Snowball 功能及效能更新

    隨著業務日漸擴大,現有地端的資源及空間可能面臨枯竭,許多公司看準雲端容易擴展的特性,紛紛投向雲端的懷抱,將原本在本地端的工作負載移到雲端,但這是一項非常複雜及耗時的大工程,因為目前網路線路的瓶頸,讓許多想做資料搬遷的使用者打退堂鼓,AWS 提供 Snowball 系列服務幫助使用者在做資料搬遷及邊緣計算的工作,讓你在搬遷過程中更加快速、方便,也能避免資訊傳輸中斷的風險。

    AWS Snowball 支援 IAM 存取權限管理

    AWS Snowball 進行驗證時,只會向使用者要求密碼或是其他憑證,只要能握有相關憑證的人都有權限做存取,這是潛在風險相當高的安全性問題。

    為了解決這個問題,現在可以藉由 IAM 來控管使用者對 AWS Snowball 存取權限,也就是可以定義誰才能進到 AWS Snowball 服務,允許或禁止使用者做哪些動作。

    參考來源至:AWS Snowball now supports local AWS IAM

    AWS OpsHub 用於管理 Snowball 的圖形介面服務

    使用者都要透過 CLI 或 REST API 來操作 Snowball Edge 裝置。此次更新後,可以直接透過 AWS OpsHub 在沒有網路連接的情況下,部署和管理大量的 Snowball Edge 裝置。

    在 Windows 或 Mac 上下載安裝 AWS OpsHub Application 後,即使沒有網路連線,也可以使用。非常適合某些移動和斷網連接模式下使用。

    參考來源至:Introducing AWS OpsHub for Snow Family, a graphical user interface to manage AWS Snowball devices

    圖片來源至:AWS Snowball Edge Update – Faster Hardware, OpsHub GUI, IAM, and AWS Systems Manager

    AWS Snowball 支援 AWS Systems Manager 做自動化處理

    先前 AWS Snowball 需要做日常維護或部署動作時,都必須手動去執行。

    此次更新後,使用者可以透過 AWS OpsHub 的 Task Automation 做自動化處理,省下時間及人力成本,假設需要把意外停止運作的 EC2 自動重啟,你可以透過 AWS OpsHub 透過 Systems Manager 來實現此功能,如下範例:

    首先,需要到 ASW OpsHub Console 中,你會在Dashboard 中看到 Task (Systems Manager) 選項,點擊後選擇 Create Task,輸入詳細訊息後,編輯做自動化腳本配置,json 與 yaml語法都有支援。

    {
      "description" : "Restart EC2 instance",
      "schemaVersion" : "0.3",
      "parameters" : {
        "Endpoint" : {
          "type" : "String",
          "description" : "(Required) EC2 Service Endpoint URL"
        },
        "Id" : {
          "type" : "String",
          "description" : "(Required) Instance Id"
        }
      },
      "mainSteps" : [ {
        "name" : "restartInstance",
        "action" : "aws:executeScript",
        "description" : "Restart EC2 instance step",
        "inputs" : {
          "Runtime" : "python3.7",
          "Handler" : "restart_instance",
          "InputPayload" : {
            "Endpoint" : "{{ Endpoint }}",
            "Id" : "{{ Id }}"
          },
          "TimeoutSeconds" : 30,
          "Script" : "import boto3\nimport time\ndef restart_instance(payload, context):\n    
                ec2_endpoint = payload['Endpoint']\n    instance_id = payload['Id']\n    
                ec2 = boto3.resource('ec2', endpoint_url=ec2_endpoint)\n    
                instance = ec2.Instance(instance_id)\n    
                if instance.state['Name'] != 'stopped':\n        
                instance.stop()\n        
                instance.wait_until_stopped()\n    
                instance.start()\n    
                instance.wait_until_running()\n    
                return {'InstanceState': instance.state}"
        }
      } ]
    }                                   
    

    完成後,按下 Start Task 變成透過 Systems Manager 執行該腳本。

    參考來源至:AWS Snowball adds task automation with AWS Systems Manager

    Amazon Redshift 推出新功能

    Amazon Redshift 正式推出 Federated Querying with PostgreSQL Engine

    此次更新之後,使用者可以透過 Redshift 同時對 Amazon RDS for PostgreSQL 及 Amazon Aurora PostgreSQL 資料庫下 Query 指令來搜尋需要的資料,並可以與 BI 工具連接,例如:Tableau 或 Amazon Quicksight,產生分析性表格。

    此外,使用者可以將原本存放在 RDS 或 Aurora 的資料輸入 Redshift,也可以將 S3 裡的 PostgreSQL 資料與 Redshift 整合,而不需要複雜的 ETL 轉換流程。

    如下為 AWS Blog – Build a Simplified ETL and Live Data Query Solution using Redshift Federated Query 使用範例:

    1. Simplified ETL (整合 S3 裡的 PostgreSQL 資料):

    透過 federated querying 讀取 S3 裡的資料後,直接運用 query 指令篩選必要的資料,並與 Redshift table 原本的資料整合。

    BEGIN;
    CREATE TEMP TABLE staging (LIKE ods.store_sales);
    -- replace the following COPY from S3 
    COPY staging FROM 's3://yourETLbucket/daily_store_sales/' 
         IAM_ROLE 'arn:aws:iam::<account_id>:role/<s3_reader_role>' DELIMITER '|' COMPUPDATE OFF;
    -- with this federated query to load staging data from PostgreSQL source
    INSERT INTO staging SELECT * FROM pg.store_sales p
        WHERE p.last_updated_date > (SELECT MAX(last_updated_date) FROM ods.store_sales)
    DELETE FROM ods.store_sales USING staging s WHERE ods.store_sales.id = s.id;
    INSERT INTO ods.store_sales SELECT * FROM staging;
    DROP TABLE staging;
    COMMIT;
    
    1. Querying live operational data (同時存取多個資料庫中的資料):

    先分別建立多個外部 schema 來讀取不同來源的資料庫資料。

    CREATE EXTERNAL SCHEMA IF NOT EXISTS useast
    FROM POSTGRES
    DATABASE 'dev'
    URI 'us-east-1-aurora-pg-serverless.cluster-samplecluster.us-east-1.rds.amazonaws.com'
    PORT 5432
    IAM_ROLE 'arn:aws:iam::555566667777:role/MyCombinedRDSFederatedQuery'
    SECRET_ARN 'arn:aws:secretsmanager:us-east-1:555566667777:secret:MyEastUSAuroraServerlessCredentials-dXOlEq'
    ;
    
    CREATE EXTERNAL SCHEMA IF NOT EXISTS uswest
    FROM POSTGRES
    DATABASE 'dev'
    URI 'global-aurora-pg-west-coast-stores-instance-1.samplecluster.us-east-1.rds.amazonaws.com'
    PORT 5432
    IAM_ROLE 'arn:aws:iam::555566667777:role/MyCombinedRDSFederatedQuery'
    SECRET_ARN 'arn:aws:secretsmanager:us-west-1:555566667777:secret:MyWestUSAuroraGlobalDBCredentials-p3sV9m'
    ;
    
    CREATE EXTERNAL SCHEMA IF NOT EXISTS europe
    FROM POSTGRES
    DATABASE 'dev'
    URI 'eu-west-1-postgres-read-replica.samplecluster.us-east-1.rds.amazonaws.com'
    PORT 5432
    IAM_ROLE 'arn:aws:iam::555566667777:role/MyCombinedRDSFederatedQuery'
    SECRET_ARN 'arn:aws:secretsmanager:eu-west-1:555566667777:secret:MyEuropeRDSPostgresCredentials-mz2u9L'
    ;
    

    透過建立 View 來統整資料,以方便往後查詢可以直接從 View 裡面尋找。

    CREATE VIEW global_lineitem AS
    SELECT 'useast' AS region, * from useast.lineitem
    UNION ALL
    SELECT 'uswest', * from uswest.lineitem
    UNION ALL
    SELECT 'europe', * from europe.lineitem
    WITH NO SCHEMA BINDING
    ;
    

    最後找尋符合條件的資料。

    dev=# SELECT region, extract(month from l_shipdate) as month,
          sum(l_extendedprice * l_quantity) - sum(l_discount) as sales
          FROM global_lineitem
          WHERE l_shipdate >= '1997-01-01'
          AND l_shipdate < '1998-01-01'
          AND month < 4
          GROUP BY 1, 2
          ORDER BY 1, 2
    ;
     region | month |      sales
    --------+-------+------------------
     europe |     1 | 16036160823.3700
     europe |     2 | 15089300790.7200
     europe |     3 | 16579123912.6700
     useast |     1 | 16176034865.7100
     useast |     2 | 14624520114.6700
     useast |     3 | 16645469098.8600
     uswest |     1 | 16800599170.4600
     uswest |     2 | 14547930407.7000
     uswest |     3 | 16595334825.9200
    (9 rows)
    

    參考來源至:Amazon Redshift announces general availability for federated querying

    Amazon Redshift 支援 multi-factor authentication (MFA)

    如果使用者目前已具有 AWS 以外的身分驗證機制,例如:公司內部的身份驗證系統,可使用 Amazon IAM identity providers and Federation 的方式來登入 AWS Account。不需要另外建立 IAM Users,而是允許使用者在登入外部的身份認證機制之後,能夠直接使用 AWS account 中的資源。

    使用者利用 Facebook 或是 Google 帳戶註冊其他網站的會員。此方法就是一種 Identity Providers and Federation 的機制。將使用者身份驗證的工作交由第三方組織來執行,一旦使用者通過驗證,視同通過目標網站的身份驗證,便可取用該網站的資源。

    Redshift Cluster 管理者可以利用第三方驗證來登入,並存取 Cluster 裡的資源。

    此次更新後,當 Redshift 的管理者允許使用者利用 Identity provider and federation 的方式來存取 Redshift 中的資料時,同時可以啟用 multi-factor authentication (MFA) 功能,要求使用者在登入時,需額外提供一組 authentication code,以確認該次存取行為確實為該使用者身份。

    例如:使用者可指定 Virtual MFA device 作為生成認證碼的來源,每當使用者要登入時,需具有當初綁定裝置的認證碼,才可以成功登入。此種做法讓認證的過程多了一層防護機制,即使使用者的密碼被竊取,對方也無法輕易取得授權。

    參考來源至:Amazon Redshift introduces support for multi-factor authentication

    AWS CloudWatch Synthetics 新增支援監控 VPC endpoint

    CloudWatch Synthetics 為去年底新出的功能,可以針對使用者的 API 或者 Endpoint 進行類似心跳 (Heartbeat) 檢查的監控,使用者可以自定義測試腳本和檢查的頻率,來確保 API 或 Endpoint 有正常運作。

    上述功能都僅限於公開訪問節點(Public Endpoint),主要目的是為了確保前端網頁的正常運作。但會遇到一個問題,現在許多應用程式雖然看似都是單一畫面呈現,背後卻可能是由好幾個微服務堆起來的,這些微服務並不一定是對外公開訪問的,所以從外側進行單一檢查並不能夠準確知道問題是否存在,需要額外再加上從內部進行監控才能滿足叫全面性的服務監控。

    因此此次更新後,提供使用者以透過 VPC endpoint 監控其私有訪問節點 (Private Endpoint),來解決上述的問題。

    參考來源至:Amazon CloudWatch Synthetics now supports monitoring private endpoints in a VPC

    AWS GuardDuty 支援統一管理 AWS Organizations 帳戶

    當企業在 AWS 上增長和擴展工作負載時,隨著業務衍生不同專案、環境的切割與隔離等需求,有可能會有越來越多的 AWS Accounts,進而衍生多重帳戶管理的邏輯需要處理,例如:員工可以訪問哪些帳戶、帳戶隸屬哪個部門或專案、管控訪問權限、資源調用與共享、分帳到各部門或專案、帳單匯總⋯⋯等。

    AWS 提供了 Organizations 來幫助管理者做多重帳戶作維運。

    AWS Organizations 以往無法有效地去檢測異常行為或是未經授權動作,像是有人在從未使用過的區域中部署了服務、資源,亦或是發生存取被拒 (Permission denied) 等行為。若是無法有效察覺這些不正常的存取行為,對企業來說不僅是潛在的風險,甚至有機會引發安全事件。

    此次更新後,AWS Organizations 支援搭配 AWS GuardDuty 解決這個問題!現在你可以透過 Console 或是 API 操作,指派 AWS Organizations 內的成員為 GuardDuty 管理員,在指定區域中啟用GuardDuty,制定在這個區域中組織裡所有帳戶啟用和管理 GuardDuty 的權限。

    會分以下兩種情形:

    • GuardDuty 管理員邀請 同一組織的成員 啟用或管理 GuardDuty:
      • 透過 Organizations 去邀請
    • GuardDuty 管理員邀請 不屬於同一組織的成員 啟用或管理 GuardDuty:
      • 透過 Invite 去邀請進 Organization 再賦予其權限

    注意:每個 GuardDuty 管理帳戶最多只能有 5000 個帳戶。如果帳戶超過 5000 個,將會收到 CloudWatch,Personal Health Dashboard 的通知,並透過電子郵件發送給 Organization Root 帳戶。

    參考來源至:Amazon GuardDuty simplifies multi-account threat detection with support for AWS Organizations、Managing GuardDuty Accounts with AWS Organizations

    其他服務更新

    AWS IoT Event 新增客製化訊息資訊

    AWS IoT Events 可以偵測和回應來自 IoT 感應器和應用程式的事件,例如當皮帶卡住時設備的變化,或是動作偵測器利用動作訊號來啟動燈光和安全攝錄影機等應用。在 IoT Events 推出之前,要偵測事件必須建置昂貴的自訂應用程式來收集資料、套用決策邏輯,然後觸發另一個應用程式來針對事件做出反應。

    此次更新後,可以使用新的表達式來客製化傳進來的 Event 內的訊息,你可以在訊息中新增東西或是刪除多餘的資訊,再傳給後面的應用程式。

    參考來源至:AWS IoT Events adds support for custom actions payloads and custom timers

    Amazon EKS 現在支援 Service-Linked Roles

    使用者在創建 EKS Cluster 時,需要一並給予適當的 IAM 權限以支援 EKS 可以與其他 AWS Services 互動;為此,使用者需要先手動建立 IAM Role,並將 Trust-relationship 修改為 Amazon EKS 服務,再把 Role 指派給 EKS,才能完成授予權限的動作。

    此次更新後,AWS 為使用者省去了自行創建 Role 的流程。當使用者第一次使用 EKS Cluster 時,會自動產生 EKS Service Role,其中包含建立 EC2 Instances 、 Fargate 作為運算單位、建立/訪問 ELB 、或是更新 Cluster Services 所需要的權限⋯⋯等。

    同時當使用者便不能自行刪除 AWSServiceRoleForAmazonEKS 這個 EKS Service Role,以避免意外的操作導致現有的 EKS Cluster 無法運作甚至失去控制。

    參考來源至:Amazon EKS Now Supports Service-Linked Roles

    Amazon RDS for SQL Server 現在支援 Multifile Native Backups

    Amazon RDS for SQL Server 支援 Native Backup,使用者可以將資料庫的原始資料匯出、生成 .bak 檔案,並存放至 Amazon S3,作為搬遷、備份、複製測試資料庫副本的方法之一。Native Backup 不僅快速,.bak 檔案內還包含了 database schemas、stored procedures、triggers,以及其他 database code 在內,也可以一併備份。此外,使用者也可以針對單一資料庫備份,而非整個 DB instance。

    此次更新之後,當使用者在做 Native Backup 時,可選擇將備份檔案切割為多個檔案,備份完成後再利用平行上傳的方式,傳至 S3 儲存,加快備份的流程。

    如下範例,將備份檔案分成 4 個部分:

    exec msdb.dbo.rds_backup_database 
    @source_db_name='mydatabase',
    @s3_arn_to_backup_to='arn:aws:s3:::aws_example_bucket/backup*.bak',
    @number_of_files=4;
    

    備份完成後會得到:
    * backup1-of-4.bak
    * backup2-of-4.bak
    * backup3-of-4.bak
    * backup4-of-4.bak

    四個檔案,並平行上傳至 aws_example_bucket 儲存桶之中。

    參考來源至:Amazon RDS for SQL Server now supports Multifile Native Backups

    AWS Config 可偵測 Secrets Manager 不合規動作

    AWS Config 是一款持續監視和記錄您的 AWS 資源配置的服務,使用者可以利用 Config rule 去偵測任何資源的配置是否符合規範;當 Config rule 判別該配置為不合規時,可以做告警通知管理員、或是進一步去做自動化 Mitigate 來處理。

    這次更新將 Config 可偵測範圍再擴大,加入了 AWS Secrets Manager!

    現在你可以利用 Config rule 去建立合規事件的規則,在 Config Console 中可以看到關於 Secrets Manager 的 AWS built-in rules:

    參考來源:Track changes to secrets stored in AWS Secrets Manager using AWS Config and AWS Config Rules

    Amazon Route 53 新增支援跨區域轉移網域名稱

    Amazon Route 53 為 DNS 服務,使用者可以在此服務中註冊網域名稱,然而網域名稱是 Region-based 的,倘若想要將網域名稱轉移到另一個區域時,需要發 Ticket 請 AWS Support 幫忙。

    現在 Route 53 開放跨區域移轉網域名稱的功能,讓使用者可以自己執行這個動作,且此功能是免費的!

    參考來源至:Amazon Route 53 supports Domain Name Transfer between AWS accounts

    Amazon Polly 推出西班牙播報員的語音風格

    Amazon Polly 是一個能夠將文字轉成語音輸出的一項服務,使用者可以選擇不同的語言或聲線作為語音輸出的選項,去年七月推出了美國英文(EN-US)的新聞播報員語音風格獲得廣大的迴響。

    現在推出了西班牙語的新聞播報員語音風格供使用者選擇。

    參考來源至:Amazon Polly launches Spanish Newscaster style voice

    Tag:Amazon EKS, Amazon Polly, Amazon RDS for SQL Server, Amazon Redshift, Amazon Route 53, AWS CloudWatch Synthetics, AWS Config, AWS Cost Explorer, AWS GuardDuty, AWS IoT Event, AWS OpsHub, AWS Organizations, AWS Snowball, AWS Systems Manager, AZ, Billing, Cape Town, Compute Optimizer, Dashboard, Federated Querying with PostgreSQL Engine, IAM, Mfa, Multi Factor Authentication, Multifile Native Backups, public endpoint, Redshift Cluster, Region Africa, Secrets Manager, Service-Linked Roles, Simplified ETL, Task Automation, VPC endpoint

    • Share:
    Shelly Yu

    Previous post

    Amazon Transcribe Medical - 醫療領域的即時語音辨識服務及其相關應用
    24/04/2020

    Next post

    【每周快报】0416-0422 AWS 服务更新
    24/04/2020

    You may also like

    新聞封面-12
    【焦點新聞|Microsoft Build 2022】
    2 6 月, 2022
    新聞封面-13
    【焦點新聞】0512-0525 AWS 服務更新
    27 5 月, 2022
    新聞封面-11
    【焦點新聞】0428-0511 AWS 服務更新
    13 5 月, 2022

    給我們的意見 取消回覆

    發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

    搜尋文章

    分類

    • AWS re:Invent 特輯
    • Microsoft Ignite 特輯
    • 人工智慧/機器學習
    • 全部文章
    • 基本概念
    • 大數據
    • 容器服務
    • 新聞
    • 無伺服器
    • 物聯網
    • 維運
    • 資訊安全

    最新文章

    【焦點新聞|Microsoft Build 2022】
    026 月2022
    【焦點新聞】0512-0525 AWS 服務更新
    275 月2022
    【焦點新聞】0428-0511 AWS 服務更新
    135 月2022
    【焦點新聞】0421-0427 AWS 服務更新
    294 月2022
    Phone : +886 2 22801777
    Mail : info@ecloudture.com

    雲端培訓

    • 雲端學習地圖
    • 雲端培訓課程
    • 專業證照培訓

    人才招募

    • 2020 eCloudture AIoT 雲端夏令營

    雲端資源

    • 部落格
    • 考試中心

    eCloudture

    • 關於eCloudture
    • 學員心得分享
    • 聯絡我們

    • Privacy
    • Terms
    • Sitemap