Tweet で振り返る嬉しかった 2021年 AWS アップデート15選 + α
2022 年になりましたね!明けましておめでとうございます。今年もよろしくお願いします。
前回のブログの公約通り月に一本はブログを書けるように時間を取っていきたいと思います。
というわけで、まずは一本目です。本当は 2021 年末に書きたかった内容ですが、2021年もたくさんの AWS の機能アップデートやリリースがありました。全部のアップデートを検証して、読み込んで・・・とまではいきませんが、その中でも気になったものは調査して検証して、その内容を Twitter でアウトプットしていました。
その時のツイートを追いながら、個人的に「あーこれ便利よね!」と思えたアップデートを振り返っていきます。15個にしぼった理由は Twitter のウイジェットばっかりだと記事がごちゃごちゃするからです。選定段階だと 40 近くあったので、巻末にいくつかリンクは置いておきますので気になる人はそちらもどうぞ。
※ あくまで「一個人の視点で」便利だなと思ったアップデートです。AWS として推したいアップデートの話でもなければ、万人にとって嬉しいものかどうかは分かりません。むしろ著者は実践的に便利な地味なアップデートが好きです。
2021 年のツイートで aws.amazon.com
のURLを含む私のツイートを検索したものがこちら。オハヨー AWS で重複ツイートしていたので #ohayo_aws
だけ除外しています。
大阪ローカルリージョンがフルリージョン化されました
ついに大阪リージョンが日本で 2 つ目の AWS フルリージョンとして利用できるようになりました。世の中的には 「東京リージョンの DR 先として使える!」みたいな声が強いように見えますが、西日本を中心にビジネスをしているならどんどん大阪リージョンをメインリージョンとして使って欲しいなと思っています。
西日本のSAのはまーんです!
— はまーん / Shinichi Hama (@track3jyo) March 2, 2021
AWS Tokyoリージョン開設10周年の節目の本日、大阪ローカルリージョンがフルリージョンへ拡張されました!
3つのアベイラビリティゾーンでシステムを展開いただけます。日本では2つ目のフルリージョンです。利用可能なサービスなど詳細はBlogにてhttps://t.co/RS8naK5Nd2
EIP の DNS 逆引き設定をフォーム申請ではなくて、マネコンや CLI からできるようになりました
EC2 上で Postfix 等 MTA を構築してメール送信をしたことがある方なら、この嬉しさがわかると思います。メール送信の仕組みを作る時に SPF とか DKIM といった送信ドメイン認証に加えて、IP アドレスの逆引き (IPアドレスからホスト名を解決すること) を設定することになります。AWS でこの逆引きを設定する際、今まではフォームから申請が必要でこれが承認されるまで時間がかかることがありました(2week くらい余裕もっていつも申請していました)。これがマネコンや CLI からできることになったことでこの作業がわずか数分でできます!
9月には Tokyo/Osaka リージョンでも使えるようになっています。!
これは!!昔から欲しかったやつ。
— はまーん / Shinichi Hama (@track3jyo) February 4, 2021
EIPのDNSの逆引き設定を申請ではなくて、マネコンとかCLIからできるようになりました。
※なお、東京リージョンはまだ・・
逆引き登録前に対応するAレコードを登録する必要があるのはこれまでの逆引き同様です。https://t.co/cIqjmkRQOp
Amazon Lookout for Vision が一般利用可能になりました
Lookout for Vision は個人的に製造業の多い日本でどんどん使って欲しいと感じるサービスです。正常・異常の二項分類ですが、画像さえ用意できれば始められますし、また直近のアップデートで、エッジデバイス上へのモデルのデプロイがプレビュー機能としてサポートされました!
去年のre:Inventでプレビューとしてリリースされた Amazon Lookout for Vision が一般利用可能(GA)になりました!
— はまーん / Shinichi Hama (@track3jyo) February 25, 2021
最低30枚の画像からモデルを自動で作成し、画像から欠陥のある製品を検出し、品質検査を自動化できる機械学習のサービスです。https://t.co/rKae3s3i0M
去年の夏休みの宿題として Lookout for Vision を使ってポテトチップの分類を行いました。
特定のIAMユーザ/ロールの操作履歴 (CloudTrail) から IAM ポリシーを生成できるようになりました
AWS マネージドな IAM ポリシー ではなく、セルフマネージドな IAM ポリシーを作って運用するとなった際、いきなり最小権限の法則で必要な Action のみを許可していくのは本当に骨が折れますよね。特にマネコン操作を中心にしているユーザーだと尚更です。結果めんどくさくて広めの権限をあてちゃってセキュリティ事故でもしたら目も当てられません。
これはそんな課題を解決すべく、CloudTrail で記録されたイベントを元に IAM ポリシーを生成する機能です。ありがたやありがたや…
これはVPC Reachability Analyzer 以来の「ずっとこれが欲しかった」アップデートじゃないか...!!
— はまーん / Shinichi Hama (@track3jyo) April 8, 2021
CloudTrailの特定のIAMユーザ/ロールの操作履歴からIAMポリシーを生成できるようになりました!
頑張って最小権限の法則守るためのスタートが格段にしやすくなりますね!https://t.co/NKSpmaqyu9 pic.twitter.com/9e8teaUUL3
Amazon EC2 Auto Scaling で Warm Pools 機能が使えるようになりました
EC2 のオートスケーリング便利ですよね。でも人によってはちょっとお金払ってもいいからもっと早く!早く!スケールしたいって人もいますよね。これはそんな課題を解決すべく、オートスケーリンググループに stopped
状態のインスタンスを持てるようになったというアップデートです。詳細や現在の考慮事項などはツイートのスレッドをご覧ください。
Amazon EC2 Auto Scaling Warm Pools!!欲しかった人も多いのでは?
— はまーん / Shinichi Hama (@track3jyo) April 9, 2021
オートスケーリンググループに stopped 状態のインスタンスを持って、スケール速度を早めることができる機能です。今まで余剰なリソースを確保してた人からするとコスト最適化にも繋がりますね。https://t.co/aDMtIxxHf0 pic.twitter.com/E4wi0zM0bi
CloudFront Functions が新たに利用できるようになりました
ユースケースとか、よく聞かれる Lambda@Edge との比較とかは Tweet のスレッドに書いています。Viewer 関連の処理でコンパクトな処理なら使わない理由はないかなーと思います。
仕組み上エッジロケーションで動くものなので、Viewer 関連の処理のみサポートされています。Regional edge cache で動作する Lambda@Edge と異なりオリジンリクエストでトリガーできないのは注意です。
CloudFront Functions がでました!
— はまーん / Shinichi Hama (@track3jyo) May 4, 2021
全てのCloudFrontのエッジロケーションで軽量なJavascriptコードを実行するためのサーバーレススクリプティングの新機能です。Header の書き換えとか Cookie の追加といったシンプルな処理とかで非常にマッチすると思います。https://t.co/nRFoPkODSt
Amazon ECS Anywhere が一般利用可能になりました
Amazon ECS の EXTERNAL
起動タイプである ECS Anywhere が登場したのも 2021 年でした。パブリックプレビューの翌日に一般利用可能になったのは初めてじゃないだろうかw
この1日後になんとGAしました!
— はまーん / Shinichi Hama (@track3jyo) May 30, 2021
> Amazon ECS Anywhere
そしておうち ECS クラスターの翻訳記事もでましたのでこちらもどうぞ。https://t.co/Ms2dFRRPsn https://t.co/V9miqHqTM9
コントロールプレーンは今まで通り AWS 上のマネージドなものを使いながら、オンプレミス環境のような AWS 外にある自身のインフラストラクチャでコンテナを実行させることができます。手前味噌ですが詳細は、10/27 に開催された AWS Innovate - Modern Applications Edition で喋った資料をどうぞ!
Step Functions Workflow studio でワークフローを GUI でデザインできるようになりました
2021 年は Step Function 関連でイカしたアップデートがいくつもありましたね。データフローシミュレーター、VS Code で YAML でのステートマシン定義、AWS SDK 統合などなど…その中でもこれが一番テンション上がりました。
導入は GUI で直感的におこない、コードとして生成できます。そのコードを使ってインフラ管理したり、データフローシミュレーターを使って、サンプルデータでシュミレートしてみたりなど、扱いやすいサービスになったなと思います。
Step Functions ファンの皆様お待たせしました。
— はまーん / Shinichi Hama (@track3jyo) June 18, 2021
ワークフローを GUI でデザインできる "Workflow Studio" がマネコンから使えるようになりました!
触ってみましたが、「これだよこれ!」感あります。個人的には上半期一のアップデートじゃないかなと!https://t.co/z2gQmjYhI0 pic.twitter.com/5GLt2fCcQx
Athena で UNLOAD コマンドが使えるようになりました
AWS には ETL の選択肢として Glue、Lambda、MWAA、Redshift など様々ありますが、標準 SQL でサーバーレスに実行できるので、個人的に Athena を使うのが好きです。ただ今まではあくまで CREATE TABLE AS SELECT (CTAS)
でテーブルを作って実現するようなやり方でした。
それが UNLOAD
を使えるようになったことで、クエリの実行結果を指定したフォーマットで保存できるので ETL 処理として非常に扱いやすくなりました!
これもいいなー。
— はまーん / Shinichi Hama (@track3jyo) August 6, 2021
Athena で UNLOAD コマンドが使えるようになりました!クエリ結果を Parquet, Avro, ORC, JSON, あとはCSVのフォーマットでS3に出力できます。CTASと違い
表が作られないので、AthenaをETL的に使う時に重宝しますね。https://t.co/Dw6THubWQF
Contact Lens for Amazon Connect が日本語をサポートしました
「Amazon Connect でコールセンター業務に AI を活用したい!」一度は思い描きますよね。その夢を数クリックで実現するのが Contact Lens for Amazon Connect です。2019年の re:Invent で発表された Amazon Connect の拡張ですが、2021 年 9 月に晴れて日本語での通話に対応しました。
Amazon Connect に関連するところでいうと今年はチャットボット機能を提供する Amazon Lex も日本語対応してテンションが上がりました。
Contact Lens for Amazon Connect が日本語をサポートしました!
— はまーん / Shinichi Hama (@track3jyo) September 14, 2021
数クリックでAmazon connect のコールセンターにリアルタイムの文字起こしや、感情分析といった機能に加えてスーパーバイザー向けの統合されたダッシュボードが提供されまっす。https://t.co/sq2HaPfr6o
ENI にPrefix付与できるように + VPC CNI プラグインがこれに対応しました
EC2 にはインスタンスタイプごとに、付与できる ENI の数と ENI ごとの IP 数に制限があります。ENI に対して /28
の IP プレフィックスを付与できるようになりました。EC2 インスタンスごとに付与できる IP の数を単純に増加できます。
VPC CNI プラグインがこの機能に対応したことで、ワーカーノードごとに起動できる Pod 数の上限を増加できます。利用方法や各パラメータなどについてはツイートした Blog に書いています。
便利な反面、必要以上にノードに対して IPアドレスを Warm するとそれだけ VPC の残 IP から確保されることになるので、IP のご利用は計画的に!
翻訳したよ!
— はまーん / Shinichi Hama (@track3jyo) September 27, 2021
Amazon VPC CNI プラグインで EC2 IP prefixes の割り当て機能を有効にするにあたっての詳細なことを細かく書いてますので、是非ご一読くださいー!
...長いブログだった!!
"Amazon VPC CNI プラグインでノード 1 台に配置可能な Pod 数を増やすために"https://t.co/9T92JkkUTu
AWS Fault Injection Simulator で EC2 Spot インスタンスの中断をトリガーできるようになりました
フルマネージドのカオスエンジニアリングサービスである AWS Fault Injection Simulator が一般利用可能になったのは 2021 年 5 月でした。僕が嬉しかったのはこのサービスに EC2 Spot インスタンスの中断をトリガーできるようになったことです。スポットインスタンス大好きなので、より柔軟に中断処理のテストをできるようになったのは嬉しいです!
おおお!いいじゃん!
— はまーん / Shinichi Hama (@track3jyo) October 21, 2021
フルマネージドのフォールトインジェクション(障害注入)サービスである AWS Fault Injection Simulator (AWS FIS) で EC2 Spot インスタンスの中断をトリガーできるようになりました!https://t.co/yfzmwhno5N
CloudFront / インターネットへのデータ転送料金の無料利用枠が拡大しました
これ一番衝撃だったかもしれない。特に転送料金回りの無料枠が大幅増加して驚きでした。お安く使えるようになるのは僕としても嬉しいです!
なにそれすごい…CloudFront 始まったな。
— はまーん / Shinichi Hama (@track3jyo) November 25, 2021
---
・データ転送量の無料枠が 50GB->1TB+12ヶ月の制限撤廃
・HTTP/HTTPSのリクエスト数無料枠が、200万回->1000万回+ 12ヶ月の制限撤廃
・CloudFront Functions の無料枠の12ヶ月の制限撤廃https://t.co/yY0BPlc31K
加えてCloudFront関係なく、EC2・S3・ELB など AWSリージョンからインターネットへのデータ転送のOutbound 料金の無料枠も 1GB->100GB になります。 https://t.co/yglUvnt8gb
— はまーん / Shinichi Hama (@track3jyo) November 25, 2021
SQS・KDS・DynamoDB Streams から Lambda 関数を呼び出す「前に」メッセージをフィルタリングできるようになりました
Tweet に書いた通りですが、イベントストリーミングを Lambda 関数で処理していく中でコード内にフィルタリング処理を書かなくていいのは単純に嬉しいですし、Lambda 関数の実行回数を減らせるのでお財布にも優しいです。
ただ、このフィルター処理は Lambda サービス側で実施されるので、イベントソース側の読み取りが減るわけではないです。そう考えるとなんでもかんでもこの機能に頼ってやるよりは、そもそもイベントストリームに処理対象ではない不要なデータは流さずできるならそれが一番だなとは思います。
うおおおおこれはいいぞ!
— はまーん / Shinichi Hama (@track3jyo) November 27, 2021
---
📢SQS・KDS・DynamoDB Streams から Lambda 関数を呼び出す「前に」メッセージをフィルタリングできるようになりました!!
- コードの中でレコードのフィルタリング処理を書く必要がなくなる
- 実行回数を減らせるのでコスト削減につながるhttps://t.co/2S8QjfXj75
Redshift Serverless / EMR Serverless / MSK Serverless / Kinesis Data Streams On-Demand
re:Invent 2021 で発表されたアップデートです。詳細は Tweet のスレッドに書いていますが、一言にサーバーレスって言っても、サービスによって意味合いやベストプラクティスが若干異なるので、ぜひ一度 Docs もご覧ください。Redshift Serverless 個人的にめっちゃ期待しています。
✨🆕Redshift Serverless!!✨
— はまーん / Shinichi Hama (@track3jyo) November 30, 2021
✨🆕EMR Serverless!!✨
✨🆕MSK Serverless!!✨
✨🆕Kinesis On-Demand!!✨#reinvent2021 pic.twitter.com/Y4CH9ZZrKq
他に伝えたいアップデートたち (Tweet 関係なし)
- 新サービス AWS App Runner がローンチ
- Amazon EventBridgeで API destinationsが使えるようになりました
- Amazon EKS のクラスター作成時間が40%短縮され、平均すると9分未満くらいで作成が可能になりました
- Amazon DynamoDB が CloudTrail でのアイテムレベルのイベント証跡を取れるようになりました
- Amazon Managed Service for Prometheus (AMP)が一般利用可能になりました
- Amazon Managed Grafana (AMG)が一般利用可能になりました
- アプリケーションに簡単にマップ・ロケーション認識の機能を追加できる Amazon Location Service が一般利用可能になりました
- Graviton2 プロセッサを搭載した Lambda ファンクションを実行できるようになりました
- Amazon S3 が PrivateLink 経由でアクセスできるようになりました
- Amazon EKS のクラスター作成時間が40%短縮され、平均すると9分未満くらいで作成が可能になりました
- Amazon Athena で EXPLAIN 構文がサポートされました
- EKS のマネージドノードグループでワーカーノードへのTaint 設定をサポート
- SQL で機械学習モデルを作成、トレーニング、デプロイ可能な Redshift ML の一般利用可能になりました
- AppSyncで、Lambdaを使ったカスタム認証がご利用可能になりました
- AWS Glue DataBrew が Amazon AppFlow とネイティブ統合で利用可能になりました
- Amazon SNS で最大10メッセージのバッチ処理ができるようになりました
- Amazon Linux の新世代であるAmazon Linux 2022が登場しました
- Docker Hub の Docker 公式イメージが ECR Public から pull できるようになりました
- Amplify Studio がパブリックプレビューでご利用可能になりました
個人的には一番衝撃だったこと
毎秒 5 億回のAPIコール!? pic.twitter.com/ngQsZ7zzHk
— はまーん / Shinichi Hama (@track3jyo) December 2, 2021
おわりに
あなたが嬉しいと感じていたアップデートはありましたか?もしくは見逃していたものはありましたか?今年もたくさんアップデートされるのだと思います(他人事)。今年も楽しい一年になりますように☆彡