EBS

Amazon EBS volume types
SSD の gp2/gp3, io1/io2 は Boot volume として利用できます。
HDD の st1, sc1 は Boot volume として利用できません。
Snapshot
- incremental なバックアップとなっており、複数回取得した際は、差分のみが追加で保存されます。
- 取得する際は EBS の IO を消費します。
- AWS が管理する S3 に保存されます。
- リージョンを跨いで取得できます。DR 対策として活用できます。
- Snapshot をもとに AMI を作成できます。
- Snapshot から EBS をリストアした直後は、pre-warm するとパフォーマンスが出ます。
  - Fast Snapshot Restore (FSR) 機能を利用、または
  - fio/dd コマンドで volume 全体を read します。
- Amazon Data Lifecycle Manager を利用して、取得を自動化できます。
Attach a volume to multiple instances with Amazon EBS Multi-Attach
- 同じ AZ 内の、複数 EC2 インスタンスにアタッチできます。
  - 注意: EBS は、リージョンではなく、AZ 内で動作します。Amazon EBS volumes
- io1/io2 で利用できます。
- アプリ側で concurrent write を管理する必要があります。
  - ext4 といったファイルシステムではなく、clustered file system で利用します。

EFS

複数の EC2 インスタンスにマウントできます。
- 異なる AZ であってもマウントできます。
  - アタッチできる VPC は一つです。
  - AZ 毎に ENI が一つ作成されます。
- オンプレミス上のサーバからもマウントできます。
利用したサイズ GB に応じて料金が発生します。
- 自動でサイズがスケーリングします。
Security Group を設定してでアクセス制御します。
KMS で暗号化します。
POSIX (Linux) ファイルシステムに対応します。
- NFS プロトコルを利用します。
モード Amazon EFS performance
- Performance mode
- Throughput mode
EFS storage classes
- 一定期間アクセスがなければ EFS Standard から Infrequent Access (EFS-IA) に変更する機能が利用できます。Amazon EFS lifecycle management
- Regional (Multi-AZ) と One Zone が選択できます。
Working with Amazon EFS access points
- NFS の特定のディレクトリ毎にアクセスを管理できます。
  - アクセス時の root ディレクトリを変更することもできます。
- アクセスポイントへのアクセス可否
  - POSIX user/group ID で管理できます。
  - IAM Policy でも管理できます。
Resource-based policies
- S3 バケットポリシーと同様に、EFS も resource-based policy に対応しています。

S3

Amazon S3 Storage Classes
- S3 Intelligent-Tiering
  - アクセスパターンが不明なデータのコストを自動的に最適化します。
- S3 Standard
  - アクセス頻度が高いデータ。
- S3 Standard-Infrequent Access (S3 Standard-IA)
  - アクセス頻度が低いデータ。
- S3 One Zone-Infrequent Access (S3 One Zone-IA)
  - アクセス頻度が低いデータ。
- S3 Glacier Instant Retrieval
  - アクセスが想定されないが、即時アクセスが必要なデータ。
- S3 Glacier Flexible Retrieval (formerly S3 Glacier)
  - アクセスが想定されないデータ。
- S3 Glacier Deep Archive
  - アクセスが想定されないデータ。
いずれのストレージクラスも durability (耐久性) は 99.999999999% (11 9's) です。
- オブジェクトが壊れて消失する可能性がほぼ 0 であることを意味します。
- availability (可用性) はストレージクラスによって異なります。
Storage duration
- S3 Standard および S3 Intelligent-Tiering を除き、Storage duration が存在します。
- Storage duration 期間内は、オブジェクトを削除したとしても料金が発生します。
S3 Lifecycle policy
- S3 Intelligent-Tiering が登場する以前から存在する機能です。
- アクセスパターンに応じて、オブジェクトを削除したり、ストレージクラスを変更する機能です。
S3 Outposts What is Amazon S3 on Outposts?
- オンプレミスに設置可能なラックが AWS から貸し出されます。
- パブリッククラウド S3 と同様の機能を、オンプレミスのサーバで実現します。
Replicating objects
- Cross Region Replication (CRR)
- Same Region Replication (SRR)
- S3 バケットバージョニングの有効化が必須です。
  - オブジェクトが変更される際に、過去のバージョンとして保存しておきます。Using versioning in S3 buckets
S3 Event Notifications
- 例: Snowflake / Snowpipe
Best practices design patterns: optimizing Amazon S3 performance
- 1 秒あたりのリクエスト数の上限は、prefix 毎に存在します。バケット毎ではないことに注意します。
Uploading and copying objects using multipart upload
- サイズの大きいオブジェクトを分割して並列にアップロードする機能です。
- 通信障害等でアップロードが完了せず、オブジェクトの一部が残存してしまった場合。
  - AWS CLI の s3api list-multipart-uploads で存在の有無を確認できます。
  - Lifecycle policy で X 日経過したら削除、といった処理を実現できます。
S3 Transfer Acceleration (S3TA)
- CloudFront の Edge Location を利用します。
- インターネットの経路を短縮することで、S3 へのデータアップロードまたはダウンロードを高速化します。Configuring fast, secure file transfers using Amazon S3 Transfer Acceleration
- 料金について
  - インターネットから S3TA を利用した IN および OUT はどちらも料金が発生します。
  - ただし、アップロード(IN) については S3TA を利用しても高速化されないと判定された場合は、S3TA はバイパスされ、通常の S3 アップロードとなります。
  - S3 アップロード(IN) は料金が発生しないため、結果として、その場合の S3TA の料金は無料となります。S3 Transfer Acceleration pricing
- クライアント側のみの設定では利用できず、事前に S3 バケット側でも Transfer Acceleration を有効化しておく必要があります。Getting started with Amazon S3 Transfer Acceleration
Use Byte-Range Fetches
- バイト範囲を指定して、S3 オブジェクトの一部のみを GET する機能です。
- サイズの大きいオブジェクトを分割して並列ダウンロードする、といった使い方もできます。
S3 Select and Glacier Select – Retrieving Subsets of Objects
- S3 サーバ側で SQL によって抽出した結果のみをダウンロードする機能です。
- 例えば CSV ファイル全体をダウンロードして、必要なデータをクライアント側で抽出する場合と比較して、ダウンロードするデータサイズは小さくなります。
- ScanRange パラメータを指定することで、CSV や JSON ファイルの一部のバイト範囲のみを SQL の対象とできます。Filtering and retrieving data using Amazon S3 Select
- Glacier Select は gzip 等で圧縮されたファイルをサポートしません。Querying Archives with S3 Glacier Select
  - S3 Select はサポートします。
S3 はオブジェクトの検索には不向きです。
- S3 にオブジェクトをアップロードした際に Lambda を起動し、検索用のメタデータを DynamoDB Table に保存しておく、という構成が考えられます。
S3 static website
- SSE-KMS 暗号化されたオブジェクトは static website でホステイングできません。
  - KMS 側の仕様として、anonymous なアクセスをサポートしていないためです。
- SSE-S3 による暗号化はサポートされます。
- I'm using the Amazon S3 static website feature but getting an Access Denied error. Why is this happening?

FSx

サードパーティのファイルシステムを AWS で利用するためのサービスです。(補足: EFS は Linux 向けです。)
VPN または Direct Connect 接続された、オンプレミス環境からも利用できます。
FSx for Windows File Server What is FSx for Windows File Server?
- SMB をサポートします。
- NTFS をサポートします。
- マイクロソフト AD と統合できます。
- Linux EC2 インスタンスでもマウントできます。
- Multi-AZ 構成が可能です。
- S3 への日次バックアップがなされます。
FSx for Lustre What is Amazon FSx for Lustre?
- 分散型のファイルシステムです。
- Lustre → Linux + Cluster
- S3 との統合が可能です。Enhanced Amazon S3 Integration for Amazon FSx for Lustre
- Deployment options for FSx for Lustre file systems
  - Scratch file systems
  - Persistent file systems

DataSync

AWS (S3、EFS、FSx 等) へデータを同期するためのサービスです。What is AWS DataSync?
- 同期元の環境において、DataSync エージェントを稼働させます。
- オンプレミスから AWS へのデータ同期に限らず、EFS から EFS へのデータ同期でも活用できます。

Transfer Family

S3/EFS へのデータ転送、または S3/EFS からのデータ取得を FTP で実現するためのサービスです。
- AWS Transfer for FTP
- AWS Transfer for FTPS
- AWS Transfer for SFTP
認証システム (LDAP、AD、Okta、Cognito 等) との統合が可能です。
- サービス内でユーザ管理することも可能です。Working with service-managed users
エンドポイント
- Public → インターネット経由でアクセスします。
- VPCE → VPC 経由でアクセスします。EIP を付与して、インターネット経由でアクセスさせることもできます。