概要
AWSのマイグレーション関連で出てくる、「DataSync」「Storage Gateway」「Transfer Family」あたりのサービスの 違いや使い分けが分からなくなってしまったため整理した際のメモです。
また、それぞれのユースケースをまとめました。
※本記事に記載している内容は2022/05時点のものです。
どちらのサービスを使った方が良いか
似たような機能・サービスを比較してみました。
AWS DataSync と rsync or aws s3 cli
- DataSyncの方が自動化・高速化されている
- AWSストレージサービスに直接統合するのでセキュア
AWS DataSync と S3レプリケーション or S3バッチオペレーション
- 継続的なデータ配信、データパイプライン、データレイクの取り込み、複数バケットの統合 → DataSync
- 特定のバケットへのデータの継続的なレプリケーション → S3レプリケーション
- S3オブジェクトの大規模なバッチオペレーション → S3バッチオペレーション
AWS DataSync と AWS Snowball Edge
- 厳しい帯域制限 → Snowball
- 切断された環境 → Snowball
- その他ネットワーク環境が厳しい → Snowball
- 上記以外 → DataSync
AWS DataSync と AWS Storage Gateway
- 一度きりの移行 → DataSync
- 継続的なデータ更新 → Storage Gateway
DataSync とファイルゲートウェイを組み合わせて利用することでインフラを最小限にしつつシームレスな移行を実現できる
AWS DataSync と Amazon S3 Transfer Acceleration
- アプリケーションが既に Amazon S3 API に統合されていて、大きなファイルを S3 に転送するために高いスループットが必要な場合 → S3 Transfer Acceleration
- 既存のストレージシステム (ネットワーク接続ストレージなど) や変更できない機器 (DNA シーケンサー、ビデオカメラなど) からデータを転送する場合や複数の転送先が必要な場合 → DataSync
AWS Storage Gateway と AWS Transfer Family
- 既にSFTPを利用している場合 → AWS Transfer Family
- NFS/SMBやS3などのDataSync対応サービスの場合 → DataSync
AWS DataSync
AWSのストレージサービスとのデータ転送を高速・簡単・自動で行えるサービス。
ユースケース
- データの迅速な移行
- データ保護
- アーカイブ
- オンプレ-AWS間のワークフローの管理
特徴
- プロトコル: NFS/SMB/HDFS
- NFSに対応するので、EFSやFSxシリーズに対応する
- 移行時の除外パターンを設定できる
- 一回きりの移行だけでなく、長期運用(バックアップ取得)等にも利用可能
- cron式で同期
- エンドツーエンドの暗号化
料金
0.0125USD / GB
AWS Transfer Family
特徴
S3もしくはEFSへのFTP/FTPS/SFTP接続を可能にするサービス。
ユースケース
- ホスティングしているファイルの更新
- データレイクの転送手段
- アプリケーションでの利用等
特徴
- フルマネージド
- AD,LDAP,IDプロバイダなどの認証方式をサポート
料金
- SFTP
- 時間料金: 0.3USD/h
- アップロード: 0.04USD/GB
- ダウンロード: 0.04USD/GB
- FTPS
- 時間料金: 0.3USD/h
- アップロード: 0.04USD/GB
- ダウンロード: 0.04USD/GB
- SFTP
- 時間料金: 0.3USD/h
- アップロード: 0.04USD/GB
- ダウンロード: 0.04USD/GB
AWS Storage Gateway
特徴
分類
- 4種類のゲートウェイのタイプが存在
- ファイルゲートウェイ
- ボリュームゲートウェイ (2方式)
- Gateway-Stored Volumes
- Gateway-Cached Volumes
- テープゲートウェイ
- Amazon FSx ファイルゲートウェイ
分類ごとの特徴
- ファイルゲートウェイ
- プロトコル: NFS
- 出力先: S3
- ライフサイクルポリシー、バージョニング、クロ スリージョンレプリケーション等が利用可能
- 更新データは非同期で転送
- S3をバックエンドストレージとして利用
- ボリュームゲートウェイ
- プロトコル: iSCSIブロックストレージ
- 出力先: S3
- アクセス頻度の高いデータは、キャッシュとしてローカルに保持
- オンプレミス側のStorage Gatewayへのリストア、もしくはAWS上のEC2 Gatewayへのリストアも可能
- Gateway-Stored
- 更新データは非同期で転送
- Gateway-Cached
- アクセス頻度の高いデータは、キャッシュとしてローカルに保持
- テープゲートウェイ
- 物理テープライブラリ(VTL)
- 出力先: S3
- Amazon FSx ファイルゲートウェイ
- 4種類 (2022/06時点)
- Amazon FSx for Windows File Server
- Amazon FSx for Lustre
- Amazon FSx for OpenZFS
- Amazon FSx for NetApp ONTAP
| Type | 利用用途 | 動作環境環境 |
|---|---|---|
| ファイルゲートウェイ | NFSを通してオンプレのファイルをAWSへ移行し活用 | AWS/オンプレ |
| ボリュームゲートウェイ(Stored) | オンプレからAWSへのDRを目的とし、オンプレの特定ディスクボリュームを自動でAWSに複製 | オンプレ |
| ボリュームゲートウェイ(Cached) | 1ボリューム最大32TBが実現できるローカルキャッシュスとして利用 | オンプレ/AWS |
| テープゲートウェイ | 物理テープライブラリの代替として、バックアップSWと組み合わせたクラウドデータバックアップとして利用 | オンプレ/AWS |
より詳細な情報はblackbeltを参照ください。
ユースケース
- データレイクへの格納
- ファイル共有のモダナイズ
- オンプレ→AWSへバックアップ
料金
- S3ファイルゲートウェイ
- リクエスト: 0.01USD/1GB + S3利用料金
- ストレージ: S3利用料金
- FSx ファイルゲートウェイ
- ゲートウェイ: 0.69USD/1時間
- ストレージ: Amazon FSx利用料金
- ボリュームゲートウェイ
- ボリュームストレージ: 0.025USD/1GB + EBSスナップショット料金
- リクエスト: 0.01USD/1GB
- テープゲートウェイ
- ストレージ
- VTL: 0.025USD
- VTL(S3 Glacier Flexible Retrieval): 0.0045USD
- VTL(S3 Glacier Deep Archive ): 0.002USD
- ストレージ
参考サイト
現在の選び方を整理
各サービスの役割は重なるように見えますが、判断軸を「誰が、どのプロトコルで、継続的に使うか」に置くと選びやすくなります。
| 要件 | 第一候補 | 理由 |
|---|---|---|
| オンプレ・他クラウドから大量データを移行・同期 | AWS DataSync | エージェントまたはサービス間で転送を自動化し、検証・帯域制御・スケジュールを扱える |
| 利用者や取引先へSFTP/FTPS/FTPエンドポイントを提供 | AWS Transfer Family | 既存クライアントのプロトコルを維持しながらS3/EFSへ保存できる |
| オンプレのNFS/SMB/iSCSI/仮想テープ運用をAWSストレージへ接続 | AWS Storage Gateway | ローカルキャッシュを持つハイブリッドストレージとして継続利用できる |
| オフラインで運ぶほど大容量・回線が細い | AWS Snow Family | 物理デバイスによる移行を検討 |
| S3バケット間を継続複製 | S3 Replication | S3ネイティブな複製が目的なら構成が単純 |
「一度だけ移す」のか「毎日同期する」のか、「管理者が移行する」のか「外部ユーザーへ転送口を提供する」のかを最初に決めます。
導入前チェックリスト
- 転送元・転送先の容量、ファイル数、平均ファイルサイズ
- 許容停止時間と差分同期の要否
- 必要なNFS/SMB/SFTPなどのプロトコル
- 専用線、VPN、インターネットの帯域と転送時間
- 保存先のS3ストレージクラス、ライフサイクル、暗号化
- IAMロールとネットワーク経路を最小権限にできるか
- 転送後の整合性検証、ログ、再実行方法
- データ転送量だけでなく、リクエスト・保存・ゲートウェイ稼働を含む総額
本文の料金例は執筆時点のものです。リージョン、転送方向、ストレージ、リクエストで変わるため、設計時は各サービスの料金ページとAWS Pricing Calculatorで再計算してください。
