[AWS]DataSync/Storage Gateway/Transfer Familyの比較とユースケース

[AWS]DataSync/Storage Gateway/Transfer Familyの比較とユースケース

2022-05-294 min read

目次

  1. 概要
  2. どちらのサービスを使った方が良いか
  3. aws-datasync
  4. aws-transfer-family
  5. aws-storage-gateway
  6. 参考サイト

概要

AWSのマイグレーション関連で出てくる、「DataSync」「Storage Gateway」「Transfer Family」あたりのサービスの 違いや使い分けが分からなくなってしまったため整理した際のメモです。

また、それぞれのユースケースをまとめました。

※本記事に記載している内容は2022/05時点のものです。

どちらのサービスを使った方が良いか

似たような機能・サービスを比較してみました。

AWS DataSync と rsync or aws s3 cli

  • DataSyncの方が自動化・高速化されている
  • AWSストレージサービスに直接統合するのでセキュア

AWS DataSync と S3レプリケーション or S3バッチオペレーション

  • 継続的なデータ配信、データパイプライン、データレイクの取り込み、複数バケットの統合 → DataSync
  • 特定のバケットへのデータの継続的なレプリケーション → S3レプリケーション
  • S3オブジェクトの大規模なバッチオペレーション → S3バッチオペレーション

AWS DataSync と AWS Snowball Edge

  • 厳しい帯域制限 → Snowball
  • 切断された環境 → Snowball
  • その他ネットワーク環境が厳しい → Snowball
  • 上記以外 → DataSync

AWS DataSync と AWS Storage Gateway

  • 一度きりの移行 → DataSync
  • 継続的なデータ更新 → Storage Gateway

DataSync とファイルゲートウェイを組み合わせて利用することでインフラを最小限にしつつシームレスな移行を実現できる

AWS DataSync と Amazon S3 Transfer Acceleration

  • アプリケーションが既に Amazon S3 API に統合されていて、大きなファイルを S3 に転送するために高いスループットが必要な場合 → S3 Transfer Acceleration
  • 既存のストレージシステム (ネットワーク接続ストレージなど) や変更できない機器 (DNA シーケンサー、ビデオカメラなど) からデータを転送する場合や複数の転送先が必要な場合 → DataSync

AWS Storage Gateway と AWS Transfer Family

  • 既にSFTPを利用している場合 → AWS Transfer Family
  • NFS/SMBやS3などのDataSync対応サービスの場合 → DataSync

AWS DataSync

AWS DataSync

AWSのストレージサービスとのデータ転送を高速・簡単・自動で行えるサービス。

ユースケース

  • データの迅速な移行
  • データ保護
  • アーカイブ
  • オンプレ-AWS間のワークフローの管理

特徴

  • プロトコル: NFS/SMB/HDFS
    • NFSに対応するので、EFSやFSxシリーズに対応する
  • 移行時の除外パターンを設定できる
  • 一回きりの移行だけでなく、長期運用(バックアップ取得)等にも利用可能
    • cron式で同期
  • エンドツーエンドの暗号化

料金

0.0125USD / GB

詳細

AWS Transfer Family

特徴

S3もしくはEFSへのFTP/FTPS/SFTP接続を可能にするサービス。

ユースケース

  • ホスティングしているファイルの更新
  • データレイクの転送手段
  • アプリケーションでの利用等

特徴

  • フルマネージド
  • AD,LDAP,IDプロバイダなどの認証方式をサポート

料金

  • SFTP
    • 時間料金: 0.3USD/h
    • アップロード: 0.04USD/GB
    • ダウンロード: 0.04USD/GB
  • FTPS
    • 時間料金: 0.3USD/h
    • アップロード: 0.04USD/GB
    • ダウンロード: 0.04USD/GB
  • SFTP
    • 時間料金: 0.3USD/h
    • アップロード: 0.04USD/GB
    • ダウンロード: 0.04USD/GB

AWS Storage Gateway

特徴

分類

  • 4種類のゲートウェイのタイプが存在
    • ファイルゲートウェイ
    • ボリュームゲートウェイ (2方式)
      • Gateway-Stored Volumes
      • Gateway-Cached Volumes
    • テープゲートウェイ
    • Amazon FSx ファイルゲートウェイ

分類ごとの特徴

  • ファイルゲートウェイ
    • プロトコル: NFS
    • 出力先: S3
      • ライフサイクルポリシー、バージョニング、クロ スリージョンレプリケーション等が利用可能
    • 更新データは非同期で転送
    • S3をバックエンドストレージとして利用
  • ボリュームゲートウェイ
    • プロトコル: iSCSIブロックストレージ
    • 出力先: S3
    • アクセス頻度の高いデータは、キャッシュとしてローカルに保持
    • オンプレミス側のStorage Gatewayへのリストア、もしくはAWS上のEC2 Gatewayへのリストアも可能
    • Gateway-Stored
      • 更新データは非同期で転送
    • Gateway-Cached
      • アクセス頻度の高いデータは、キャッシュとしてローカルに保持
  • テープゲートウェイ
    • 物理テープライブラリ(VTL)
    • 出力先: S3
  • Amazon FSx ファイルゲートウェイ
    • 4種類 (2022/06時点)
    • Amazon FSx for Windows File Server
    • Amazon FSx for Lustre
    • Amazon FSx for OpenZFS
    • Amazon FSx for NetApp ONTAP
Type 利用用途 動作環境環境
ファイルゲートウェイ NFSを通してオンプレのファイルをAWSへ移行し活用 AWS/オンプレ
ボリュームゲートウェイ(Stored) オンプレからAWSへのDRを目的とし、オンプレの特定ディスクボリュームを自動でAWSに複製 オンプレ
ボリュームゲートウェイ(Cached) 1ボリューム最大32TBが実現できるローカルキャッシュスとして利用 オンプレ/AWS
テープゲートウェイ 物理テープライブラリの代替として、バックアップSWと組み合わせたクラウドデータバックアップとして利用 オンプレ/AWS

より詳細な情報はblackbeltを参照ください。

ユースケース

  • データレイクへの格納
  • ファイル共有のモダナイズ
  • オンプレ→AWSへバックアップ

料金

  • S3ファイルゲートウェイ
    • リクエスト: 0.01USD/1GB + S3利用料金
    • ストレージ: S3利用料金
  • FSx ファイルゲートウェイ
    • ゲートウェイ: 0.69USD/1時間
    • ストレージ: Amazon FSx利用料金
  • ボリュームゲートウェイ
    • ボリュームストレージ: 0.025USD/1GB + EBSスナップショット料金
    • リクエスト: 0.01USD/1GB
  • テープゲートウェイ
    • ストレージ
      • VTL: 0.025USD
      • VTL(S3 Glacier Flexible Retrieval): 0.0045USD
      • VTL(S3 Glacier Deep Archive ): 0.002USD

詳細

参考サイト

Recommends
[AWS]Lambda vs Fargate. APIを実装する場合に思うこと
2022-07-30
amazon%20aws
amazon%20ecs
%E9%9B%91%E8%AB%87
[AWS CDK] Cognito の OIDC プロバイダに Auth0 を設定
2022-07-03
auth0
amazon%20aws
aws%20cdk
Amazon S3 でライフサイクルポリシーを設定する
2022-06-19
amazon%20aws
amazon%20s3
AWS Certified Developer Associate に合格した
2022-06-19
amazon%20aws
%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93
AWS SAPに合格しました
2022-06-11
amazon%20aws
%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93
[AWS]DataSync/Storage Gateway/Transfer Family...
2022-05-29
amazon%20aws
[AWS CDK]ECS FargateでNestJSで作成したRESTfull APIデ...
2022-05-24
nestjs
amazon%20aws
aws%20cdk
[AWS CDK]S3 CloudFront OAI Route53 構成 で NextJ...
2022-05-23
amazon%20aws
aws%20cdk
typescript
[CDK]SNS+SQS+DynamoDBでBounceとComplaint情報を収集する...
2022-04-11
amazon%20aws
node.js
typescript
[AmazonSES] node.js と ejs を利用してEメールを送信する
2022-04-09
javascript
node.js
amazon%20aws
GatsbyからNext.jsへのサイト移行
2022-04-04
next.js
gatsby
amazon%20aws
[AWS CDK] Lambda で S3 オブジェクトを読み書きするStackの構築
2022-03-18
aws%20cdk
amazon%20aws
typescript
[AWS CDK] S3 + CloudFrontの構築とOriginAccessIden...
2022-03-09
amazon%20aws
aws%20cdk
typescript
[AWS CDK] Bastion(踏み台)構築。SSMとEC2InstanceConne...
2022-03-06
amazon%20aws
aws%20cdk
node.js
[AWS CDK] Cognito を構築
2022-03-04
amazon%20aws
aws%20cdk
node.js
New Posts
[JS]Intl.DateTimeFormatで和暦と西暦を変換
2022-08-18
javascript
[NestJS]少し大きな規模のRESTfull APIを構築するディレクトリ構成を考えて...
2022-09-04
nestjs
typescript
%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3
Prisma MySQL でUTC以外の任意のタイムゾーンを利用するのが難しい件
2022-08-08
prisma
typescript
mysql
Prisma TypeScript MySQLなプロジェクトの構築
2022-08-08
prisma
typescript
mysql
Prisma TypeScript SQLiteなプロジェクトの構築
2022-08-06
prisma
typescript
sqlite
[AWS]Lambda vs Fargate. APIを実装する場合に思うこと
2022-07-30
amazon%20aws
amazon%20ecs
%E9%9B%91%E8%AB%87
macOSにzigをインストールしてHello World!する
2022-07-18
zig
mac
[AWS CDK] Cognito の OIDC プロバイダに Auth0 を設定
2022-07-03
auth0
amazon%20aws
aws%20cdk
Amazon S3 でライフサイクルポリシーを設定する
2022-06-19
amazon%20aws
amazon%20s3
AWS Certified Developer Associate に合格した
2022-06-19
amazon%20aws
%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93
Fisher-Yates shuffleで配列シャッフル [js/ts/php]
2022-06-19
javascript
node.js
typescript
JavaScriptでUTF-16コードを文字列に変換
2022-06-18
javascript
node.js
[JS]乱数でランダムな整数を生成する
2022-06-18
javascript
node.js
[JS]BigIntでMathが使えない件
2022-06-12
javascript
node.js
atcoder
AWS SAPに合格しました
2022-06-11
amazon%20aws
%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93
Hot posts!
Proxy環境下でcurlを実行する
2019-12-07
linux
curl
OpenCVのMatのタイプ一覧表
2018-11-25
%E7%94%BB%E5%83%8F%E5%87%A6%E7%90%86
opencv
Macでも利用できるDBクライアント MySQL PostgreSQL Oracle など
2019-12-21
linux
%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9
mysql
TablePlusを使ってみる。シンプルでモダンなSQLクライアントツール
2018-09-30
%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9
DBクライアントツールはDBeaverをおすすめしたい
2021-03-08
oracle
mysql
sqlite
AWS S3のアクセスキーIDとシークレットアクセスキーの取得 作業用ユーザを作成
2019-06-12
amazon%20aws
linux
amazon%20s3
AtCoderで初めて色がつくまでの話(茶色) レートが中々上がらなかった原因
2018-11-25
%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0
%E7%AB%B6%E6%8A%80%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0
%E9%9B%91%E8%AB%87
CentOS8でEPELとPowerToolsリポジトリの有効化
2020-11-30
centos
red%20hat
EPEL
Macでターミナルからポートスキャンを行う方法。
2018-12-09
linux
mac
apple
Python + OpenCVのfillConvexPolyで複雑なポリゴンを描画する
2018-11-27
python
%E7%94%BB%E5%83%8F%E5%87%A6%E7%90%86
opencv
Date
▶︎
2022 年 (39)
▶︎
2021 年 (40)
▶︎
2020 年 (30)
▶︎
2019 年 (90)
▶︎
2018 年 (89)
▶︎
2017 年 (1)
Tags
javascript(98)
amazon%20aws(47)
linux(47)
node.js(38)
%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0(36)
%E7%94%BB%E5%83%8F%E5%87%A6%E7%90%86(30)
html5(29)
typescript(28)
php(24)
centos(24)
python(22)
%E7%AB%B6%E6%8A%80%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0(21)
mysql(19)
mac(19)
canvas(18)
opencv(17)
%E9%9B%91%E8%AB%87(16)
wordpress(15)
atcoder(14)
docker(14)
apache(12)
%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92(12)
%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9(12)
amazon%20s3(12)
red%20hat(12)
ubuntu(11)
github(10)
git(10)
vue.js(10)
%E7%94%BB%E5%83%8F%E5%87%A6%E7%90%86100%E6%9C%AC%E3%83%8E%E3%83%83%E3%82%AF(10)
mariadb(10)
aws%20cdk(9)
css3(8)
%E5%8F%AF%E8%A6%96%E5%8C%96(8)
%E5%B0%8F%E3%83%8D%E3%82%BF(8)
amazon%20lightsail(7)
react(7)
%E3%83%96%E3%83%AD%E3%82%B0(6)
cms(6)
oracle(6)
perl(6)
gitlab(6)
next.js(6)
iam(5)
amazon%20ec2(5)
%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93(5)
aws%20amplify(5)
curl(4)
webassembly(4)
ssh(4)
Author
s-yoshiki
s-yoshiki
githubzenntwitterqiita
ただの備忘録です。
JavaScript/TypeScript/node.js/React/AWS/OpenCV
※このブログの内容は個人の見解であり、所属する組織等の見解ではありません。