
Amazon S3 と ローカルファイルのチェックサムの比較
2020-07-245 min read
目次
概要
Amazon S3 の Etagを使ってファイルの整合性チェックをする。
s3apiでEtagを取得
S3 APIを利用するとEtagを取得します。この値はmd5のハッシュ値になります。
$ aws s3api head-object --bucket hoge-bucket --key index.html
{
"AcceptRanges": "bytes",
"LastModified": "Sat, 11 Jul 2020 16:29:05 GMT",
"ContentLength": 54331,
"ETag": "\"177238eb55e3042bf9cbecf3ba5aaf35\"",
"ContentType": "text/html",
"Metadata": {}
}
検証
MD5の値は、md5コマンドであれば
$ md5 index.html
MD5 (index.html) = 177238eb55e3042bf9cbecf3ba5aaf35
opensslコマンドであれば
$ openssl md5 index.html
MD5(index.html)= 177238eb55e3042bf9cbecf3ba5aaf35
phpであれば
php > echo hash_file('md5', 'index.html');
177238eb55e3042bf9cbecf3ba5aaf35
php > echo md5_file('index.html');
177238eb55e3042bf9cbecf3ba5aaf35
マルチアップロード時の注意点
s3にマルチパートアップロードされた際のEtagの値は通常のmd5値と異なるようです。
What is the algorithm to compute the Amazon-S3 Etag for a file larger than 5GB?
phpで対応する場合の実装
function calculate_aws_etag($filename, $chunksize)
{
$chunkbytes = $chunksize*1024*1024;
if (filesize($filename) < $chunkbytes) {
return md5_file($filename);
} else {
$md5s = array();
$handle = fopen($filename, 'rb');
if ($handle === false) {
return false;
}
while (!feof($handle)) {
$buffer = fread($handle, $chunkbytes);
$md5s[] = md5($buffer);
unset($buffer);
}
fclose($handle);
$concat = '';
foreach ($md5s as $indx => $md5) {
$concat .= hex2bin($md5);
}
return md5($concat) .'-'. count($md5s);
}
}
$etag = calculate_aws_etag('path/to/myfile.ext', 8);
Recommends
Amazon S3 と ローカルファイルのチェックサムの比較
2020-07-24
Ubuntu18.04にApache MariaDB PHP7.2 をセットアップ
2019-07-29
AWS Amplify で コンテナベースのデプロイを行い REST API を構築
2021-07-26
PHP-FPM(php7.4) Apache2.4 on Ubutnu20.04 Webサ...
2021-01-19
UNIXドメインソケット通信 vs INETドメインソケット通信 php-fpmで動作させ...
2021-01-10
AWS System Manager(SSM)でEC2にSSHを実行! ポート解放なし
2019-08-14
AWS S3のオブジェクト一覧をPHPで表示させる
2019-06-19
AWS S3のアクセスキーIDとシークレットアクセスキーの取得 作業用ユーザを作成
2019-06-12
AWS Lightsail + bitnami に自作アプリケーションを作って共存させる ...
2018-08-18
【WordPress】ソースコードから編集してhttps対応URLに変更
2018-02-10
[AWS CDK]ECS FargateでNestJSで作成したRESTfull APIデ...
2022-05-24
[AWS CDK]S3 CloudFront OAI Route53 構成 で NextJ...
2022-05-23
[CDK]SNS+SQS+DynamoDBでBounceとComplaint情報を収集する...
2022-04-11
[AmazonSES] node.js と ejs を利用してEメールを送信する
2022-04-09
GatsbyからNext.jsへのサイト移行
2022-04-04
New Posts
[AWS CDK]ECS FargateでNestJSで作成したRESTfull APIデ...
2022-05-24
[AWS CDK]S3 CloudFront OAI Route53 構成 で NextJ...
2022-05-23
[CDK]SNS+SQS+DynamoDBでBounceとComplaint情報を収集する...
2022-04-11
[AmazonSES] node.js と ejs を利用してEメールを送信する
2022-04-09
GatsbyからNext.jsへのサイト移行
2022-04-04
[AWS CDK] Lambda で S3 オブジェクトを読み書きするStackの構築
2022-03-18
[AWS CDK] S3 + CloudFrontの構築とOriginAccessIden...
2022-03-09
[AWS CDK] Bastion(踏み台)構築。SSMとEC2InstanceConne...
2022-03-06
[AWS CDK] Cognito を構築
2022-03-04
AWS CDK v2 でVPC上にAPI Gateway + Lambda + RDS +...
2022-02-28
javascriptで累積和を解く
2022-02-27
AWS Amplify で monorepo を導入し 単一リポジトリで複数プロジェクトを...
2022-02-25
AWS CDK v2 で Lambda関数のデプロイ
2022-02-23
NextJSでDevToysのようなものを作成した
2022-02-22
JSで動的計画法を利用して部分和問題を解く
2022-02-20
Hot posts!
Proxy環境下でcurlを実行する
2019-12-07
OpenCVのMatのタイプ一覧表
2018-11-25
Macでも利用できるDBクライアント MySQL PostgreSQL Oracle など
2019-12-21
TablePlusを使ってみる。シンプルでモダンなSQLクライアントツール
2018-09-30
DBクライアントツールはDBeaverをおすすめしたい
2021-03-08
AWS S3のアクセスキーIDとシークレットアクセスキーの取得 作業用ユーザを作成
2019-06-12
AtCoderで初めて色がつくまでの話(茶色) レートが中々上がらなかった原因
2018-11-25
CentOS8でEPELとPowerToolsリポジトリの有効化
2020-11-30
Macでターミナルからポートスキャンを行う方法。
2018-12-09
Python + OpenCVのfillConvexPolyで複雑なポリゴンを描画する
2018-11-27
Date
▶︎
2022 年 (23)
▶︎
2021 年 (40)
▶︎
2020 年 (30)
▶︎
2019 年 (90)
▶︎
2018 年 (89)
▶︎
2017 年 (1)
Tags
Author