本文へスキップ

画像処理100本ノック:画像分類と物体検出(Q.84〜100)

約 10 分
AIで生成された記事

概要

Q.84〜100では、色ヒストグラムによる分類から、k-means、ニューラルネットワークを使った物体検出までを実装します。 特徴量、学習、予測、重複候補の整理、評価を一連の流れとしてまとめました。

シリーズは次の4記事です。

Q.84〜87 色ヒストグラムとk-NN

Q.84〜87では、画像を色ヒストグラムの特徴ベクトルへ変換し、距離にもとづくクラス分類、 Accuracyによる評価、k-NNへ発展させます。

色ヒストグラムを特徴量にする(Q.84)

RGB各チャンネルを4階調へ減色し、チャンネルごとに4ビンのヒストグラムを作ります。 画像1枚は合計12次元のベクトルになります。

[R0, R1, R2, R3, G0, G1, G2, G3, B0, B1, B2, B3]

画素をそのまま比較する場合と異なり、画像内で物体の位置が少し変わっても色の分布が近ければ 似た特徴になります。一方、空間的な配置は失われます。

最近傍のクラスを選ぶ(Q.85)

テスト画像と各学習画像の特徴ベクトル間で距離を計算し、最も近い学習画像のラベルを予測値に します。

const distance = Math.sqrt(
  feature.reduce((sum, value, i) => sum + (value - train[i]) ** 2, 0),
);

Accuracyで評価する(Q.86)

予測ラベルと正解ラベルを比較し、正解数をテスト画像数で割ります。分類器を作るだけでなく、 同じデータと指標で変更前後を比べられるようにします。

k-NNへ拡張する(Q.87)

最も近い1件だけでなく、距離が近いk件のラベルで多数決します。1つの学習画像のノイズや 外れ値に予測が左右されにくくなります。同数の場合の規則やkの選び方も結果へ影響します。

特徴量を比較可能にする

画像サイズや前景面積が異なるとヒストグラムの総和も変わります。画素数で割って確率分布へ 正規化すると、大きさではなく分布の形を比較できます。各次元の尺度が異なる特徴量を追加する場合は、 標準化しないと数値範囲の大きい次元だけが距離を支配します。

ユークリッド距離は実装しやすい一方、ヒストグラムにはL1距離、カイ二乗距離、コサイン類似度なども 使われます。同じ学習・テスト分割で指標を交換し、Accuracyだけでなく混同行列も確認すると、 どのクラス同士を誤りやすいかが分かります。

kの選択とデータ分割

小さいkは局所的な形を捉えますがノイズに敏感で、大きいkは滑らかになる代わりに少数クラスを 見落としやすくなります。kはテストデータで直接選ばず、学習データ内の検証用データや交差検証で 決めます。

同じ元画像から切り出した類似画像が学習側とテスト側へ分かれると、未知画像への性能より高く 見積もられます。データ拡張前の画像単位で分割することが、実装上の重要な注意点です。

Q.88〜92 k-meansクラスタリングと減色

Q.88〜92ではk-means法を実装します。前半は画像ごとの特徴ベクトルをクラスタリングし、 後半は画像内の全画素をRGB空間でクラスタリングして代表色へ減色します。

k-meansの反復処理

k-meansは次の2処理を、割り当てが変わらなくなるまで繰り返します。

  1. 各データを最も近い重心へ割り当てる
  2. クラスタ内のデータの平均から重心を更新する
while (changed) {
  changed = assignNearestCentroid(features, centroids, labels);
  centroids = updateCentroids(features, labels, k);
}

画像特徴のクラスタリング(Q.88〜90)

問題 内容
Q.88 ランダムな初期ラベルからクラスタごとの重心を作る
Q.89 再割り当てと重心更新を収束まで繰り返す
Q.90 初期ラベルを変え、結果の変化を確認する

入力にはQ.84と同じ色ヒストグラム特徴を使います。正解ラベルを使わず、色分布の近い画像が 同じグループへ集まるかを確認します。

画像のk-means減色(Q.91、Q.92)

画像1枚の各画素をRGBの3次元データとして扱います。Q.91では5個の初期代表色を選び、各画素を 最も近い色へ分類します。Q.92では代表色をクラスタ内画素の平均へ更新し、収束まで繰り返します。

最後に各画素を所属クラスタの代表色で置き換えると、画像全体を5色で表現できます。Q.6の 固定した4階調への減色と違い、入力画像の色分布に応じた代表色が得られます。

初期値と空クラスタ

k-meansは初期重心によって局所解が変わります。クラスタへ画素が1つも割り当てられない場合の 処理も必要です。実装を読むときは、収束条件、初期化、空クラスタの扱いを確認します。

k-meansの反復を実装する

1回の反復は、各データを最も近い重心へ割り当てるステップと、クラスタ内の平均で重心を更新する ステップから成ります。データ数をN、クラスタ数をK、次元数をD、反復回数をIとすると、 おおよその計算量はO(I × N × K × D)です。

重心の移動量が許容値未満になったら終了し、最大反復回数も設定します。所属ラベルが変わらなくなる ことを収束条件にしても構いません。浮動小数点の重心を毎回整数へ丸めると早く停滞するため、 計算中は小数のまま保持し、表示時だけ丸めます。

初期化と再現性

完全な乱択より、互いに離れた初期重心を選びやすいk-means++を使うと悪い局所解を減らせます。 比較実験では乱数シードを固定し、複数シードの最終誤差も記録します。

空クラスタが生じた場合は、最も誤差の大きい点を新しい重心にする、既存重心から離れた点を選ぶ、 そのクラスタを維持する、などの方針があります。どの方法でも無言でNaNを作らないことが重要です。

画像減色ではRGBの距離が知覚上の色差と一致しない場合があります。結果を発展させるならLab色空間で クラスタリングし、RGBへ戻して表示する方法も比較できます。

Q.93〜100 HOGと物体検出

Q.93〜100では、正解矩形の評価、学習データ作成、ニューラルネットワーク、HOG、 スライディングウィンドウ、NMSを組み合わせて簡単な物体検出を完成させます。

IoUと学習データ作成(Q.93、Q.94)

2つの矩形の重なりをIntersection over Unionで表します。

IoU = 共通部分の面積 / 和集合の面積

Q.94では画像から60×60の領域をランダムに200個切り出します。正解矩形とのIoUが0.5以上なら 正例、それ以外を負例とし、各領域からHOG特徴量を作ります。

ニューラルネットワーク(Q.95、Q.96)

Q.95では2つの隠れ層を持つ全結合ネットワークを作り、XORで順伝播と誤差逆伝播を確認します。 Q.96では入力をランダムクロップのHOG特徴量へ替え、顔・非顔の2クラスを学習します。

実装は入力層、隠れ層、出力層の重みとバイアスを配列で持ち、勾配降下法で更新します。 ライブラリへ隠れがちな学習処理を数値計算として追える構成です。

スライディングウィンドウ検出(Q.97、Q.98)

3種類の大きさの窓を画像上で4画素ずつ移動し、各領域を32×32へ縮小してHOGを計算します。 Q.98では特徴量を学習済みネットワークへ入力し、スコア0.7以上の矩形を検出候補にします。

画像
  ↓ 複数サイズの窓を走査
32×32へリサイズ
  ↓
HOG特徴量
  ↓
ニューラルネットワーク
  ↓
候補矩形とスコア

NMSで重複候補を除く(Q.99)

候補をスコアの高い順に並べます。高スコアの矩形とIoUが0.25以上の低スコア候補を削除し、 同じ物体の周囲に重なって出た複数の枠を1つへ絞ります。

Recall・Precision・F-score・mAP(Q.100)

正解矩形とIoU 0.5以上の検出をTrue Positiveとして評価します。

指標 見ているもの
Recall 正解物体をどれだけ見つけたか
Precision 検出結果のうち正解がどれだけあるか
F-score RecallとPrecisionの調和平均
AP / mAP スコア閾値を変えたときのPrecision-Recall全体

IoUとNMSを実装する

2つの矩形の交差幅・高さは負にならないよう0でクランプし、IoUを求めます。

intersection = max(0, right - left) × max(0, bottom - top)
union = areaA + areaB - intersection
IoU = union > 0 ? intersection / union : 0

NMSでは候補をスコアの降順に並べ、最高スコアの矩形を採用し、IoUが閾値以上の残り候補を除外する 処理を繰り返します。クラスごとに適用しないと、重なっている別クラスの物体まで消す場合があります。 候補数が多いと矩形比較が二乗で増えるため、低スコア候補を先に除くことも重要です。

学習処理の数値安定性

シグモイドは大きな正負の値で指数計算がオーバーフローしやすいため、入力の符号で式を分けるか クランプします。Softmaxは最大ロジットを全要素から引いてから指数を取ると安定します。 損失がNaNになった場合は学習率だけでなく、特徴量の正規化、空の学習バッチ、0除算も確認します。

正例と負例の数が大きく違う場合、Accuracyだけでは全件を負例と予測するモデルが良く見えます。 サンプリング比率を記録し、Precision、Recall、PR曲線を合わせて評価します。

評価時の重複カウントを防ぐ

1つの正解矩形へ複数の検出が重なっても、True Positiveは1件だけです。スコア順に検出を処理し、 まだ対応付けられていない正解のうちIoUが最大のものへ1対1で割り当てます。残りの重複検出は False Positiveになります。

このシリーズはHOGと小規模な分類器で検出パイプラインの原理を学ぶ構成です。実運用ではCNN系の 検出器、データセットの偏り、推論速度、モデル更新後の監視まで含めた設計が必要になります。

まとめ

Q.84〜100では、特徴量を使った分類から、学習済みモデルによる物体検出とその評価までをつなぎます。 デモとソースを確認しながら、分類だけでなく候補の整理と評価方法まで追うことで、画像認識の流れを 一通り把握できます。シリーズ全体の案内は第1記事にあります。

おすすめの記事

最新の記事

著者について

404

s-yoshiki

ただの備忘録です。

※外部送信に関する公表事項