顔のランドマーク検出とドロネー分割 Python + OpenCV + dlib

顔のランドマーク検出とドロネー分割 Python + OpenCV + dlib

2018-11-1712 min read

目次

  1. 概要
  2. 環境
  3. デモ
  4. 説明
  5. 参考

概要

Python + OpenCV + dlib を用いて顔にドロネー図を描画するサンプルを紹介します。

おまけで、カメラから取得した顔画像に描画するサンプルを追加しました。

環境

Python 3.7.0 OpenCV 3.4

デモ

サンプルソース

import cv2
import dlib
import numpy as np

PREDICTOR_PATH = "/path/to/shape_predictor_68_face_landmarks.dat"
predictor = dlib.shape_predictor(PREDICTOR_PATH)

cascade_path='/path/to/haarcascade_frontalface_default.xml'
cascade = cv2.CascadeClassifier(cascade_path)

def get_landmarks(im):
    rects = cascade.detectMultiScale(im, 1.3,5)
    (x,y,w,h) = rects[0]
    rect = dlib.rectangle(x,y,x+w,y+h)
    return np.matrix([[p.x, p.y] for p in predictor(im, rect).parts()])

def annotate_landmarks(im, landmarks):
    im = im.copy()
    for idx, point in enumerate(landmarks):
        pos = (point[0, 0], point[0, 1])
        cv2.putText(im, str(idx), pos,
            fontFace=cv2.FONT_HERSHEY_SCRIPT_SIMPLEX,
            fontScale=0.4,
            color=(255, 0, 0))
        cv2.circle(im, pos, 2, color=(255, 255, 0))
    return im

def rect_contains(rect, point) :
    if point[0] < rect[0] :
        return False
    elif point[1] < rect[1] :
        return False
    elif point[0] > rect[2] :
        return False
    elif point[1] > rect[3] :
        return False
    return True

def draw_delaunay(img, subdiv, delaunay_color ) :

    triangleList = subdiv.getTriangleList()
    size = img.shape
    r = (0, 0, size[1], size[0])

    for t in triangleList :

        pt1 = (t[0], t[1])
        pt2 = (t[2], t[3])
        pt3 = (t[4], t[5])

        if rect_contains(r, pt1) and rect_contains(r, pt2) and rect_contains(r, pt3) :

            cv2.line(img, pt1, pt2, delaunay_color, 1, 16, 0)
            cv2.line(img, pt2, pt3, delaunay_color, 1, 16, 0)
            cv2.line(img, pt3, pt1, delaunay_color, 1, 16, 0)

if __name__ == "__main__" :
    im = cv2.imread('lenna.png')

    height = im.shape[0]
    width = im.shape[1]

    im = cv2.resize(im, (width, height))

    rect = (0, 0, width, height)

    subdiv = cv2.Subdiv2D(rect)

    points = get_landmarks(im)

    for p in points :
        a = np.array(p).ravel()
        subdiv.insert((a[0], a[1]))

    draw_delaunay(im, subdiv, (255, 255, 255) )

    # im = annotate_landmarks(im, points)

    cv2.imshow('result', im)

    cv2.waitKey(0)
    cv2.destroyAllWindows()

実行結果

リアルタイムでカメラ画像を利用する場合

この場合は、メイン部分をいかに書き換えます。

if __name__ == "__main__" :
    cap = cv2.VideoCapture(0)

    while(True):
        try:
            ret, im = cap.read()

            height = im.shape[0] 
            width = im.shape[1] 
            im = cv2.resize(im, (width, height))

            rect = (0, 0, width, height)

            subdiv = cv2.Subdiv2D(rect)

            points = get_landmarks(im)

            for p in points :
                a = np.array(p).ravel()
                subdiv.insert((a[0], a[1]))

            draw_delaunay( im, subdiv, (255, 255, 255) )

            # im = annotate_landmarks(im, points)

            cv2.imshow('Result',im)
            
        except:
            print('error!')        

        if cv2.waitKey(0) & 0xFF == ord('q'):
            break

    cv2.destroyAllWindows()

説明

ざっくりと、

顔検出 → パーツ検出 → ドロネー分割 → 描画

というフローになっています。

dlib

「dlib」と呼ばれるオープンソースの機械学習ライブラリで顔の輪郭および各器官の検出を行います。

https://tech-blog.s-yoshiki.com/2018/10/702/

Subdiv2D

ドロネー三角形の分割の計算にはOpenCVのSubdiv2Dクラスを利用します。

https://tech-blog.s-yoshiki.com/2018/11/734/

参考

https://tech-blog.s-yoshiki.com/2018/11/734/

https://tech-blog.s-yoshiki.com/2018/10/702/

Tags
javascript(109)
linux(54)
node.js(53)
amazon%20aws(47)
typescript(44)
%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0(36)
%E7%94%BB%E5%83%8F%E5%87%A6%E7%90%86(30)
html5(29)
php(24)
centos(24)
python(22)
%E7%AB%B6%E6%8A%80%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0(21)
mac(21)
mysql(20)
canvas(19)
opencv(17)
%E9%9B%91%E8%AB%87(16)
docker(16)
wordpress(15)
atcoder(14)
apache(12)
%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92(12)
%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9(12)
amazon%20s3(12)
red%20hat(12)
prisma(12)
ubuntu(11)
github(10)
git(10)
vue.js(10)
%E7%94%BB%E5%83%8F%E5%87%A6%E7%90%86100%E6%9C%AC%E3%83%8E%E3%83%83%E3%82%AF(10)
mariadb(10)
react(9)
aws%20cdk(9)
css3(8)
%E5%8F%AF%E8%A6%96%E5%8C%96(8)
%E5%B0%8F%E3%83%8D%E3%82%BF(8)
nestjs(8)
amazon%20lightsail(7)
next.js(7)
%E3%83%96%E3%83%AD%E3%82%B0(6)
cms(6)
oracle(6)
perl(6)
gitlab(6)
iam(5)
amazon%20ec2(5)
%E8%B3%87%E6%A0%BC%E8%A9%A6%E9%A8%93(5)
aws%20amplify(5)
curl(4)
Author
githubzennqiita
ただの備忘録です。

※外部送信に関する公表事項