OpenCVで特徴点マッチングを行い、一方の画像がどこにあるかをボックスで表示するC++のサンプルを探していたところ、下のページに行き着きました。
しかし、OpenCV2時代のものらしく動かなかったので、今回OpenCV3用に修正しました。
どうやらOpenCV3からは特徴点の種類を簡単に変更できるようにするため、クラスの構成が変更されたみたいです。
OpenCV3用に修正したプログラム
#include <opencv2/opencv.hpp>
#include <opencv2/core/core.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv/cv.hpp>
// --------------------------------------------------------------------------
// main(Number of arguments, Argument values)
// Description : This is the entry point of the program.
// Return value : SUCCESS:0 ERROR:-1
// --------------------------------------------------------------------------
int main(int argc, char **argv)
{
// ORB
auto detector = cv::ORB::create();
// 読み込み
cv::Mat image1 = cv::imread("box.png");
cv::Mat image2 = cv::imread("box_in_scene.png");
// 特徴点1
std::vector<cv::KeyPoint> keypointsA;
cv::Mat descriptorsA;
detector->detectAndCompute(image1, cv::noArray(), keypointsA, descriptorsA);
// 特徴点2
std::vector<cv::KeyPoint> keypointsB;
cv::Mat descriptorsB;
detector->detectAndCompute(image2, cv::noArray(), keypointsB, descriptorsB);
// マッチング
cv::BFMatcher matcher(cv::NORM_HAMMING, true);
std::vector<cv::DMatch> matches;
matcher.match(descriptorsA, descriptorsB, matches);
// 最小距離
double min_dist = DBL_MAX;
for (int i = 0; i < (int)matches.size(); i++) {
double dist = matches[i].distance;
if (dist < min_dist) min_dist = dist;
}
// 良いペアのみ残す
std::vector<cv::DMatch> good_matches;
for (int i = 0; i < (int)matches.size(); i++) {
if (matches[i].distance < 3.0 * min_dist) good_matches.push_back(matches[i]);
}
// 対応点の表示
cv::Mat img_matches;
cv::drawMatches(image1, keypointsA, image2, keypointsB, good_matches, img_matches, cv::Scalar::all(-1), cv::Scalar::all(-1), std::vector<char>(), 0*cv::DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
// 十分な対応点がある
if (good_matches.size() > 10) {
std::vector<cv::Point2f> obj, scene;
for (int i = 0; i < (int)good_matches.size(); i++) {
obj.push_back(keypointsA[good_matches[i].queryIdx].pt);
scene.push_back(keypointsB[good_matches[i].trainIdx].pt);
}
// ホモグラフィー行列を計算
cv::Mat H = cv::findHomography(obj, scene, cv::RANSAC);
//std::cout << H << std::endl;
// 行列が空ではない
if (!H.empty()) {
std::vector<cv::Point2d> obj_corners(4), scene_corners(4);
obj_corners[0] = scene_corners[0] = cv::Point2d(0, 0);
obj_corners[1] = scene_corners[1] = cv::Point2d(image1.cols, 0);
obj_corners[2] = scene_corners[2] = cv::Point2d(image1.cols, image1.rows );
obj_corners[3] = scene_corners[3] = cv::Point2d(0, image1.rows);
// ホモグラフィ行列の推定
cv::perspectiveTransform(obj_corners, scene_corners, H);
// 緑の線で囲む (開始点を元画像が左にあるので右にオフセット)
cv::line(img_matches, scene_corners[0] + cv::Point2d(image1.cols, 0), scene_corners[1] + cv::Point2d(image1.cols, 0), cv::Scalar(0, 255, 0), 4);
cv::line(img_matches, scene_corners[1] + cv::Point2d(image1.cols, 0), scene_corners[2] + cv::Point2d(image1.cols, 0), cv::Scalar(0, 255, 0), 4);
cv::line(img_matches, scene_corners[2] + cv::Point2d(image1.cols, 0), scene_corners[3] + cv::Point2d(image1.cols, 0), cv::Scalar(0, 255, 0), 4);
cv::line(img_matches, scene_corners[3] + cv::Point2d(image1.cols, 0), scene_corners[0] + cv::Point2d(image1.cols, 0), cv::Scalar(0, 255, 0), 4);
}
}
// 表示
cv::imshow("camera", img_matches);
cv::waitKey(0);
return 0;
}
元記事のプログラムからの変更箇所はinclude部分と13～28行目の特徴点抽出部分のコードです。OpenCV3ではクラスの構成が少し変わっています。
gccの場合は以下のコマンドでコンパイルが通ると思います。
$ g++ [ファイル名].cpp `pkg-config --cflags --libs opencv`
特徴点の種類について
はじめのauto detector = cv::ORB::create();の中の「ORB」を変更するだけで使用する特徴点の種類を変更できます。AKAZE／ORB／BRISKの3種類が使用可能のようです。
特徴量で有名どころのSIFT／SURFは特許が取られているらしく、商用利用不可らしいです。その関係でopencv_contribという拡張モジュールに隔離されているので、使用するには別途これを導入する必要があるようです。
試してみる
とりあえずAKAZEとORBとBRISKを試してみた↓
AKAZE:
ORB:
BRISK:
BRISKだけやたら点が多い…
ORBも写真のクッキーの部分の特徴を全然取ってくれていないので、とりあえずこの写真を見る限りではAKAZEが良さそう？
（このあたりは屋外・屋内とか被写体によって変わってきそう）
