サイゼリヤの間違い探しを画像処理で解いてみた

この記事は高専 Advent Calendar 2018 - Adventar の 5日目の記事です。

昨日はnamachan10777さんの「キーボードを作る話し」でした。
OpenSCAD with clojure - エリマキトカゲになりたい

関数型言語使いこなせててすごい。。。私は？？？って感じです。

こんにちは、かささぎといいます。高専Advent Calendarを書かせていただきます。

・学校　　　　石川工業高等専門学校
・学年，学科　電子情報工学科 5年
・Twitter　　　@hrt9092

　宗教
　・OS　　　　　 Windows10
　・エディタ　　　SublimeText3
　・言語　　　　　Java,Processing,Python,Rubyあたり
　・IDE　　　　　 Intellij Idea
　・きのたけ　　　たけのこ
　・唐揚げレモン　かける派

#procon27 ~ #procon29に参加し、~~人力で~~パズルを並べたり、~~人力で~~パズルを並べたり、競技アイデア募集企画ってので優秀賞をいただいたりしてました。

私は画像処理系の研究室にいるのですが、自分の研究では本格的な画像操作を行っておらず、なにかやりたいなーと思ってました。

そこでAdvent Calendar に合わせてなにか作ってWrite UP しようと思い、間違い探しを解かせてみることにしました。
間違い探しは、サイゼリヤのキッズメニューについてくるものを利用させていただきました。こちらのHPに問題があります→エンターテイメント｜サイゼリヤ。

サイゼリヤの間違い探しを画像処理で解くという試みには、先行研究(研究か？)がありました。こちらの方の記事を参考にさせて頂きました→河本の実験室: サイゼリヤの間違い探しが難しすぎたので大人の力で解決した。

OpenCVが使えれば世の中の大抵の問題は解決できる。

格好いいですね。

・OS　　　　 Windows10
・言語　　　　Python 3.6.5rc1
・ライブラリ　opencv-contrib-python 3.4.2.16

本当はRubyでやってみたかった(Pythonでは一応経験があったため)のですが、Windows+Ruby+OpenCVの相性がクソゴミだったので、断念しました。

開発中にOpenCV4がリリースされたのですが、よくわからなかったのでアップデートしてません。

また後述のSIFTアルゴリズムを用いるため、拡張モジュールを含むcontribを入れました。
よくわかりませんが、商用利用が面倒くさいみたいです。

プロジェクトはGitHubに置きました→https://github.com/hiroto3432/matigaisagasi。
main.pyが実行ファイルで、solver.pyのクラスやメソッドを呼び出します。

ソースコードは載せるととても長くなるのでここには載せません。GitHubのコードを見てください。

解説にはこの画像を利用します。
f:id:yh9092:20181125113413p:plain

ただ単純に半分で分割すればいいと思っていたのですが、余白のサイズや、左右それぞれの画像のx座標の開始位置が問題画像によってバラバラだったので、自動で検出させることにしました。

手法としては、

という感じです。

特徴点マッチングとは、2枚の画像のこことここが同じだよーというところを検出することです。
これには、SIFT,SURF,AKAZEといったアルゴリズムがOpenCVに用意されています。
こちらを参考にさせて頂きました→OpenCV(Python)で物体認識、特徴抽出(SIFT、SURF、A-KAZEの使い方)。

自分で試してみた結果、AKAZEよりSIFTのほうが精度が高い(SURFはよくわからないけど処理が終わらずPCが悲鳴を上げた)ということで、SIFTを利用します。

マッチング結果から、y座標が同じものを描画したものがこちらになります。
f:id:yh9092:20181125112358p:plain