pix2pix-tensorflowを使ったインタラクティブな画像変換
最近、pix2pixをテンソルフローに移植しました。 この記事では、テンソルフローの画像間変換について説明します。 いくつかの事前学習されたモデルをインポートし、それを試すことができるインタラクティブなWebを作成しました。Chromeをお勧めします。
pix2pixモデルは、建物の外壁のラベルと建物のファサードのような画像のペアを学習し、ユーザーが提供した入力画像から対応する出力画像を生成することで動作します。このアイデアは、読みやすいpix2pixの論文から得たものです。
edges2cats
約2,000枚の猫のストック写真と、その写真から自動的に生成されたエッジで学習しました。猫色のオブジェクトを生成し、中には怖い顔をしているものもあります。
一部の写真は特に不気味なものですが、これは動物の見た目が悪い場合、特に目元が不気味であることに気づきやすいからだと思います。 自動検出されたエッジの品質が悪く、猫の目を検出できないことが多く、画像変換モデルを訓練するのに少し残念でした。
facades
建物のファサードのデータベースを学習して、建物のファサードにラベルを付けます。 広い空白のスペースをどう処理するかわかりませんが、窓を十分に配置すれば、多くの場合、妥当な結果が得られます。"壁"色の長方形を描いて消します。
建物のファサードの様々な部分の名前がわからなかったので、推測で呼んでいます。
edges2shoes
Zapposが収集した約5万枚の靴の写真データベースと、その写真から自動的に生成されたエッジを学習します。靴のエッジを描くのが得意であれば、新しいデザインを作ることもできます。実際のオブジェクトを対象に学習したものなので、3Dをもっとたくさん描けるようになると、よりうまく動作するようです。
edges2handbags
以前と同様に、Amazonから収集した約13万7千枚のハンドバッグ写真のデータベースを学習し、その写真から自動的にエッジを生成しました。 ここにハンドバッグの代わりに靴を描くと、非常に奇妙な質感の靴が得られます。
具現
モデルはpix2pix-tensorflowのpix2pix.pyスクリプトを使用してトレーニングし、エクスポートしました。インタラクティブなデモはCanvas APIを使用してJavaScriptで作成され、deeplearn.jsを使用してモデルを実行します。
事前学習されたモデルはGitHubのDatasets sectionセクションで利用可能で、元のpix2pix実装と一緒にリリースされたすべてのモデルを利用できます。JavaScript実装に使用されたモデルはpix2pix-tensorflow-modelsで利用できます。
