pix2pix-tensorflow를 사용한 인터랙티브 이미지 번역
최근에 pix2pix를 텐서플로우로 포트했습니다. 이 본문에서는 텐서플로우의 이미지 간 변환을 다룹니다. 몇 가지 사전 훈련된 모델을 가져와서 이를 시험해 볼 수 있는 대화형 웹을 만들었습니다. 크롬을 권장합니다.
pix2pix 모델은 건물 외벽 레이블과 건물 정면과 같은 이미지 쌍을 학습한 다음 사용자가 제공한 입력 이미지에서 해당 출력 이미지를 생성하는 방식으로 작동합니다. 이 아이디어는 잃기 좋은 pix2pix 논문에서 얻은 것입니다.
edges2cats
약 2,000개의 스톡 고양이 사진과 해당 사진에서 자동으로 생성된 가장자리로 학습했습니다. 고양이 색상의 물체를 생성하며, 일부는 무서운 얼굴을 하고 있습니다.
일부 사진은 특히 소름 끼치는데, 이는 동물이 잘못 생겼을 때 특히 눈 주위를 더 쉽게 알아차릴 수 있기 때문인 것 같습니다. 자동 감지된 가장자리의 품질이 좋지 않고 고양이의 눈을 감지하지 못하는 경우가 많아서 이미지 변환 모델을 훈련하는 데는 조금 아쉬웠습니다.
facades
건물 정면의 데이터베이스를 학습하여 건물 정면에 라벨을 붙입니다. 넓은 빈 공간을 어떻게 처리해야 할지 잘 모르겠지만 창문을 충분히 배치하면 종종 합리적인 결과를 얻을 수 있습니다. "벽" 색상 직사각형을 그려서 지웁니다.
건물 외관의 여러 부분의 이름을 몰라서 그냥 추측해서 불렀습니다.
edges2shoes
Zappos에서 수집한 약 5만 장의 신발 사진 데이터베이스와 해당 사진에서 자동으로 생성된 가장자리를 학습합니다. 신발 가장자리 그리기에 능숙하다면 새로운 디자인을 만들어 볼 수도 있습니다. 실제 물체를 대상으로 학습한 것이므로 3D를 더 많이 그릴 수 있다면 더 잘 작동하는 것 같습니다.
edges2handbags
이전과 마찬가지로 Amazon에서 수집한 약 13만 7천 장의 핸드백 사진 데이터베이스를 학습하고 해당 사진에서 자동으로 가장자리를 생성했습니다. 여기에 핸드백 대신 신발을 그리면 매우 이상한 질감의 신발을 얻을 수 있습니다.
구현
모델은 pix2pix-tensorflow의 pix2pix.py 스크립트를 사용하여 훈련하고 내보내기했습니다. 대화형 데모는 Canvas API를 사용하여 자바스크립트로 제작되었으며, deeplearn.js를 사용하여 모델을 실행합니다.
사전 학습된 모델은 GitHub의 Datasets section 섹션에서 사용할 수 있습니다.원본 pix2pix 구현과 함께 릴리스된 모든 모델을 사용할 수 있습니다. 자바스크립트 구현에 사용된 모델은 pix2pix-tensorflow-models에서 사용할 수 있습니다.
