Работает это всё примерно следующим образом:

Пользователь рисует наброски фигур, которые хочет видеть в конечном результате. Это могут быть, например, фрисби и человек, как в демо-ролике. Затем рисуется фон желаемого изображения.




К наброску каждого объекта, включая фон, пользователь добавляет текстовые заметки, описывая таким образом нарисованные фигуры.




PhotoSketch скачивает для каждой фигуры 3000 изображений с «Фликра», «Гугла» и «Яху», и 1000 изображений в качестве фона. Затем на основе анализа загруженных фотографий (подбора снимков с одинаковым фоном и подходящей цветовой гаммой, нужными контурами и так далее) система оставляет 100 и 20 изображений, соответственно. Думая ещё несколько минут, система выдаёт готовый результат коллажа.

PhotoSketch: Internet Image Montage from Tao Chen on Vimeo.

PhotoSketch был представлена на конференции Siggraph Asia 2009. В данный момент студенты работают над созданием веб-решения своего сервиса, однако для этого потребуется либо серьёзная оптимизация алгоритма, либо огромные вычислительные мощности. Сейчас на обработку изображения с n-элементов требуется 15*n+5 минут, что полностью исключает возможность создать веб-сервис.

В заключение хочется сказать, что несмотря на всю революционность технологии, она всё-таки еще весьма сырая и требует серьёзных доработок. Как пошутил редактор одного блога, человечество запомнит тот день, когда с помощью «Фото-скетча» миллионы мужчин смогут сделать коллаж из своей фотографии и какого-нибудь эротического снимка Меган Фокс. Но этот день ещё не настал.