Художник, дизайнер и программист Сирил Диан недавно создал технологию, которая больше похожа на научную фантастику, чем на реальность. Используя комбинацию дополненной реальности и технологий машинного обучения, он нашел способ «копировать и вставлять» объекты из реального мира в Photoshop. Для этого ему нужен только смартфон.
Сирил показал свое творение в твиттере. Результат шокировал даже официальный аккаунт Photoshop.
4/10 – Cut & paste your surroundings to Photoshop
Code: https://t.co/cVddH3u3ik
Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF— Cyril Diagne (@cyrildiagne) May 3, 2020
На первый взгляд видео выше кажется фэйком. Но нет. Автор создал честную технологию и опубликовал ее на GitHub. Как объясняется в описании, это «прототип на основе AR + машинного обучения, который позволяет вырезать элементы из вашего окружения и вставлять их в программное обеспечение для редактирования изображений». Сирил использует Photoshop, но теоретически алгоритм может работать с чем угодно.
По словам Диана, секретный ингредиент – технология машинного обучения BASNet, которая автоматически распознает и вырезает объекты реального мира при съемке фотографии. Именно она отвечает за эффект «копировать-вставить».
Затем BASNet объединяется с другой технологией OpenCV SIFT, которая позволяет компьютеру синхронизироваться с телефоном и понять, куда именно он направляет камеру.
Все это объединено в приложении, которое Сирил разработал для своего смартфона. Результаты просто поражают: телефону требуется около 2,5 секунд, чтобы вырезать объект из реального мира, и еще 4 секунды, чтобы вставить этот объект в Photoshop.
Если вы тоже до сих пор не верите в реальность происходящего, загляните на GitHub. Но автор уточняет: это «исследовательский прототип», а не готовая к использованию функция. Но, учитывая интерес Adobe (по крайней мере, сммщик компании точно заметил), мы надеемся, что нечто подобное появится в Photoshop как можно скорее.
Читайте также:
Жуткий эксперимент: что случится, если искуственный интеллект утратит память
