Скачать через торрент OpenDeepFaceSwap - нейросеть, меняющая лица в видео. бесплатно русская версия torrent активатор

Статистика раздачи
Размер:  1.3 GB   |    Зарегистрирован:  5 лет 10 месяцев   |    .torrent скачан:  53 раза   |   
Раздают:  1  
 

Скачать OpenDeepFaceSwap - нейросеть, меняющая лица в видео. через torrent

 
 
Автор Сообщение

Galfimbul

avatar Galfimbul


OpenDeepFaceSwap - нейросеть, меняющая лица в видео.

Год/Дата Выпуска: 2018
Версия: от 07.05.2018
Разработчик: iperov
Сайт разработчика: https://github.com/iperov/OpenDeepFaceSwap
Разрядность: 64bit
Язык интерфейса: Русский/Английский
Таблэтка: не требуется
Минимальные системные требования: Windows 7 и выше, GeForce GT730 и выше с 2GB видео памяти, 4Gb ОЗУ, Intel Core процессор
Рекомендуемые системные требования: Windows 7 и выше, GeForce GTX1060 и выше с 6GB видео памяти, 8Gb ОЗУ, Intel Core процессор
Описание:
Программа для изменения лиц в видео с помощью нейросети, работающей на графическом ускорителе GeForce.

Это полностью переделенная с нуля оригинальная FaceSwap с фиксами багов и новыми возможностями.

Приступая, поймите: эта программа не гарантирует идеальной замены лиц во всех случаях! Всё зависит от качества исходных данных, совместимости лиц, источников света, итд итп. Да и сама технология появилась недавно, она далека от идеала, т.к. заменяется только лицо причем без лба и волос. Вы можете потратить кучу времени и сил, а в итоге ничего не получить!

У вас есть невысокий шанс создания успешного фейка с первой попытки.
Только когда вы сделаете много попыток создания фейков с разными лицами, тогда вы поймете все нюансы, чтобы лучше определять, что и как можно фейчить.

Отличия OpenDeepFaceSwap:

Внимание: наборы лиц от FaceSwap или FakeApp НЕ подходят. Нужно извлекать заново, но теперь сделать это проще.

1) полностью переделанная архитектура программы, с которой легче экспериментировать с новыми моделями, если вы шарите в питоне и нейронных сетях
2) отсутствие необходимости любых предустановок, кроме geforce драйверов на видеокарту. Проверено на чистых Windows 7 и 10
3) добавлены новые различные модели
4) добавлена опция отладки для извлечения, тренировки и наложения лиц
5) работает на 2GB видеокартах даже довольно старых GT7xx и выше (извлечение + одна модель), больше видеопамяти - больше моделей доступно.
6) автоматически выбирает лучшую видеокарту. Так можно работать офисно на видеокарте послабже, а обсчёт будет автоматически на лучшей.
7) для извлечения лиц автоматически используются все подходящие видеокарты. Для тренировки моделей есть мульти-gpu режим, но только если в системе будут обнаружены идентичные видеокарты.
8) добавлен новый детектор лиц называемый MTCNN. В отличие от DLIBCNN он выдает меньше дрожания в извлеченных лицах, но выделяет также и ложные лица, которые можно быстро удалить утилитой сортировки. Также MTCNN быстрее и запускается 1 процесс на каждые 2Гб видеопамяти каждой доступной видеокарты.
9) добавлен режим ручного выделения лиц, там где детектор ничего не нашел
10) есть режим полностью ручного выделения лиц - нужно только для dst набора лиц, т.к. пропущенные src лица погоды не сделают
11) более не нужно предварительно обрабатывать dst видео, вырезая только те куски, где присутствует нужное лицо - теперь заменяются только те лица, которые реально тренировались в сети.
12) добавлена сортировка извлеченных лиц для быстрого удаления ненужных
13) есть возможность вырезать нужный кусок целевого видео
13) сборка финального видео использует звук из оригинального

пример фейка, тренированного на ноутбуке с 2GB gtx850m за сутки: https://www.youtube.com/watch?v=bprVuRxBA34
И так приступим.

Почему нет графического интерфейса? Опций в программе не слишком много, чтобы делать графический интерфейс. К тому же оно будет создавать третье окно при тренировке, что уже слишком много.

В начале я хотел сделать bat запускалки на русском языке, но пусть они будут на английском языке, т.к. информация в программе всё равно на английском.

Определим термин dst,src.
src - это лицо, которым мы будем заменять
dst - это лицо, которое будет заменяться

! Данная инструкция протестирована на чистых Windows 7 и 10 !

Обновите драйвера на вашу GeForce видеокарту.

Далее по порядку:

OpenDeepFaceSwap\workspace - наша рабочая папка для хранения модели целиком (видео, фото, файлы самой программы).

1) clear workspace.bat - очистит или создаст все папки внутри папки workspace

Кладёте в папку workspace ваше видео data_src.xxx формата максимум 1080р - это видео откуда брать лицо. Тестовое видео уже содержится в папке workspace.
Кладёте в папку workspace ваше видео data_dst.xxx формата максимум 1080р - это видео где заменить лицо. Тестовое видео уже содержится в папке workspace.

где xxx - любое расширение видео, например mkv, mp4, avi

2) extract PNG from video data_src ... .bat - конвертирует видео откуда брать лицо в набор PNG в workspace\data_src

Здесь мы собираем кадры из которых будем извлекать src лица. Чем их больше тем лучше.
Есть на выбор 1,5, 10, или полные FPS.
Какой выбрать? Зависит от того, сколько времени нужное лицо содержится в видео.
Если это 3х часовая речь, то 1-5 FPS.
до 1.5ч - 10 FPS.
до 10 минут - полные FPS.

3.1) cut video data_dst (edit me).bat - опционально.

Обрезает видео где заменить лицо, на время которое вы укажите отредактировав файл блокнотом внутри этого файла .bat

пример: 00:05:00 00:00:55 вырежет 55 секунд, начиная с 5-й минуты, остальное отбросит.

Тестовое видео, которое уже лежит в папке, обрезать не нужно.

3.2) extract PNG from video data_dst.bat - конвертирует видео где заменить лицо в набор PNG в workspace\data_dst

Здесь извлечение только с ПОЛНЫМ FPS, потому что каждый кадр должен быть обработан.

4) data_src extract faces ... .bat - производит выборку конечного набора лиц из PNG в папку workspace\data_dst\aligned

Опциии:

DLIB, MT детекторы.
Для src оптимально MT детектор.
DLIB - медленнее, лица получаются с некоторым дрожанием, но производит меньше ложных лиц.
MT - быстрее, меньше дрожания лиц, но производит больше ложных лиц.

GPU
Здесь либо ALL (все), либо Best (лучший).
Если у вас только 1 GPU, то нет разницы, что выбирать.
Если вы офисно работаете на слабом GPU, а имеется мощный, то выбираете Best.
Для максимальной скорости на мульти-GPU выбираете ALL, но тогда офисная работа на основном GPU может подтормаживать.

отладка
Записывает в workspace\data_src\aligned_debug каждый кадр с выделенными лицами и лицевыми точками, тем самым можно смотреть работу детекторов.

4.1) data_src check result.bat - просмотр результатов выборки лиц с помощью портативной программы FSViewer.

Здесь ваша цель убрать ненужные лица.
Сначала пролистываете скролом и убираете те ненужные лица, которые идут подряд группами.
Если нужное лицо перемешано с другими, то запускаете сортировки следующих пунктах.
Сортировку по резкости в любом случае делаете, потому что мутные лица нужно удалять.

4.2.1) data_src sort by blur.bat

Сортировка по резкости. Запускаете и ждете сортировки. Затем смотрите результаты. Самые мутные лица будут в конце. Просто удаляете все файлы начиная с середины списка и до конца.

4.2.2) data_src sort by similar histogram.bat

После этой сортировки лица будут сгруппированы по содержанию, так что отсеять ненужные лица теперь намного проще.
Проходите скроллом и удаляете ненужные лица группами.
Далее можно еще раз пройти пункт по резкости и визуально оценить, есть ли мутные лица в конце списка.

4.2.3) data_src sort by dissimlar histogram.bat

Эта сортировка оставляет ближе к концу списка те изображения, у которых больше всего похожих.
Обычно это лица в анфас, которых больше всего, потому что актёр чаще смотрит прямо на камеру либо куда-то в одном направлении в интервью.
Часть с конца списка можете удалить по усмотрению.
Также этой сортировкой можно идеально прореживать набор лиц. К примеру у вас получилось 5000, но для работы нейронной сети оптимально 1500, то выбираете первые 1500 лиц после этой сортировки, а остальное удаляете.

4.2.4) data_src sort by face yaw.bat

Опциональный пункт. Сортирует лица так, чтобы вначале списка лицо смотрело налево, а к концу списка - направо.
По сути просто приводит набор лиц в конечный надлежащий для человека вид (для программы нет разницы), который можно сохранить в отдельной папке для будущего использования.

Итог по извлечению лиц src.

Ваша цель собрать как минимум 1000 лиц разного угла поворота.
Мутные лица надо удалять.
Лица закрывающиеся чем-то (рукой, волосами, итд) - также нужно удалять.
Много близких лиц в анфас - удалять.
Сокращаете набор лиц до количества 1000-1500 только после сортировки по непохожей хистограмме.
Вы можете собрать несколько разных конечных наборов лиц одного актёра и затем использовать их в зависимости от условий лица dst, помещая их в папку data_src\aligned

5) data_dst extract faces ... .bat
То же, что и п.4, с некоторыми отличиями.
Здесь мы извлекаем лицо, которое будет заменяться.

Детектор DLIB или MT ?
В большинстве случаев - MT.
Если лицо не определилось в каком-то кадре, то для этого есть опция +исправить - позволяет вручную указать лица на кадрах, где вообще не определилось никаких лиц.
Подвох с MT+исправить в том, что на кадре могут определиться левые лица кроме главного, поэтому программа не предложит указать лица на этом кадре. В таком случае можете проверять с отладкой какие лица обнаружились вообще.
Можете использовать DLIB+исправить, он почти не генерирует ложных лиц.
В совсем крайнем случае или для экспериментов есть полностью РУЧНАЯ выборка, т.е. по каждому исходному кадру dst вы вручную проходите и указываете лица.

Окно ручного исправления лиц. (см скриншоты)

здесь вам нужно совместить зеленые точки с лицом.

Управление:

Enter - подтвердить лицо и следующий кадр.
Пробел - пропустить кадр.
Колесо мыши - изменять прямоугольник.

5.1) data_dst check results.bat

Аналогично смотрим результаты выборки лица dst, и удаляем другие не целевые лица. А целевое лицо, даже мутные - оставляем.

5.2) data_dst sort by similar histogram.bat

Если в целевом видео содержатся много других лиц, можете произвести эту сортировку, и затем удалить эти лица будет проще.

Итог по извлечению лиц dst.

Ваша цель извлечь ТОЛЬКО целевое лицо (даже мутное) из каждого кадра, удалив все другие лица.

6) train ... Тренировка.

Отключаем любые программы, которые могут использовать видео память.

Касательно GPU опций:
Best GPU - аналогично описанному ранее, используется лучший GPU если их несколько в системе.
а вот Multi GPU - активирует режим мульти-GPU, только если в системе обнаружены идентичные модели GPU, например ДВЕ одинаковые GTX1060 6GB. Тогда тренировка размазывается по ним.

Опция debug - позволяет посмотреть какие сэмплы генерируются на вход в нейронную сеть.

Виды моделей:

Также указано минимальные требования к памяти GPU.

H64 (2GB+) - половина лица с разрешением 64 - это как оригинальная FakeApp или FaceSwap, только лучше за счёт тренировки маски нейросетью + исключающей фон вокруг лица + исправленного конвертора.
H128 (3GB+)- как H64 только с разрешением 128 - максимальные детали лиц можно достигнуть только этой моделью, за счёт половины лица. Однако половина лица может плохо обучится на некоторых условиях света и поворота головы итд.
DF (4GB+) - модель от dfaker. Полнолицевая модель с разрешением 128, умная функция тренировки лиц, исключающая фон вокруг лица.
LIAEF128 (4GB+) - новая модель, как DF, только пытается морфировать исходное лицо в целевое лицо, сохраняя черты исходного лица. Морфирование не всегда хорошо, и может сделать вообще не узнаваемое лицо, в таком случае выбирайте DF.
MIAEF128 (5GB+) - так же как LIAEF128, только тренирует сходство по яркости/цвету, может генерировать жуткие лица. Хорошо показала себя в тёмных фильмовых сценах.

Вы можете тренировать все модели поочередно, не волнуясь о потери данных, потому что каждая модель записывается в свои файлы в папке Workspace\Model\

В процессе тренировки можно выходить через Enter, нажав его в окне Training preview, и запускать в любое время, модель будет продолжать обсчитываться с той же точки.
Тренируем от 24 часов и больше. Когда результат удовлетворяет - выходим также через Enter, нажав его в окне Training preview.

Кнопка 'p'(на англ раскладке) в окне Training preview обновляет предпросмотр.

В окне Training preview также мы видим кривую ошибки. Если эта кривая в среднем не уменьшается с течением времени, примерно оцениваете общий уровень шкалы, то дальше тренировать смысла нет.

7) convert ... Наложение лиц.

Выбираете ту модель, с которой тренировали.

Опция debug позволяет посмотреть процесс наложения лиц и некоторую техническую информацию по каждому кадру в консоли, нажимаете пробел в окне просмотра.

Далее при запуске программа спросит об опциях:

Choose mode: (1) hist match, (2) hist match bw, (3) seamless (default), (4) seamless hist match :

Выбор режима наложения лиц.
По-умолчанию, если нажать ентер - выберет seamless.
Какую выбрать? Зависит от случая. Пробуете все и смотрите результат.

Masked hist match? [0..1] (default - model choice) :

Для режимов (1) hist match, (2) hist match bw указывает, уравнивать ли гистограмму по маске лица. По-умолчанию нажав ентер - отдаёт решение конкретной модели.

Choose erode mask modifier [-100..100] (default 0) :

Указываете насколько сжать лицевую маску. Значение < 0 - расширить маску.
В отличие от FaceSwap этот параметр модифицирует адаптивное значепние, а не абсолютное.

Choose blur mask modifier [-100..200] (default 0) :

Указываете насколько сгладить лицевую маску. Значение < 0 - уменьшает сглаживание по-умолчанию моделями H64 и H128.
В отличие от FaceSwap этот параметр модифицирует адаптивное значепние, а не абсолютное.

Итог по наложению лиц.

В начале запускаете с отладкой, пробуя различные параметры и смотрите результат.
Если значения erode и blur по-умолчанию не устраивают в результате, то отталкиваетесь от значений 50 и 70 соответственно.
Запомнив подходящие значения, запускаете наложение без отладки.

Результат картинок в workspace\data_dst\merged - можно использовать самому в видеоредакторе, либо склеить в видео в п.8

8) converted to avi.bat
8) converted to mp4.bat

Склеивает картинки в видео в workspace\result.avi с тем же FPS и звуком, что и data_dst.mp4 - поэтому не удаляйте data_dst.mp4 из workspace папки.

Всё. Результат в workspace\result.avi.

Если результат не удовлетворил, можно пробовать разные опции наложения, либо редактировать опции наложения командной строки(см. ниже), либо продолжать тренировать для повышения четкости, либо пробовать другую модель, либо пробовать другое исходное лицо.

Дополнительная информация:

Раньше были workspace backup.bat, для бэкапа, но я их убрал, потому что можно и НУЖНО вручную скопировать и переименовать workspace например в workspace_собчак, тем самым сохранив резервную копию.
Дополнительные опции тренировки. Редактировать соответствующий .bat файл.

--write-preview-history - записывает в Workspace\Model\Model_##_history\ набор картинок отображающий ход тренировки.
Ручное извлечение:


Тренировка модели:


Внимание! AdBlock блокирует показ скриншотов, все вопросы к разработчикам )))

Трекер:  [ 07-Май-2018 22:06 ]

  

Скачать .torrent

Размер .torrent файла 13 KB


Размер: 1.3 GB
Хэш (hash) релиза: be2a134b0d4273314c5c4f338ebfb0530ae8e599

Еще никто не оставлял запись к записи скачать торрент OpenDeepFaceSwap - нейросеть, меняющая лица в видео. . Будь первым!

!Обратная связь