Работа нейросети в режиме реального времени

Пару дней назад на портале препринтов bioRxiv.org появилась работа российских исследователей из МФТИ и компаний Neurobotics и Neuroassistive Technologies, которые занимаются созданием нейрокомпьютерных интерфейсов. В работе утверждается, что ученым и разработчиками удалось научить алгоритм в реальном времени реконструировать просматриваемое человеком видео по ЭЭГ-сигналам. Звучит по-настоящему круто и интересно — почти как «чтение мыслей». На самом деле все, разумеется, не так просто: мысли компьютеры читать не научились.
Если говорить коротко, то компьютер научился по записи ЭЭГ определять, какое изображение из пяти разных заранее известных классов видел испытуемый. О том, как строился эксперимент, какие задачи ставили ученые, и почему чтение мыслей воплотить в жизнь в ближайшее время вряд ли удастся, рассказываем в нашем блоге.

Вообще говоря, идея считывать электрический сигнал головного мозга и дешифровать его так, чтобы было видно, чтó в данную минуту человек думает или делает, с учетом темпов происходящего сейчас технического прогресса не кажется такой уж сложной. Вот есть сигнал, а вот есть то, что этот сигнал означает: складываем два и два, обучаем классификатор и получаем необходимый нам результат.

В результате получается то, что футуристы и люди несведущие назвали бы «чтением мыслей». И кажется, что подобная технология могла бы найти себе самые разные применения: от совершенных нейрокомпьютерных интерфейсов, которые позволяют управлять умными протезами, до создания системы, которая наконец расскажет, о чем там думает ваш кот.

На деле все, разумеется, совсем не так просто, и идея создания подобного алгоритма примерно сразу же разбивается о главное препятствие: нам приходится иметь дело с мозгом. Мозг же — штука очень сложная: в ней больше 80 миллиардов нейронов, а связей между ними — в несколько тысяч раз больше.

Даже непрофессионалу ясно: это слишком много для того, чтобы мы могли понять, за что отвечает каждая клетка и их совокупности. Ученые до сих пор не расшифровали человеческий коннектом — пусть и сравнительно успешно пытаются это сделать.

Возникает закономерный вопрос: а нужно ли вообще понимать функции каждого нейрона для того, чтобы точно представлять, что происходит в головном мозге? Неужели, например, недостаточно функциональных карт?

Ответ на этот вопрос, по сути, должен быть «да», но и здесь не все так просто. Если бы человечество полагалось на расшифровку коннектома как на единственный ключик к открытию тайны мозга, то мы бы сегодня продвинулись совсем недалеко. Однако кое-что о том, как работает наш мозг, мы все же знаем и, разумеется, можем это успешно использовать.

Один из ярких и самых очевидных примеров использования накопленных учеными знаний о работе мозга — это, разумеется, нейроинтерфейсы (недавно мы подробно рассказывали о них в материале «Не голова, а компьютер»). Вообще говоря, сегодня действительно есть технологии, позволяющие считывать активность мозга и с помощью нее управлять, например, курсором компьютерной мыши или даже движениями протеза.

Добиться эффективной работы нейроинтерфейса можно двумя способами. Первый способ — вызванные потенциалы: мы смотрим на кривую электрической активности определенных участков мозга и выделяем на ней те изменения сигнала, которые, как нам доподлинно известно, появляются в определенный момент после предъявления стимула.

Второй способ — не полагаться на стимуляцию вообще, а использовать воображение человека для получения электрического сигнала, поддающегося считыванию. Например, человека можно попросить представить себе, как он двигает ногой или рукой.

У обоих способов есть существенные недостатки. Первому мешает то, что число известных нам достоверно вызванных потенциалов не так велико: их количество точно не может покрыть все возможные исполняемые человеком действия. Недостаток второго в том, что для достижения хоть какого-то эффекта необходима длительная тренировка.

Авторы препринта решили объединить оба подхода для создания нейрокомпьютерных интерфейсов, справедливо посчитав, что это избавит оба способа от существенных ограничений и позволит разработать новый и наиболее эффективный на сегодняшний момент метод работы с нейроинтерфейсами.

Предполагалось также, что этот метод будет закрытым (closed loop), то есть получаемый с его помощью результат будет, в свою очередь, влиять на работу алгоритма. Но об этом — позже.

В самом начале алгоритм разбивает все изображения на отдельные компоненты-признаки, распределяемые в векторном пространстве, с помощью которого их потом можно соотнести с определенными сигналами головного мозга, записанными с помощью ЭЭГ.

На этом начальном этапе используется бинарный классификатор — грубо говоря, то самое «два и два»: имея достаточно чистый сигнал (запись ЭЭГ очистили от моторных артефактов), можно выбрать либо одно, либо другое с точностью выше случайного попадания.

В своих экспериментах ученые использовали видео с объектами пяти классов: изображения людей, водопадов, абстрактных геометрических фигур, экстремальных видов спорта и машин Голдберга. С одной стороны, подобный набор кажется странным, но с другой — кажется, что все эти объекты очень сильно не похожи друг на друга. Действительно, разве есть что-то общее между человеческими лицами и абстрактными геометрическими фигурами?

Между тем, если верить бинарному классификатору, то абстрактные фигуры и человеческие лица неотличимы друг от друга: результаты девяти из 17 участников исследования показывают, что нейроинтерфейс, судя по всему, не сумел их различить. А вот машины Голдберга и те же лица, с точки зрения мозга, наоборот, хорошо отличаются друг от друга.

На первый взгляд, не очень понятно, почему так происходит: скорее отличить друг от друга нельзя те же машины и геометрические фигуры. Все становится чуть более понятным, если взглянуть на пример кадров из использованных видео.

Скорее всего (мы, разумеется, тут можем только предполагать), успех классификатора зависит от того, насколько использованные в двух классах изображения отличаются друг от друга по каким-то поверхностным, базовым признакам — в первую очередь, по цвету. Это также хорошо соотносится с тем, что размерность латентного пространства в автоэнкодере — 10.

Вообще, для того чтобы классифицировать изображения пяти классов, хватит и размерности пять, но в этом случае делаться это будет максимум по цветовой гистограмме — значит, размерность 10 не слишком улучшит и уточнит результат.

Не очень понятно, почему авторы не использовали линейный классификатор сразу на пять классов вместо десяти бинарных классификаторов: скорее всего, получилось бы лучше.

Затем наступает этап реконструкции получившегося изображения. То, что оно выходит размазанным, понятно — дело в той же размерности латентного пространства. Но тут смущают две вещи.

Первая — исходное и реконструированное изображения очень похожи друг на друга. Тут, конечно, не хочется никого расстраивать (и себя самих в том числе — мы все же за прогресс), но это происходит не из-за того, что сигнал так хорошо записан и расшифрован (да еще и в реальном времени!), а из-за того, что алгоритм восстанавливает ровно те изображения, которые у него уже были.

Причем работает это не всегда так хорошо, как хотелось бы: если, например, посмотреть на видео работы системы, то можно заметить, что в видео с плачущим мужчиной нейроинтерфейс почему-то видит женщину. Это происходит потому, что алгоритм реконструирует не изображения, а объекты определенного класса: даже если он делает это достаточно эффективно, ничто не препятствует тому, что в изображении мотоцикла алгоритм увидит катер — просто потому, что они относятся к одному классу.

Поэтому то, что появляется на экране при реконструкции, — зачастую просто усредненное изображение всех использованных объектов класса.

Что касается осмысленности использования закрытой системы, то и с ней все не очень понятно: при выполнении задания человек видит и запись сигналов ЭЭГ и постепенно возникающее из его головы изображение. Помогает ли это в действительности, сказать сложно — авторы не сравнивали эффективность работы интерфейса с подкреплением и без. Но на первый взгляд кажется, что не особо. Если все же помогает — очень хочется узнать, как именно.

В общем, можно смело заключить, что мысли компьютеры читать не научились. И даже воссоздавать видео не научились. Все, что они научились делать, исходя из работы ученых, — по каким-то базовым признакам классифицировать увиденные объекты по пяти классам. Умели ли компьютеры делать это раньше? Конечно, умели. Есть ли тут мозг? Конечно, есть: но это мозг, который видит, а не мозг, который понимает, что именно он увидел.

Нейронные сети для трекинга рук в режиме реального времени

Недавно исследователи из GoogleAI показали свой поход к задаче трекинга руки и определения жестов в реальном времени. Я занимался подобной задачей и потому решил разобраться с тем как они подошли к решению, какие технологии они использовали, и как добились хорошей точности при риал тайм работе на мобильном устройстве. Также запустил модель на android и протестировал в реальных условиях.

Почему это важно?

Распознавание рук является достаточно нетривиальной задачей, которая в то же время широко востребована. Эту технологию можно использовать в приложениях дополнительной реальности для взаимодействия с виртуальными объектами. Также это может быть основой для понимания языка жестов или для создания интерфейсов управления с помощью жестов

В чем сложность?

Естественное восприятие рук в реальном времени является реальным вызовом для компьютерного зрения, руки часто перекрывают себя или друг друга (перекрещивание пальцев или рукопожатие). В то время как лица имеют высококонтрастные узоры, например, в области глаз и рта, отсутствие таких признаков в руках затрудняет надежное обнаружение только по их визуальным признакам. 

Руки постоянно находятся в движении, меняют углы наклона и перекрывают друг друга. Для приемлемого пользовательского опыта нужно чтобы распознавание работало с высоким FPS(25+). К тому же все это должно работать на мобильных устройствах, что добавляет к требованиям по скорости, также ограничения по ресурсам.

Что сделали в GoogleAI?

Они реализовали технологию точного отслеживания рук и пальцев с помощью машинного обучения (ML). Программа определяет 21 ключевую точку руки в 3D пространстве (высоту, длину и глубину) и на основание этих данных классифицирует жесты которые показывает рука. Все это на основание всего одного фрейма видео, работает в реальном времени на мобильных устройствах и масштабируется на несколько рук.

Как они это сделали?

Подход реализован с помощью MediaPipe - кроссплатформенный фреймворк с открытым кодом для построения пайплайнов обработки данных (видео, аудио, временные ряды). Что-то наподобие Deepstream от Nvidia, только с кучей фичей и кроссплатформенностью.

Решение состоит из 3 основных моделей работающих вместe:

Детектор ладони (BlazePalm)

• принимает полное изображение из видео
• возвращает ориентированный bounding box (ограничивающая рамка)

Модель для определения ключевых точек на руке

• принимает обрезанную картинку руки
• возвращает 21 ключевую точку руки в 3D пространстве + показатель уверенности (подробнее далее в статье)

Алгоритм распознавания жестов

• принимает ключевые точки руки
• возвращает название жеста который показывает рука

Архитектура похожая на ту, которую используют при задаче pose estimation. Предоставляя точно обрезанное и выровненное изображение руки, значительно уменьшается потребность в аугментации данных (повороты, трансляции и масштабирование) и вместо этого модель может сконцентрироваться на точности предсказания координат.

Детектор ладони

Для нахождения ладони используется модель называемая BlazePalm - single shot detector (SSD) модель оптимизированная под работу на мобильном устройстве в реальном времени.

В исследовании GoogleAI натренировали детектор ладони вместо детектора всей руки (palm - основа ладони без пальцев). Преимущество такого подхода в том, что распознать ладонь или кулак проще чем всю руку с жестикулирующими пальцами, к тому же ладонь может быть выделена используя квадратные bounding boxes (анкоры) игнорируя соотношения сторон, и таким образом сокращая количество требуемых анкоров в 3–5 раза

Также использовался экстрактор фич Feature Pyramid Networks for Object Detection (FPN) для лучшего понимания контекста изображения даже для небольших объектов

В качестве loss функции был взят focal loss который хорошо справляется с дисбалансом классов возникающего при генерации большого количества анкоров.

 Классическая кросс-энтропия: CE(pt) = -log(pt )
 Фокал лосс: FL(pt) =-(1-pt) log(pt)

Подробнее про Focall loss можно почитать в отличном пейпере от Facebook AI Research (рекомендовано к прочтению)

Используя вышеперечисленные техники было достигнуто средней точности (Average Precision) 95.7%. При использовании простой кросс-энтропии и без FPN - 86.22%.

Определение ключевых точек

После того как детектор ладони определил на всем изображение позицию ладони, регион сдвигается на определенный коэффициент вверх и расширяется, чтобы охватить всю руку. Дальше на обрезанном изображение решается задача регрессии - определяется точное положение 21 точки в 3D пространстве.

Для тренировки было вручную размечено 30 000 реальных изображений. Также была сделана реалистичная 3D модель руки с помощью которой сгенерировали еще искусственных примеров на разных фонах.

Вверху: реальные изображения рук с размеченными ключевыми точками. Внизу: искусственные изображения руки сделанные с помощью 3D модели

Распознавание жестов

Для распознавания жестов был использован простой алгоритм, который по ключевым точкам руки определяет состояние каждого пальца (например изогнутый или прямой). Затем все эти состояния сопоставляются с имеющимся набором жестов. Этот простой, но эффективный метод позволяет распознавать базовые жесты с неплохим качеством.

Оптимизации

Основной секрет быстрого инференса в реальном времени скрывается в одной важной оптимизации. Детектор ладони, который занимает больше всего времени, запускается только при необходимости (довольно редко). Это достигается путем вычисления положения руки на следующем кадре базируясь на предыдущих ключевых точках руки.

Для устойчивости такого подхода к модели определения ключевых точек добавили еще один выход - скаляр, который показывает насколько модель уверена в том, что на обрезанном изображение присутствует рука и что она правильно развернута. Когда значение уверенности падает ниже определенного порога - запускается детектор ладони и применяется ко всему кадру.

Тест в реальных условиях

Я запустил это решение на android девайсе (Xiaomi Redmi Note 5) для теста в реальных условиях. Модель ведет себя хорошо, правильно мапит скелет руки и высчитывает глубину при приличном количестве кадров в секунду.

Из минусов можно отметить то как начинает проседать точность и скорость при постоянном движение руки по фрейму. Это вызвано тем, что модели постоянно приходится перезапускать детектор, так как она теряет положение руки при движении. Если вам больше важна скорость нахождения двигающейся руки чем определение жестов - вам стоит поискать другие подходы. 

Также случаются некоторые проблемы когда рука пересекается с лицом или подобными сложными фонами. В остальном отличная работа от GoogleAI, это большой вклад в будущее развитие технологии.

Статья на GoogleAI Blog
Github mediapipe Hand Tracking

Исследователи российской компании  «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек  видит в данный момент. Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга. Препринт работы доступен на bioRxiv.

Фото. Реконструирование изображений. Слева стоит кадр видеоролика, который показывали испытуемому, справа — воссозданный нейросетью. Источник: Григорий Рашков

---

Для развития методов лечения когнитивных нарушений, постинсультной реабилитации и создания устройств, управляемых мозгом, необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы  — исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала, получаемого непосредственно с нейронов. Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни. Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», напротив, использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, поясняет: «Работа ведется в рамках проекта “Ассистивные технологии” НейроНет НТИ, в котором ключевую роль играет интерфейс “мозг — компьютер”, используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы — увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость»— видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ.  Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая —  создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев  можно было определить категорию видео.

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ  — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс». — Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».

Текст: МФТИ

• • 

    Алина Панченко

    Автор Викиум

Некоторое время назад от специалисты заявили, что они смогли в реальном времени научить алгоритм создавать видео, которое просматривает человек. Для этого используются специальные ЭЭГ-сигналы. Такое заявление звучит весьма фантастически и может напомнить даже в некоторой степени чтение мыслей. Но на самом же деле все не так просто, как может показаться на первый взгляд. Компьютеры так и не смогли научиться читать человеческие мысли.

Что может компьютер

Если говорить максимально простым и понятным языком, то компьютер может с помощью записи ЭЭГ устанавливать, какое именно изображение ранее видел человек из пяти разных классов. Идея считывания электрического сигнала, поступающего от головного мозга, и его дешифровка таким образом, что сразу же становится понятно, что человек делает или же думает, не кажется слишком сложной, особенно если учитывать темпы развития технического прогресса на сегодняшний день. Есть специальный сигнал, а есть то, что именно он подразумевает. Достаточно все проанализировать, обучить выбранный классификатор, а затем просто получить нужный результат.

В конечном итоге удается получить то, что многие люди посчитали бы за чтение мыслей. Технология такого типа могла бы без проблем использоваться для самых разных целей. К примеру, можно было бы создавать идеальные нейрокомпьютерные интерфейсы для управления специальными умными протезами или же разработать систему, способную рассказывать, о чем думают животные.

Препятствия

Говорить об этом очень легко, но когда доходит до дела, то все оказывается намного сложнее. Создание алгоритма глобального характера сразу же сталкивается с самым серьезным препятствием. Ученым нужно работать с человеческим мозгом и нейронами в количестве более 80 миллиардов. При этом между ними присутствует в несколько раз больше прочных связей. Даже далекий от науки человек может понять, что это невероятно много, и установить, за что отвечает та или иная клетка, сложно. До сегодняшнего дня специалистам не удалось хотя бы частично получить расшифровку человеческого коннектома, хотя положительные результаты в этом процессе все же наблюдаются.

В таком случае появляются вполне логичные вопросы. Для того чтобы понимать, что происходит в мозге человека, необходимо ли понимать все функции, которыми обладает каждый нейрон? Можно ли просто воспользоваться функциональными картами для решения проблемы? Ответы на эти вопросы должны быть положительными, но все же присутствуют определенные сложности. Если бы ученые предполагали, что единственным способом начать понимать мозг и его работу является расшифровка его коннектома, то в таком случае не удалось бы сделать значимых открытий в данной области.

Что мы знаем о мозге?

За счет использования разных методов, сегодня люди все же располагают некоторой информацией о функционировании головного мозга. Самым ярким примером являются нейроинтерфейсы. Добиться того, чтобы они работали максимально успешно, можно двумя способами. Первый предполагает применение вызванных потенциалов, а второй — основывается на том, чтобы не использовать никакой стимуляции, кроме воображения. Этого будет вполне достаточно для того, чтобы получить необходимый сигнал, который потом считается устройством. Оба метода имеют определенные преимущества и недостатки, которые не всегда учитываются специалистами, что мешает получить положительный результат исследования в том или ином случае.

Хотите знать все тайны головного мозга? Пройдите курс Викиум «Секреты мозга».

Пару лет назад мы выпустили две статьи про нейросети, которые помогали с картинками и текстами:

За два года всё ушло вперёд: картинки стали красивее, тексты — осмысленнее, а музыка — лучше. Мы собрали 10 лучших нейросетей 2022 года, которые могут помочь в работе и сделают нашу жизнь проще или интереснее.

DALL·E 2

openai.com

Вторая версия популярной нейросети, которая рисует картинки по текстовому описанию. В обучении этой нейронки участвовали миллиарды изображений, и это позволяет ей генерировать картинки в любом стиле и любой сложности.

Например, можно попросить её нарисовать технобуйвола, огромного медведя, сидящего на Земле или космонавта, скачущего на лошади среди звёзд — и она это сделает. Единственный минус — лимиты на создание картинок однажды заканчиваются и нужно будет заплатить, чтобы получить новые изображения.

ChatGPT

openai.com

⚠️ Сервис недоступен в России

Эту нейросеть сделала та же команда, что и Dall-e, поэтому работает она так же круто. Это текстовый чат, который можно вести с нейронкой, но её отличие от всех остальных в том, что она может понимать контекст.

Например, ей можно сказать: «Представь, что ты получаешь Нобелевскую премию по химии и тебе нужно написать вступительную речь, а в ней указать на потепление климата». И ChatGPT это сделает — напишет связный текст и упомянет в нём нужные факты.

У неё можно спросить даже, как починить код, или попросить её написать алгоритм сокращения строк на Python — и на выходе получится готовый код. Насколько он рабочий — вопрос открытый.

Нейросеть понимает пока только английский язык, поэтому пример тоже на английском — в нём нейронку спросили, как лучше всего рассказать соседям о себе. Пелевинские фантазии о креативном доводчике уже в буквальном смысле воплощены в жизнь:

Балабоба

yandex.ru

Текстовая нейросеть Яндекса, которая продолжает написанный вами текст. Работает не так всесторонне, как GPT, но и алгоритм в ней совсем другой. Задача Балабобы — быстро накреативить текст на разные темы. Мы использовали её в своих робоновостях, получилось неплохо:

Никола Тесла представил на ВДНХ новый тип передачи энергии

Альберт Эйнштейн и Стив Джобс опровергли существование параллельных миров и вселенной в целом

В Верхней Пышме готовят к запуску плазменный реактор

RemoveBg

remove.bg

Этот сервис решает только одну задачу — он убирает фон с картинок. Раньше он умел это делать только с фотографиями людей, сейчас уже справляется просто с объектами на переднем плане. 

Можно пользоваться бесплатно, но размер итоговой картинки маловат. Чтобы скачивать оригиналы без фона, придётся заплатить.

Lensа

prisma-ai.com

Самая хайповая графическая нейросеть этого года, работает как сервис, доступ можно получить через мобильное приложение. У неё много возможностей, но самое впечатляющее — это создание портретов в разных стилях по фотографиям.

Работает так: вы загружаете 10–20 своих фотографий в разных ракурсах и выбираете, в каком стиле сделать портрет. Нейронка думает, а потом присылает результат в виде подборки картинок. Почти все показывают вас с лучшей стороны: стройнее, привлекательнее, утончённее, без дефектов и в интересных обстоятельствах. Рай для современного нарциссизма:

Colorize

colorize.cc

Эта нейросеть раскрашивает старые чёрно-белые фотографии в цветные — достаточно загрузить своё фото, а редактор сам всё покрасит. Лучше всего это работает на старых фото, где много деталей — нейросеть иногда ошибается с крупными заливками, но мелочи у неё получаются хорошо. Автор сервиса — российский разработчик Александр Кожевин.

Сохранять результаты можно без оплаты, но тогда внизу будет стоять логотип сервиса.

Inpainting

nvidia.com

Этот сервис от компании Nvidia, который похож на RemoveBG, только умеет гораздо больше. Он может:

Пользоваться просто: загружаете картинку, выбираете режим работы и рисуете виртуальной кистью в нужном месте.

Midjourney.com

Midjourney.com

Самая сложная в использовании нейронка: регистрация по инвайтам, дикий интерфейс, а запросы нужно делать через отдельный канал в Дискорде. Но художники говорят, что это одна из самых полезных нейросетей для создания артов:

Аниме-селфи

h5.tu.qq.com

Одному китайцу настолько понравилось, как все выглядят в аниме, что он сделал свою нейросеть на эту тему. Она превращает в аниме-портрет любое селфи, но делает это на максималках: красивые причёски, стильный лук и томный взгляд. И все на одно лицо. 

Интерфейс у сайта упоротый, но пользоваться можно. Если надо попроще — вот неофициальный телеграм-клиент: https://t.me/AnimeAIBetaBot

Николай Иронов

ironov.artlebedev.com

Коммерческая нейросеть Студии Лебедева, которая создаёт логотипы. Клиент даёт название компании и некий текстовый запрос. Нейронка извлекает из него какие-то ключевые слова и на их основе колбасит варианты. 

Иронов выплёвывает по три варианта логотипа за раз и сразу примеряет их в быту: на визитках, сумках, блокнотах и т. д. На каждый проект можно нагенерить до 999 вариантов. 

Иронов — идеальный вариант для клиентов, которые хотят «посмотреть ещё варианты». В этой нейронке просто залипаешь и генеришь, генеришь и генеришь. Когда варианты начнут лезть из ушей, придётся выбирать из того, что есть.

Классика: несуществующие коты

Но всё это шалости по сравнению с генерацией котиков: thiscatdoesnotexist.com.

Ну и людей на сдачу тоже можно нагенерить: thispersondoesnotexist.com. 

И что, что с этим делать? 

Нейронки будут захватывать всё больше и больше сфер жизни. Художники и копирайтеры уже напряглись, как и кинематографисты и ретушёры. Водители уже давно переживают о своём будущем. Чем дальше — тем больше ремесленного труда будет уходить от людей к машинам. 

Если вас тревожит будущее из-за нейронок, идите учиться на дата-сайентистов. Тогда уже вы будете определять, какие в мире появятся алгоритмы и нейронки.

В последние годы нейронные сети прошли путь от простых сортировщиков картинок на смартфонах до помощников в решении глобальных задач в науке. Современные нейросети способны заменить или дополнить работу человека во всех случаях, когда решение нужно принимать на основе предыдущего опыта. «РБК Тренды» разбирался, как устроены и работают нейросети, как их обучают и в каких сферах применяют.

Что такое нейросеть

Нейросеть — это тип машинного обучения, при котором компьютерная программа имитирует работу человеческого мозга. Подобно тому, как нейроны в мозге передают сигналы друг другу, в нейросети информацией обмениваются вычислительные элементы.

Идею нейронных сетей впервые предложили исследователи из Чикагского университета Уоррен Маккалоу и Уолтер Питтс в 1944 году. Первую обучаемую нейросеть в 1957 году продемонстрировал психолог Корнеллского университета Фрэнк Розенблатт. Она была примитивной (одноуровневой).

В 1980-х годах, когда появились более мощные компьютеры для вычислений, исследователи смогли разработать нейросети с двумя и тремя уровнями обучения.

Однако возрождение интереса к нейронным сетям и революция в глубоком обучении произошли лишь в последние годы благодаря индустрии компьютерных игр. Современные игры требуют сложных вычислений для обработки большого числа операций. В итоге производители начали выпускать графические процессоры (GPU), которые объединяют тысячи относительно простых вычислительных ядер на одном чипе. Исследователи вскоре поняли, что архитектура графического процессора очень похожа на архитектуру нейросети.

Современные GPU позволили развивать «глубокое обучение» — повышать глубину слоев нейросети. Именно благодаря ему появились самообучаемые нейросети, которые не требуют специальной настройки, а самостоятельно обрабатывают входящую информацию.

Как работает нейросеть

Каждая нейронная сеть состоит из искусственных нейронов, которые имитируют работу человеческих. Это программные модули или узлы, которые взаимодействуют и обмениваются информацией для решения задачи.

Базовая нейронная сеть содержит три слоя искусственных нейронов:

• входной — обрабатывает информацию извне, анализирует или классифицирует ее и передает на следующий слой;
• скрытый (их может быть несколько) — анализирует выходные данные предыдущего слоя, обрабатывает их и передает на следующий;
• выходной — выдает окончательный результат после обработки всех данных.

Глубокие нейронные сети отличаются тем, что искусственные нейроны в них связаны друг с другом, а каждой такой связи присваивается определенный вес, который отражает ее значимость. Кроме того, связь между нейронами может быть «упреждающей». Это означает, что данные проходят через них только в одном направлении. Такое происходит, если значение «веса» соединения ниже заданного.

При обучении нейронной сети все ее «веса» изначально задаются случайными значениями. Обучающие данные подаются на нижний, или входной, слой. Затем они проходят через последующие слои, пока не достигают выходного. Во время обучения «веса» и пороговые значения постоянно корректируются до тех пор, пока данные обучения не будут постоянно давать одинаковые результаты.

Эти «веса» помогают определить важность той или иной переменной во входных данных. При прохождении каждого слоя входные данные умножаются на их «веса», а затем суммируются. Если получившееся значение выше заданного порога, то нейрон активируется и передает данные на следующий уровень.

Приведем пример — попросим нейросеть ответить на вопрос, стоит ли заняться серфингом (варианты ответа «да» — 1 и «нет» — 0. Предположим, что на это решение (y-hat) влияют три фактора. Сформулируем их в виде вопросов:

• хорошие ли волны? («да» — 1 и «нет» — 0);
• свободен ли пляж? («да» — 1 и «нет» — 0);
• фиксировались ли в последнее время нападения акул? («да» — 0 и «нет» — 1).

Затем предположим следующее, используя входные данные:

• X1 = 1, так как волны есть;
• X2 = 0, так как на пляже нет толпы;
• X3 = 1, так как нападений акул не фиксировалось.

Теперь нам нужно присвоить этим значениям некоторые «веса», чтобы определить их важность. Расположим приоритеты следующим образом:

• W1 = 5, так как большие волны на этом пляже возникают нечасто;
• W2 = 2, так как вы не боитесь толпы;
• W3 = 4, так как вы боитесь акул.

За пороговое значение мы примем 3, соответственно, значение смещения составит –3. Теперь можно начать подставлять значения в формулу, чтобы получить желаемый результат:

Y-hat = (1*5) + (0*2) + (1*4) – 3 = 6.

Поскольку полученное значение выше 3, то решение о серфинге будет положительным.

В зависимости от архитектуры нейросети делятся на типы:

• прямого распространения — обрабатывают входные данные и сразу выдают результат. Чаще всего применяются для распознавания образов и текста, а также классификации данных;
• рекуррентные — перенаправляют информацию туда и обратно по слоям, пока не получат конечный результат. Этот тип обычно используется для прогнозирования;
• сверточные — обрабатывают каждый признак в отдельном слое. Такой тип применяется в классификации изображений, обработке языка и т.д.

Помимо основных типов встречаются десятки подтипов нейросетей. Например, модульные — это, по сути, совокупность нейросетей, которые работают независимо друг от друга, чтобы ускорить вычисления.

Как применяются нейросети

Нейронные сети широко используются в самых разных областях — от медицины и до сферы развлечений. Они выполняют несколько основных типов задач.

Автоматическая генерация контента

• Чат-бот ChatGPT от OpenA может отвечать на вопросы, поддерживать диалог, искать ошибки в коде, сочинять стихи, писать сценарии и т.д.
• Нейросети DALL-E, Midjourney, Stable Diffusion генерируют картинки по текстовому описанию.
• Нейросеть Imaginary soundscape создает фоновую музыку по изображению.
• VALL-E озвучивает текст, точно имитируя голос человека и его интонации.
• Нейросеть MARZ позволяет омолаживать лица актеров в фильмах.

В этой группе есть и нейросети с необычными задачами. Например, Different Dimension Me позволяет сгенерировать изображение в стиле аниме по фотографии или картинке.

Распознавание и обработка естественного языка

• Чат-бот ChatGPT способен вести диалог, искать ошибки в коде, сочинять стихи, писать сценарии и даже давать медицинские советы. Нейросеть можно встраивать в любые сайты и сервисы, а Microsoft уже внедрила чат-бота в свой поисковик Bing для получения более точных результатов поиска.
• Чат-бот LaMDA может вести диалог на любую тему и отвечать на любые вопросы пользователя. В перспективе его внедрение позволит создавать новые категории приложений.
• Нейросеть Yandex Cloud распознает более десяти языков одновременно и переводит ответы на вопросы. На ее базе можно создавать многоязычных голосовых помощников и роботов для call-центров.

Классификация объектов

• Нейросеть российской компании NTechLab, которая работает с городской сетью камер в Москве, позволяет выявлять нарушителей. Также ее можно оптимизировать для идентификации по лицу в общественном транспорте для оплаты и организации безопасной системы пропусков на предприятиях.
• Нейросеть Google Cloud AutoML анализирует исследования биопсии лимфатических узлов в поиске раковых клеток в молочных железах у женщин. А нейросеть SkinVision диагностирует рак кожи по фото с камеры телефона.
• Нейросеть в основе системы помощи водителю Ford BlueCruise распознает объекты на дороге, что позволяет контролировать работу автопилота.

• Российский сервис YouScan с помощью нейросетей отслеживает упоминание брендов в соцсетях и сегментирует их для аналитики.

Кроме того, нейросети применяются для более узкоспециализированных задач:

• регрессии. Нейронные сети помогают прогнозировать биржевые курсы, оценивать стоимость имущества и так далее;
• прогнозирования. Например, нейросети широко применяются в банкинге, чтобы оценить платежеспособность новых заемщиков;
• кластеризации. Нейросети помогают исследователям и специалистам big data сортировать большие объемы данных в условиях, когда конечное количество классов неизвестно. Например, кластеризация применяется для выявления классов картинок.

На простейшем уровне такая функция реализована в любом современном смартфоне, она позволяет автоматически сортировать фото и видео по папкам и выдавать пользователям тематические подборки.

Способности нейросетей постоянно эволюционируют. Так, существующая система StyleGAN уже содержит базовые знания о 3D-моделировании. После дообучения ее можно будет применять для создания 3D-объектов и новых возможностей в 3D-печати.

Как обучают нейросети

Стандартный процесс обучения нейросетей включает в себя несколько этапов.

• Отправка информации. Для старта обучения нейросети требуется выборка данных. Чем больше задач в итоге должна выполнять нейросеть, тем эта выборка должна быть больше. В процессе обучения алгоритмы отвечают на поставленный вопрос с помощью формул и числовых коэффициентов.
• Преобразование информации. Когда входные нейроны нейросети получают выборку, они преобразуют ее и передают дальше. При этом содержание информации превращается в числовые коэффициенты. Для этого применяются формулы с коэффициентами, которые устанавливают авторы обучения. Именно они решают, сколько будет «весить» каждый обучающий признак и т.д.
• Обработка информации. Каждому нейрону также присваивается «вес», который показывает, насколько важны его ответы. Во время обучения «веса» автоматически меняются и балансируются.
• Получение результата. Нейросеть выдает набор формул и чисел, которые преобразуются в ответ. При этом он не конкретный, а скорее показывает вероятность. Например, если для изображения мужчины установлено значение 0, а женщины — 1, то результат 0,67 будет означать «скорее всего, это женщина».

Само обучение бывает контролируемым и глубоким. В первом случае специалисты по работе с данными загружают для обучения нейросети помеченные наборы данных, которые заранее содержат правильный ответ. В процессе обучения нейросеть накапливает знания, а затем получает новые данные, чтобы построить уже свои предположения.

При глубоком обучении специалист по работе с данными предоставляет нейросети только необработанные данные, а та самостоятельно извлекает функции и обучается независимо. Если результат неудовлетворительный, то цикл обучения повторяется снова, пока нейросеть не будет давать корректные ответы.

Специалисты по нейросетям

Разработчик нейронных сетей — это специалист, который создает архитектуру, а также решает теоретические и прикладные задачи систем искусственного интеллекта. Он, в частности, проектирует методики машинного обучения и ведет аналитическую работу в области специализированного программного обеспечения.

Чем занимается специалист по нейронным сетям

Основные задачи такого специалиста включают:

• разработку архитектуры нейросетей для решения конкретных задач;
• обучение нейросетей;
• реализацию алгоритмов машинного обучения;
• визуализацию данных;
• оптимизацию уже работающих моделей;
• поиск максимально соответствующей определенной задаче архитектуры нейросетей с ее последующей адаптацией;
• изучение и аналитику сферы работы нейросети, просчет рисков ее внедрения;
• разработку программ для поддержания работы нейронной сети;
• разработку и внедрение новых функций для существующих продуктов или услуг с использованием методов ИИ.

Как стать специалистом по нейросетям

Нейросети и ИИ представляют собой узкую специализацию в направлении Data Science. Поэтому процесс обучения должен стартовать с изучения науки больших данных. Обучение может быть:

• самостоятельным. Плюс такого метода — дешевизна и доступность источников. Так, на YouTube можно найти видеокурсы по нейросетям. Минусы: в таком подходе нет системности, а полученные навыки могут оказаться невостребованными у работодателя;
• в онлайн- или офлайн-формате. Выучиться на дата-сайентиста можно как в университете, так и на специализированном курсе.

Для работы в отрасли потребуются знания в области математики, статистики и основ программирования: знание языка Python, навыки работы с Linux, библиотеками Python для Data Science, в том числе Numpy, Matplotlib, Scikit-learn, навыки работы с базами данных, библиотеками машинного обучения PyTorch и TensorFlow.

Специалист по нейросетям должен быть знаком с передовыми методами разработки программного обеспечения, особенно с теми, которые касаются проектирования системы, контроля версий, тестирования и анализа требований. Также ему потребуются знания в области Data Science, такие как моделирование данных, оценка алгоритмов и моделей прогнозирования. Наконец, для презентации работы нейросети потребуется пользоваться технологиями пользовательского интерфейса, использовать диаграммы или визуализации.

Поскольку дисциплины искусственного интеллекта, глубокого обучения, машинного обучения и науки о данных развиваются быстро, любой профессионал, который хочет оставаться востребованным, должен непрерывно учиться новому.

Востребованность специалиста по нейросетям

Аналитики International Data Corporation подсчитали, что мировой рынок решений в сфере искусственного интеллекта будет расти в среднем на 18,6% ежегодно в период с 2022 по 2026 год. По мнению авторов исследования McKinsey, именно прикладной искусственный интеллект и внедрение машинного обучения стали двумя наиболее значимыми технологическими тенденциями на рынке ИИ. В 2022 году компании, занимающиеся генеративным искусственным интеллектом, привлекли $1,37 млрд — это почти столько же, сколько за предыдущие пять лет.

Востребованность специалистов по нейросетям постоянно растет. По данным сервиса по поиску работы HeadHunter за 2022 год, на российском рынке наблюдается нехватка соискателей на должности разработчиков систем искусственного интеллекта — на одну вакансию в этой сфере претендуют не больше двух кандидатов. По словам представителей рынка, проблема сохраняется уже в течение трех лет.

Начинающий специалист может претендовать на зарплату от 40 тыс. руб. в месяц, а профессионал — от 150 тыс. руб.

Исследователи
российской ГК «Нейроботикс»
(«Нейроассистивные
технологии»)
и Лаборатории нейроробототехникиМФТИ
научились воссоздавать по электрической
активности мозга изображения, которые
человек видит в данный момент. Это
позволяет создавать новый тип устройств
для постинсультной реабилитации,
управляемых сигналами мозга. Препринт
работыдоступен
на bioRxiv.

Для
развития методов лечения когнитивных
нарушений, постинсультной реабилитации
и создания устройств, управляемых
мозгом, необходимо понять то, как мозг
кодирует информацию. Ключевая задача
для понимания принципов его работы —
исследование активности мозга, возникающей
при визуальном восприятии информации.
Все существующие решения в области
распознавания изображений по сигналам
мозга используютфункциональную
магнитно-резонансную томографию
(фМРТ) илианализ
сигнала,
получаемого непосредственно с нейронов.

Особенности
этих методов ограничивают их применение
в клинической практике и повседневной
жизни. Интерфейс «мозг — компьютер»,
созданный командой ученых из МФТИ и
«Нейроботикс», напротив, использует
электроэнцефалограмму (далее ЭЭГ),
снимаемую с поверхности головы, и
нейросети. Эта разработка с помощью ЭЭГ
в режиме реального времени реконструирует
кадры из видео, которое смотрит человек.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, поясняет: «Работа ведется в рамках проекта “Ассистивные технологии” НейроНет НТИ, в котором ключевую роль играет интерфейс “мозг — компьютер”, используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы — увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Видео
с результатами эксперимента выложены
в свободный доступ.

«Энцефалограмма
— следовой сигнал от работы нервных
клеток, снимаемый с поверхности головы.
Раньше считалось, что исследовать
процессы в мозге по ЭЭГ — это все равно,
что пытаться узнать устройство двигателя
паровоза по его дыму, — говорит Григорий
Рашков, один из авторов работы, младший
научный сотрудник МФТИ и программист-математик
компании «Нейроботикс».

— Мы
не предполагали, что в ней содержится
достаточно информации, чтобы хотя бы
частично реконструировать изображение,
которое видит человек. Однако оказалось,
что такая реконструкция возможна и
демонстрирует хорошие результаты. Более
того, на ее основе даже можно создать
работающий в реальном времени интерфейс
“мозг — компьютер”. Это очень
обнадеживает. Сейчас создание инвазивных
нейроинтерфейсов, о которых говорит
Илон Маск, упирается в сложность
хирургической операции и то, что через
несколько месяцев из-за окисления и
естественных процессов они выходят из
строя. Мы надеемся, что в будущем сможем
сделать более доступные нейроинтерфейсы,
не требующие имплантации».

Для
справки: проект «Ассистивные
нейротехнологии» при поддержке NeuroNet
НТИ был начат в 2017 году, направлен на
разработку комплекса устройств для
реабилитации больных после инсульта и
нейротравм головы. Проект включает
разработку комплекса устройств — это
нейрогарнитура NeuroPlay, нейротренажер,
ФЭС, ТЭС, Когниграф, Робоком и другие.

Лаборатория
нейророботехники МФТИ образована в
2017 году в рамках Программы «5-100». Основное
направление деятельности — разработка
антропоморфной робототехники, а также
оборудования для научных исследований
в области нейронаук, физиологии и
поведения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.