Ручная многоракурсная стереореконструкция биологической нейронной сети занимает десятки тысяч часов.
Специально к старту нового потока продвинутого курса «Профессиональное машинное обучение + глубокое обучение» Делимся материалом, в котором рассказывается о том, как исследователи Института Макса Планка значительно (от 10 до 25 раз) увеличили эффективность своей работы с помощью искусственного интеллекта, о результатах исследования, опровергающих некоторые предположения, и о дальнейших планах исследователей.
Внутри статьи вы найдете ссылку на исходный код автоматизированного рабочего процесса.
Исследователи из отдел коннектомики Институт Макса Планка (MPI) по исследованию мозга изучает нейронные сети в коре головного мозга, чтобы понять, как мозг обрабатывает сенсорный опыт для обнаружения объектов в окружающей среде.
Их работа включает в себя построение коннектома — карты нейронных цепей, которые идентифицируют отдельные связи между нейронами.
В отличие от «нейронов» искусственных нейронных сетей, биологические нейроны не организованы в аккуратные ряды одномерных слоев.
Вместо этого они упакованы и соединены в плотную, заполняющую пространство трехмерную сетку, которую можно изучить только по изображениям ткани мозга, полученным электронным микроскопом, с нанометровым разрешением (рис.
1).
Рисунок 1. Плотная реконструкция примерно 500 000 кубических микрометров кортикальной ткани млекопитающих, в результате чего получается 270 см нейронных кабелей, образующих коннектом примерно из 400 000 синапсов между 34 221 аксоном.
Из статьи «Плотная коннектомная реконструкция в четвертом слое соматосенсорной коры»
Зачем изучать биологические нейронные сети?
Сверточные нейронные сети (CNN) созданы на основе биологического интеллекта и имеют прямые связи между нейронами и слоями CNN, напоминающие зрительную кору людей и других животных.Трехмерные электронные микрофотографии показывают выпуклые тела отдельных нейронов и плотную извилистую сеть тонких нервных кабелей, соединяющих нейроны.Возросшая вычислительная мощность и доступность огромных объемов данных улучшили производительность и точность CNN, но по сравнению с человеческим мозгом они на удивление неэффективны как с точки зрения потребления энергии, так и с точки зрения маркировки данных, необходимой им во время обучения.
Крупномасштабный классификатор CNN, развернутый в среде облачных вычислений, потребляет на порядки больше энергии, чем человеческий мозг, в то время как малыш может научиться классифицировать объекты, увидев всего лишь несколько десятков примеров, CNN нужны миллионы точно маркированных изображений.
Исследовательские группы, которые полагаются на глубокое обучение, начинают сталкиваться с этими ограничениями.
Анализируя коннектом, чтобы понять, как эволюция решила эти проблемы в биологических нейронных сетях, исследователи могут найти ключ к разработке следующего поколения искусственных нейронных сетей.
Единственный кабель, или аксон, отходящий от каждого нейрона, представляет собой чрезвычайно тонкую структуру.
Аксоны диаметром менее одного микрона соединяются с соседними нейронами, а также с более удаленными нейронами, например, нейронами в разных слоях одной и той же области коры или с нейронами, находящимися на расстоянии многих миллиметров, даже на противоположной стороне мозга.
Каждый нейрон коры головного мозга может получать соединения от тысяч других нейронов на своем собственном локальном дереве ветвящихся нервных кабелей или дендритах.
Эти отдельные точки соединения (синапсы) между аксональным кабелем одного нейрона и дендритным кабелем другого находятся в субмикрометрическом масштабе.
Перед исследователями в развивающейся области коннектомики стоит задача разработать методы картирования нейронных связей в этом широком диапазоне масштабов (рис.
2).
Исследователи Института Макса Планка сосредоточились на многоракурсной стереореконструкции коннектомов, работе, которая требует максимально возможной точности при отслеживании нейронных кабелей и идентификации синапсов в объемах электронной микроскопии.
Задача масштабная: один кубический миллиметр серого вещества коры головного мозга содержит километры разветвленных нервных кабелей и около 1 миллиарда синапсов.
Рисунок 2 – Масштаб нейронных связей в коре головного мозга: от синапсов нанометрового размера между отдельными нейронами до расстояний соединений миллиметрового масштаба.
Оранжевый – аксоны, синий – дендриты.
Ручная многопроекционная стереореконструкция коннектомов по данным электронной микроскопии обычно занимает десятки тысяч рабочих часов даже для небольших объемов образцов, содержащих около 1 миллиона синапсов.
Чтобы автоматизировать наиболее трудоемкие части процесса реконструкции, отдел коннектомики разработал FocusEM — рабочий процесс, который сочетает в себе ручные аннотации с автоматизацией на основе сверточных нейронных сетей, созданных в MATLAB. Модели CNN обучаются и выполняются с использованием параллельной обработки в кластере высокопроизводительных вычислений (HPC).
FocusEM смог реконструировать 90 см дендритов и около 180 см аксонов в соматосенсорной коре, идентифицировав почти 500 000 синапсов всего за 4 000 часов работы человека, что в 10-25 раз эффективнее, чем раньше.
Работа была опубликована в журнале Science, где исследователи показали, насколько точные многоракурсные стереореконструкции в таком масштабе могут облегчить детальное понимание локальных схем мозга.
Проблемы реконструкции коннектома
Для визуализации образца блок ткани головного мозга удаляется и окрашивается соединениями тяжелых металлов.Образец переносят в электронный микроскоп, оснащенный специально изготовленным микротомом.
Визуализация тканей чередуется с их разрезанием, при котором алмазным микротомным ножом получают тонкие срезы длиной 25-30 нанометров.
Тысячи чередований и разрезов изображений создают набор данных трехмерных изображений размером от сотен гигабайт до терабайт (рис.
3).
Рисунок 3—Последовательная сканирующая электронная микроскопия для визуализации мозга.
Зонд нейрональной ткани делает снимок, а затем разрезает мозг с помощью специально изготовленного микротома.
Чередование резки и рендеринга приводит к созданию набора последовательных 3D-изображений.
Шкала линейки – 1 микрометр.
Чтобы составить карту коннектома, исследователи должны проследить аксон каждого нейрона, когда он проходит через трехмерное пространство, чтобы определить, где он соединяется с другими нейронами.
Когда исследователи обнаруживают два сегмента кабеля, прилегающих друг к другу, они должны тщательно проанализировать изображение, чтобы определить, являются ли они частью одного аксона, двумя отдельными частями, соединенными через синапс, или несоединенными сегментами.
Глубокое обучение для крупномасштабной реконструкции нейронных цепей
Рабочий процесс FocusEM автоматизирует большую часть трудоемких этапов аннотирования и принятия решений в процессе реконструкции коннектома.Рабочий процесс состоит из трех основных этапов:
- Этапы предварительной обработки на основе алгоритмов и эвристик обработки изображений.
- Сегментация изображений на основе алгоритмов обработки изображений и глубокого обучения.
- Морфологическая реконструкция на основе машинного обучения в сочетании с целевыми человеческими запросами.
Метод сегментации изображений основан на рабочем процессе под названием SegEM, опубликованном Отделом коннектомики Института Макса Планка в журнале Neuron в 2015 году.
SegEM использует специально созданную 3D CNN в сочетании с алгоритмами сегментации изображений, такими как водораздельные преобразования.
Для объема образца в 500 000 кубических микрометров текущее исследование сгенерировало 15 миллионов различных объемных сегментов на этапе SegEM. Этот шаг морфологической реконструкции основан на наборе классификаторов машинного обучения, которые разработаны и обучены в MATLAB специально для поддержки рабочего процесса FocusEM:
- Классификатор ConnectEM определяет вероятность того, что два соседних сегмента тома физически соединены как часть непрерывного нейронного кабеля.
- Классификатор SynEM определяет, соответствуют ли соседние сегменты объема нейронной связи синапсу, расположенному через тонкий зазор нанометрового размера (см.
рис.
2); их можно идентифицировать по различным признакам визуализации, таким как скопления синаптических пузырьков.
- Четыре классификатора TypeEM классифицируют объемные сегменты как принадлежащие к аксону, дендриту, дендритному отростку (местоположение потенциального синапса) или ненейрональным типам клеток.
Обученные аннотаторы-люди сосредотачиваются на том, чтобы направлять запросы классификаторов для решения сложных ситуаций, таких как пересечение нескольких нейронных кабелей.
Этот полуавтоматический рабочий процесс привел к более чем десятикратному сокращению рабочего времени по сравнению с ручными подходами к многопроекционной стереореконструкции (рис.
4).
Код рабочего процесса FocusEM можно загрузить с сайта Репозиторий GitLab .
Рисунок 4—Рабочее время, необходимое для различных подходов к реконструкции кубического миллиметра нервной ткани.
Хотя ручные подходы отнимают много времени и стоят дорого, FocusEM позволяет реконструировать большие объемы мозга в реалистичные сроки и с реалистичными затратами.
Ускорьтесь с помощью высокопроизводительных вычислений
Помимо минимизации человеческого рабочего времени, необходимого для завершения реконструкции коннектома, исследователи Института Макса Планка стремились минимизировать время вычислений, необходимое для автоматизированных этапов рабочего процесса FocusEM. Для достижения этой цели исследователи обратились к параллельным вычислениям.Отдел коннектомики получает доступ к вычислительному кластеру, содержащему 2500 ядер ЦП и 32 графических процессора, через параллельный сервер MATLAB. Команда использовала Parallel Computing Toolbox для распараллеливания алгоритмов предварительной обработки изображений и пользовательских классификаторов CNN. Помимо этапа глобальной регистрации изображений, большинство вычислительных шагов в рабочем процессе реконструкции были параллельными, поскольку классификаторы могли выполняться одновременно в разных частях объема выборки.
Универсальность и скорость являются главными приоритетами в нашем процессе разработки.Чтобы восстановить образец объемом 500 000 кубических микрометров, этапы расчета FocusEM заняли около 100 часов вычислительного времени.Возможность перейти от первоначальной идеи к высокопараллельному производственному развертыванию без необходимости переписывать код или переосмысливать структуры данных жизненно важна для нашей команды.
Мориц Хельмштедтер, директор Института исследований мозга Макса Планка, отдел коннектомики.
Сравнивая это с 4000 человеко-часами, необходимыми для выполнения работы, можно сделать вывод, что вычислительная работа не была узким местом.
Большая часть обработки FocusEM выполнялась на процессорах, и они использовали около 20% своей локальной мощности (384 ядра).
Графические процессоры использовались для ускорения обучения специального классификатора глубокого обучения SegEM, используемого для сегментации изображений.
Коннектомный анализ
Завершив первую плотную реконструкцию коры головного мозга объемом 500 000 кубических микрометров, исследователи Макса Планка проанализировали полученные связи и геометрические данные.Их анализ позволил получить ценную информацию о локальных свойствах биологической нейронной сети:
- Разные классы нейронов (возбуждающие и тормозные) контактировали со своими клетками-мишенями с разным паттерном иннервации, используя только коннектомные данные, что подтверждает результаты предыдущих экспериментов.
- Геометрические правила заполнения корковых объемов аксонами и дендритами не объясняют наблюдаемые закономерности связей, как это предлагалось в некоторых предыдущих теоретических моделях.
- Измеренное распределение размеров синапсов в коннектоме может дать представление о процессах обучения, которые могли происходить в мозге.
- Имея размер выборки, более чем в 300 раз превышающий предыдущие реконструкции коры и охватывающую около 7000 аксонов и около 400 000 синапсов, это исследование обеспечило уровень статистической мощности, ранее недоступный при решении таких вопросов о локальных схемах мозга.
Планы дальнейших исследований
Установив осуществимость и научную ценность кортикальной реконструкции в многопроекционном стерео в нынешнем масштабе 500 000 кубических микрометров, исследовательская группа Макса Планка сейчас работает над получением большего количества типов образцов мозга, чтобы можно было сравнивать виды и различные состояния мозга, такие как между больным и здоровым мозгом.Отдел коннектомики также начал решать дальнейшую задачу по реконструкции больших объемов коры головного мозга, охватывающих несколько слоев мозга и содержащих нейронные связи на больших расстояниях.
Исследователи продолжают совершенствовать методы автоматизации, такие как FocusEM, чтобы снизить затраты на реконструкцию.
В настоящее время ведется работа по анализу набора данных размером в петабайты из выборки размером в кубические миллиметры, который соответствует масштабу функциональных единиц, выявленных в прошлых исследованиях функций мозга.
Результаты, достигнутые на данный момент с использованием распараллеленного MATLAB, показывают, что исследователи могут выполнять этапы вычислений FocusEM на наборе данных размером в петабайты в своем локальном кластере, не препятствуя общим усилиям по реконструкции.
- Продвинутый курс «Машинное обучение Pro + Deep Learning»
- Курс «Математика и машинное обучение для науки о данных»
- Курс машинного обучения
- Профессиональная подготовка в области науки о данных
- Обучение аналитика данных
- Онлайн-курс по аналитике данных
- Курс «Python для веб-разработки»
- Обучение профессии C#-разработчик
- Разработчик игр на Unity
- Профессия Веб-разработчик
- Профессия Java-разработчик
- Курс JavaScript
- разработчик С++
- Курс анализа данных
- Курс DevOps
- Профессия iOS-разработчик с нуля
- Профессия Android-разработчик с нуля
Рекомендуемые статьи
- Сколько зарабатывает дата-сайентист: обзор зарплат и вакансий в 2020 году
- Сколько зарабатывает аналитик данных: обзор зарплат и вакансий в 2020 году
- Как стать Data Scientist без онлайн-курсов
- 450 бесплатных курсов Лиги плюща
- Как изучать машинное обучение 5 дней в неделю в течение 9 месяцев подряд
- Машинное обучение и компьютерное зрение в горнодобывающей промышленности
-
Текст Письма Стива Джобса Сотрудникам Apple
19 Oct, 24
