Могут Ли Исследователи Искусственного Интеллекта Доверять Ему Проверку Своей Работы?

Исследователь машинного обучения из Технологического института Вирджинии предложил способ проверки научных статей с помощью ИИ, который оценивает внешний вид текста и графики в документе.

Будут ли его методы оценки «полноты» научной работы достаточными для ускорения процесса рецензирования? В области машинного обучения идет лавина исследований.

Инженер Google Клифф Янг сравнил эту ситуацию с Закон Мура , специально предназначенный для публикаций по теме ИИ — количество научных статей по этой теме, появляющихся на сайте arXiv, удваивается каждые 18 месяцев.

И эта ситуация создает проблемы при рецензировании статей — просто не хватает опытных исследователей ИИ, чтобы внимательно прочитать каждую новую статью.

Могут ли ученые доверять ИИ в принятии или отклонении статей? Этот интересный вопрос поднимает отчет , недавно опубликованный на arXiv; Автор работы, исследователь машинного обучения Цзя-Бин Хуан, назвал ее «Глубокий гештальт работы».

Хуан использовал сверточную нейронную сеть — распространенный инструмент машинного обучения, используемый для распознавания изображений — чтобы просмотреть 5000 статей, опубликованных с 2013 года.

Хуан пишет, что, основываясь только на внешнем виде работы — смеси текста и изображений — его нейронная сеть может различать «хорошая» работа, достойная включения в научный архив с точностью 92%.

Для исследователей это означает, что важнейшую роль в внешнем виде их документа играют несколько вещей: яркие картинки на титульном листе научной работы и заполнение всех страниц текстом, чтобы не было пустого места в конце.

последняя страница.



Могут ли исследователи искусственного интеллекта доверять ему проверку своей работы?

Сверточная нейронная сеть Хуана обрабатывает тысячи утвержденных и неутвержденных научных работ, создавая тепловую карту сильных и слабых сторон.

Самые большие ошибки работ, не прошедших отбор: отсутствие цветных картинок и пустое место в конце последней страницы.

Хуанг строит свою работу на основе еще одной статьи Карвена фон Беарненсквоша из Университета Феникса, опубликованной в 2010 году.

В работе использовались традиционные технологии компьютерного зрения, а не глубокое обучение, чтобы найти способ «с первого взгляда оценить общий вид» работы и принять решение о том, следует ли одобрить работу.

Используя эту идею, Хуан передал компьютеру 5618 статей, принятых на двух крупных конференциях по компьютерному зрению, CVPR и ICCV, за последние пять лет. Хуан также собирал статьи, представленные на семинарах конференции, которые играли роль отклоненных статей — поскольку к статьям, отклоненным на конференциях, доступа нет. Хуанг научил сеть связывать выполненные и неудавшиеся задания с бинарными результатами «хорошо» и «плохо», чтобы извлечь из них признаки «завершенности» или гештальта.

Гештальт – это нечто целое, превышающее сумму своих частей.

Это то, что пионер машинного обучения Терри Сейновски назвал «универсальным организованным восприятием», нечто более значимое, чем холмы и ущелья местности в непосредственной близости от вас.

Затем обученная сеть была протестирована на наборе заданий, с которыми она раньше не сталкивалась.

Обучение балансировало ложные срабатывания (принятые работы, которые должны были быть отклонены) с ложными отклонениями, отклоненными работами, которые должны были быть приняты.

Ограничив количество «хороших», но отклоненных работ до 0,4% — то есть всего 4 вакансиями — сеть смогла правильно отклонить половину «плохих» работ, которые должны были быть отклонены.

Автор даже подумывал о том, чтобы скормить свою работу собственной нейронной сети.

В результате нейросеть его отвергла: «К этой работе мы применили обученный классификатор.

Наша сеть безжалостно предсказала, что существует 97% вероятность того, что эта работа будет отклонена без экспертной оценки».

Что касается этих косметических требований – красивых фотографий в статье – Хуан не просто описывает результаты работы.

Он также предлагает код, который позволит вам создавать красивые работы.

Он передает «хорошие» вакансии в обучающую базу данных генеративно-состязательной сети, которая может создать новый план, обучаясь на примерах.

Хуан также предлагает третий компонент, который «перепрофилирует» отвергнутую работу в приемлемую, «автоматически давая советы о том, что нужно изменить в поступающей работе», например, «добавляя картинку для привлечения внимания и картинку на последней странице».

Хуанг предполагает, что такой процесс утверждения статей может действовать как «предварительный фильтр», который облегчит нагрузку рецензентов, поскольку они смогут просмотреть тысячи статей за несколько секунд. И все же «маловероятно, что такой классификатор будет использоваться на реальной конференции», заключает автор.

Одним из ограничений произведения, которое может повлиять на его использование, является то, что даже если внешний вид произведения, его визуальный гештальт соответствует историческим результатам, это не гарантирует, что произведение имеет реальную ценность.

Как пишет Хуан: «Игнорируя содержание произведения, мы можем несправедливо отвергнуть работы с хорошим материалом и плохим визуальным оформлением или принять дрянные работы, которые хорошо выглядят».

Теги: #Популярная наука #искусственный интеллект #гештальт #гештальт #научные работы

Вместе с данным постом часто просматривают: