Когнитивное Моделирование. Использование Обработки Естественного Языка Для Мониторинга Трафика По Видео.

Я застрял, пытаясь научиться использовать обработку видео, как описано в связанных статьях, в области обнаружения поведения человека или наблюдения за дорожным движением (любой вид деятельности по мониторингу). В частности, я не знаю, как сформулировать задачу, используя какие-либо доступные модели.

Я нашел две статьи (Хааг и Нагель (2000; Статья 1) и Аренс, Гербер и Нагель (2008; Статья 2)), которые на примере иллюстрируют использование естественного языка для мониторинга дорожного движения с использованием последовательностей изображений из видео. Мой вопрос:

1. При каких предположениях генерируются действия? В чем преимущество nlp здесь или в любом приложении, помимо того факта, что он дает иерархическое представление информации/знаний?
2. Как генерируются действия и графики (названные автором «Деревьями графов ситуаций») (при каких предположениях) на рис. 2 статьи 1 и рис. 1 статьи 2?
3. Создана ли таблица 5 в документе 1: «Поэтапное распознавание дорожных ситуаций на основе последовательностей видеоизображений» и последующих таблиц с использованием каких-либо инструментов программирования?

Ссылки

Хааг М. и Нагель Х.-Х. (2000)»Постепенное распознавание дорожных ситуаций по последовательностям видеоизображений". Вычисление изображений и видения 18(2): 137-153.

Аренс М., Гербер Р. и Нагель Х.-Х. (2008)»Концептуальные представления между видеосигналами и описаниями на естественном языке.«. Вычисление изображений и видения 26: 53–66.

#когнитивное моделирование #вычислительное моделирование #агентное моделирование #nlp

Я думаю, вы во многом неправильно поняли, что сделали Хааг и Нагель (2000; то, что вы называете «Документ 1») и как Аренс, Гербер и Нагель (2008; Документ 2) расширили его. Рисунок 1 AGN08 представляет собой хорошее описание HN00. Что сделал HN00, так это создал систему, которая могла смотреть видео перекрестка, обнаруживать автомобили и переводить поведение автомобилей в концептуальную основу. В качестве вдохновения для своей системы они использовали свое представление о том, как люди представляют задачу:

По-видимому, задействованы пять уровней представления: (i) представление геометрии пространственно-временных событий в сцене дорожного движения, включающее как 2D-изображение в плоскости изображения, так и 3D-изображение, относящееся к изображаемой сцене, (ii) представление маневров вождения, тесно связанных с конкретными дорожными ситуациями, (iii) концептуальное представление видимых тел, их свойств и их элементарных движений, (iv) общие концептуальные представления пространственно-временных конфигураций тел и их ожидаемых временных изменений, и (v) одна или несколько версий представления событий на естественном языке, сосредоточенных вокруг текущего момента времени.

Другими словами, целью HN00 было просмотреть 2D-изображение перекрестка и построить на его основе 2D/3D-представление сцены. В этой сцене идентифицируйте и маркируйте объекты и описывайте их на концептуальном языке под названием SIT++. Оказавшись в этом концептуальном представлении (в виде дерева ситуаций), они могли бы сделать логический вывод (используя нечеткую метрику).

Логика временного рога) на их представлении, чтобы решить, что пытаются сделать идентифицированные ими агенты.

Обратите внимание, что HN00 вообще не включал обработку естественного языка (NLP). Хотя им пришлось использовать множество методов распознавания образов и различные алгоритмы машинного обучения, которые были бы знакомы практикам НЛП. Однако их сферой деятельности было преобразование визуальной сцены в концептуальное (не естественное языковое) внутреннее представление. Как AGN08 вышел за рамки этого? Они изменили то, чем хотели заниматься. Их задачей было не просто просмотреть сцену и преобразовать ее во внутреннее представление, но затем вывести это внутреннее представление в видеописание на естественном языке . Таким образом, они добавляли генерация естественного языка

систему до HN00. Генерация естественного языка на основе внутреннего представления, очевидно, является важной частью НЛП.

В процессе добавления этой функциональности AGN08 пришлось расширить внутреннее представление несколькими способами. Это произошло из-за того, что для создания хорошего вывода на естественном языке требовалось больше внутренней информации, а также потому, что они хотели иметь дело с более сложными сценами, чем HN00. В статье основное внимание уделяется этому аспекту работы (расширению внутреннего представления) и лишь косвенно затрагивается вывод на естественном языке. Они подробно описывают вывод на естественном языке:

Р. Гербер, Naturlichsprachliche Beschreibung von Straßenverkehrsszenen durch Bildfolgenauswertung. Диссертация, Факультет информатики университета Карлсруэ (TH), Карлсруэ, январь 2000 г.

К сожалению, я не готов учить немецкий язык и читать целую диссертацию, чтобы дать вам более полный ответ о деталях. Прежде чем попытаться сделать это самостоятельно (надеюсь, вы уже знаете немецкий) или просмотреть более свежие статьи, я рекомендую изучить некоторые основы НЛП. Хорошим источником является следующий вопрос: