Проєктування та розробка багатомодальної інформаційної системи виявлення небезпечної поведінки водія на основі глибоких нейронних мереж

Abstract

У кваліфікаційній роботі розглянуто проблему підвищення безпеки дорожнього руху шляхом автоматизованого виявлення небезпечної поведінки водія з використанням сучасних методів глибокого навчання та багатомодального аналізу даних. Актуальність дослідження зумовлена зростанням кількості дорожньо-транспортних пригод, значна частина яких спричинена людським фактором, зокрема втомою водія, використанням мобільного телефону, ігноруванням ременя безпеки та агресивними манерами керування. У роботі спроєктовано та реалізовано багатомодальну інформаційну систему виявлення небезпечної поведінки водія на основі глибоких нейронних мереж. Запропонований підхід передбачає інтеграцію візуальних даних з автомобільних камер, динамічних параметрів руху транспортного засобу та даних зондування навколишнього середовища. Для виділення ознак застосовано модель YOLOv8 у поєднанні з іншими нейронними мережами, зокрема ResNet, LSTM та 1D-CNN, що дозволяє ефективно аналізувати як просторові, так і часові характеристики поведінки водія. Особливу увагу приділено підготовці та анотації даних із використанням напівкерованого навчання, що дає змогу зменшити трудомісткість ручного маркування великих обсягів даних. Запропоновано механізм фузії ознак з використанням міжмодальної уваги, який забезпечує формування інтегрованого представлення з високою дискримінаційною здатністю. Проведено експериментальне оцінювання розробленої системи, яке підтвердило її ефективність у розпізнаванні основних типів небезпечної поведінки водія в умовах, наближених до реального часу. Отримані результати свідчать про доцільність застосування багатомодальних нейронних мереж у складі інтелектуальних транспортних систем і можуть бути використані для підвищення рівня активної безпеки транспортних засобів.