Раздельная физика
Политика принимает решение, симулятор выполняет движение. Так можно менять RL-агента без переписывания физики полигона.
Обзор
Единая программа Deep RL от простого наведения до 3D полигона
Цель нейросетевого-обучающего тренажера — последовательно усложнять среду и формировать интуитивную политику управления дроном, пригодную для переноса в бортовой контроллер. Обучение не смешивает принятие решений с физикой: агент выбирает действие, а полигон проверяет его на достоверной динамике, шумах, задержках и ограничениях аппарата.
01наблюдение симулятора
02политика RL
03шаг физики
04награда
05экспорт
Цели обучения
Что должна дать программа обучения
sim-to-realшумы + задержки
частота политики50–100 Гц
агентыдрон / антидрон
развертываниеONNX / TensorRT Lite
Два класса аппаратов
Ударный дрон и антидрон обучаются раздельно, но проходят совместимую лестницу усложнения сценариев.
Групповое поведение
Кооперация появляется после одиночных задач, когда агент уже стабильно решает наведение, обзор и вертикальный профиль.
Этапы 01–10
Классы нейросетевого обучения
Только цель
Идеальная кинематика в плоскости. Агент учится идти к точке без инерции, шумов и противника.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Инерция и пределы
Добавляются скорость, ускорение, радиус разворота и ограничения управляющего воздействия.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Ограниченный обзор
Частичная наблюдаемость, шумы сенсоров, потеря контакта и работа по неполной информации.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
2.5D профиль полета
Плоский полигон без препятствий. Агент учится управлять высотой, набором, снижением и безопасным высотным коридором.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Одиночный противник
Преследование или уклонение от движущейся цели с учетом скорости сближения и предсказания траектории.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Адаптивность
Противник меняет маневр. Политика должна сохранять устойчивость, а не запоминать один сценарий.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Кооперация
Несколько антидронов распределяют цели, избегают дублирования и сохраняют рабочие зоны ответственности.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Роевое движение
Групповая плотность, деконфликт траекторий, согласованное движение и устойчивость к потере отдельных агентов.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
3D полигон
Полная физика, ветер, задержки, ошибки датчиков и randomized-сценарии для подготовки к sim-to-real.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Экзамен
Смешанные сценарии, статистическая сдача, проверка робастности и экспорт политики в бортовой runtime.
УРОК 1
УРОК 2
УРОК 3
УРОК 4
УРОК 5
Пайплайн внедрения
От полигона к бортовому контроллеру
Симуляторнаблюдение + физика
PPO / SACобучение политики
Оценкасерии экзаменов
ONNXэкспорт модели
Flight controller50–100 Гц