Управление бпла
при помощи позы и жестов
Программа для управления дроном при помощи распознавания положения тела человека
Команда проекта
  • Павлова Олеся
    Инженер-программист
    Написала программное обеспечение для управления дроном.
  • Григорьева Варвара
    Лидер команды, дизайнер
    Занималась созданием дизайн лендинга и обучением нейросети.
  • Анатолий Левьев
    Наставник
    Осуществляет постановку задач и контроль их исполнения в установленные сроки.
Проблема
В России активно внедряют БАС в образование, но популярные учебные дроны (DJI Tello, Robomaster TT, Пионер Мини) не имеют встроенного искусственного интеллекта. Это создает «технологический разрыв»: учащиеся не могут изучать современные системы автономного управления на базовом оборудовании.
Мы разработали программное обеспечение, которое расширяет возможности простых учебных дронов. С помощью самостоятельно обученной нейросети мы превращаем их в интеллектуальные системы, способные распознавать позы человека, удерживать пользователя в центре кадра и соблюдать дистанцию без дорогих датчиков.
Актуальность
Сегодня БПЛА и Искусственный интеллект входят в список приоритетных направлений технологического суверенитета России. Умение программировать автономные системы - это навык будущего, востребованный в логистике, безопасности и мониторинге. Наш проект позволяет осваивать эти компетенции уже в школе, используя доступное оборудование. Мы адаптируем сложные нейросетевые технологии для массового сегмента, превращая обычный учебный дрон в полноценный инструмент для изучения ИИ.
Обзор аналогов
Существующие решения
Преимущества
Недостатки
Стоимость
Пионер Мини 2
DJI Mavic Air 2
DJI Phantom 4 Pro+ v2.0
Наше решение
вычисления прямо на борту
высокая автономность, камера 4K/60 fps
всестороннее обнаружение препятствий, камера 4K/60 fps
потенциально программу можно запустить на большом количестве учебных дронов (около 30 000 устройств)
продолжительность работы дрона около 10 мин
зависимость от приложения DJI Fly
плохая портативность из-за габаритов
необходим ноутбук для работы программы, продолжительность работы дрона около 10 мин
нет в открытой продаже
~130 000 руб.
~413 000 руб.
~81 500 руб.
Цель проекта
Целью нашего проекта является улучшить функционал дрона. Взять обычный учебный дрон и научить его самостоятельно летать за человеком. Программа на ноутбуке обрабатывает видео с дрона, распознаёт человека и сама отдаёт команды: взлететь, повернуть, подлететь, отдалиться или сесть. В итоге дрон сам следит за человеком, и нам не нужно постоянно им управлять.
Задачи
  • Изучить документацию по библиотеке Ultralytics
  • Создать собственную модель компьютерного зрения для распознавания жестов на базе YOLOv8 Pose
  • Написать код взаимодействия квадракоптера с моделью компьютерного зрения YOLO - чтобы дрон следовал за человеком и распознавал жесты.
  • Провести тест работоспособности БПЛА с нашей программой
  • Подготовить видео-демонстрацию
Стейкхолдеры проекта

  • "Кванториум" г. Чебоксары


    Имеющийся партнер

    Детский технопарк для ускоренного развития ребенка по актуальным научно-исследовательским и инженерно-техническим направлениям, оснащенная высокотехнологичным оборудованием.

  • ГК "Геоскан"

    Потенциальный партнер
    Ведущая российская группа технологических компаний, специализирующаяся на разработке и производстве беспилотных авиационных систем, малых космических аппаратов, ПО для фотограмметрии.
  • Фонд венчурных инвестиций Чувашской Республики
    Потенциальный партнер
    Занимаются финансовой поддержкой малого и среднего инновационного предпринимательства в регионе. Цель — развитие инфраструктуры рискового финансирования, предоставление долевого и долгового финансирования перспективных стартапов и научно-технических проектов для их развития.
Этапы работы над проектом
Подготовительный
  • Постановка цели и задач проекта с 17 по 18 января
  • Ознакомление с теорией компьютерного зрения и документацией к дронам DJI Tello и Robomaster TT 25 января
  • Установка Python и необходимых библиотек (djitellopy, opencv, ultralytics) с 27 января
Основной
  • Сбор и разметка собственного датасета для 4-х уникальных поз. Обучение модели YOLOv8n-pose под ваши задачи. с 28 января по 1 марта
  • Программирование логики удержания пользователя в центре кадра и системы автоматического определения дистанции по площади тела. с 24 февраля по 18 марта
  • Объединение распознавания поз и системы навигации в единую программу управления. с 19 марта по 26 апреля
  • Сборка всех модулей в единую программу и проведение летных испытаний для проверки стабильности управления. 27 апреля
Заключительный
  • Фиксация результатов и съемка видеороликов с демонстрацией полетов. 03 мая
  • Подготовка лендинга до 8 мая
  • Защита проекта с 21 по 22 мая
Экономика проекта
Стоимость прототипа:
  • Квадрокоптер DJI Ryze Tello /DJI RoboMaster TT: от 50 000 руб. (используется имеющийся в образовательном учреждении)
  • Зарядная станция: от 1500 руб. (используется имеющийся в образовательном учреждении)
  • Компьютер (ноутбук/ПК): от 50 000 руб. (используется имеющийся в образовательном учреждении или домашний компьютер)
  • Программное обеспечение: 80 000 руб. (работа программистов за 80 рабочих часов)
  • Общая стоимость прототипа: от 181 500 руб.
Необходимые ресурсы:
  • Консультации профильных специалистов
  • Расходы на внедрение и продвижение

Результаты

Добавили поддержку модели компьютерного зрения YOLO
Получили поддержку от технопарка
Получили практический опыт проектной деятельности
Артефакты проекта
Программное обеспечение, позволяющее превратить дрон DJI RoboMaster TT или любой другой, совместимый с библиотекой DJITelloPy, в дрон с нейросетевыми технологиями.
Технические характеристики проекта
Контакты
Президентский бульвар, 14, г. Чебоксары, Чувашская Республика.
Телефон: +7-(8352)-62-39-02
Email: ddut-kvant@mail.ru
Использованные изображения предоставлены GigaChat