Telegram-канал nkodw - n.k.o.d.w.: Unsorted - каталог телеграмм

n.k.o.d.w.

11 Dec 2024 17:24

#бпла #техно Продолжение.
А это итоговая прога для управления дроном. Она работает с симуляцией дрона – Клевером (clover). А вся конструкция представляет собой виртуальную матрешку: в основной операционной системе запущена виртуальная машина (программа, которая на базе железа физического компа создает симуляцию другого компа на котором запускается другая операционная система), в ней запущен Linux, в котором несколько программ для симуляции работы дрона. Фабрика симулякров по Бодрийяру.
В программу управления дроном добавлено распознавание человеческого тела, вывод и запись состояния дрона(телеметрия), разные режимы полета, включая автоматический возврат на точку старта. Два варианта на видео – эксперименты с добавлением кнопок управления. Для простого функционала прога достаточно объемна – 469 строк кода. Полного кода не будет, так как проект не завершен, да и светить готовый код управление в открытую не хочу. Кусок распознавания - ниже. Распознавание человека выполняется через библиотеку #Python OpenCV через описание параметров человеческого тела из этой модели haarcascade_fullbody.
Это - классификатор обученный на наборе изображений, содержащих полные тела людей в различных позах и условиях освещения. С его помощью можно обнаруживать людей, стоящих, сидящих или находящихся в других позах, при этом учитывая различные фоны и освещение. При обнаружении объекта (тела человека) классификатор возвращает координаты ограничивающего прямоугольника (bounding box), который окружает найденный объект. Эти координаты включают: (x, y): координаты верхнего левого угла прямоугольника, w: ширина прямоугольника, h: высота прямоугольника.
Там же рядом лежат и другие модели: для лиц, машин и др объектов.
Программа принимает видеопоток с камеры дрона, изображения преобразуется в понятный формат для OpenCV, затем в оттенки серого для распознавания объектов. Распознавание выполняется внутри методов библиотеки OpenCV. Используется алгоритм обнаружения тел, который ищет прямоугольные области внутри изображений с камеры, содержащие объекты, подобные объектам из модели haarcascade_fullbody
Можем рассмотреть позже отдельно, интересно – сигнальте. Для каждого найденного объекта рисуется прямоугольник на изображении, это обозначает, что программа управления дроном нашла объект-цель для… в данном случае только его распознавания и записи на высоте 3-5 метров от земли.

def camera_image(msg):
"""Получение изображения с камеры"""
global latest_image
with lock:
latest_image = bridge.imgmsg_to_cv2(msg, 'bgr8')

image_sub = rospy.Subscriber('main_camera/image_raw', Image, camera_image, queue_size=1)

# Обновление изображения в интерфейсе
def update_image():
if latest_image is not None:
with lock:
img_rgb = cv2.cvtColor(latest_image, cv2.COLOR_BGR2RGB)
img_pil = PILImage.fromarray(img_rgb)
img_tk = ImageTk.PhotoImage(image=img_pil)

camera_label.config(image=img_tk)
camera_label.image = img_tk

window.after(100, update_image)

# Распознание человека с каскадом
def detect_objects():
global latest_image
while running_mode == "objects":
with lock:
if latest_image is None:
continue
img = latest_image.copy()

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
objects = fullbody_cascade.detectMultiScale(gray, scaleFactor=1.05, minNeighbors=4, minSize=(30, 30))

for (x, y, w, h) in objects:
cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

display_image(img)