BMSTU/04-videostream-object-parameter-recognition-algorithms.tex

\documentclass{article}

\input{settings/common-preamble}
\input{settings/bmstu-preamble}
\input{settings/fancy-listings-preamble}
\author{Локтев Даниил Алексеевич}
\title{Алгоритмы (методы)определения параметров объектов в видеопотоке}
\date{2023-02-08}

\begin{document}
\fontsize{14}{18}\selectfont
\maketitle
\tableofcontents
\newpage
\section{Введение}
\subsection{Основные понятия}
РК 15.03 и 10.04

\textbf{Алгоритм} -- это определённая строгая последовательность дискретных действий, которая приводит к конечному результату

\textbf{Метод} -- менее конкретный, чем алгоритм, основан на законах окружающей среды. Метод может быть реализован большим числом алгоритмов.

\textbf{Подход} -- это совокупность методов.

\subsection{Основные этапы работы с изображением}
\begin{enumerate}
\item Получение изображения (регистрация);
\item улучшение изображения (фильтрация, деформация);
\item детектирование объектов;
\item отслеживание объектов;
\item определение параметров объектов (геометрические, кинетические, ...);
\item обработка информации (стат. анализ);
\item разпознавание объектов;
\item сжатие данных об объекте.
\end{enumerate}

Методы выявления расстояния до объекта:
\begin{itemize}
\item времяпролётные PMD-камеры
\item ToF-устройства (работают по принципу эхолокации, но со светом)
\item Обычные камеры (стереозрение, расфокусировка).
\end{itemize}
\subsection{Основные этапы функционирования системы мониторинга}
\begin{enumerate}
\item Активация внешних модулей (получение первоначальных данных);
\item сбор информации об исследуемом объекте;
\item мониторинг процесса получения первоначальных данных и общего состояния системы;
\item отслеживание и контроль параметров качества;
\item обеспечение персонала и оборудования необходимой информацией;
\item установление взаимодействия между персоналом и оборудованием (также между различными модулями системы);
\item изменение параметров фото- и видеофиксации объекта контроля, в зависимости от параметров внешней среды (например, освещённость) или характеристик состояния и поведения самого объекта контроля. 
\end{enumerate}

\begin{figure}[H]
  \centering
  \fontsize{11}{1}\selectfont
  \includesvg[scale=.9]{pics/04-vora-00-image-taking-device.svg}
  \caption{Регистрация цифрового изображения в устройстве}
\end{figure}

\subsection{Основные характеристики камеры}
Есть камеры, хранящие набор пикселей, но есть и «векторные» которые могут менять свою точку фокусировки и хранить набор пикселей для каждого из фокусов. Удобно менять точку фокусировки уже после создания снимка.
\begin{itemize}
\item Характеристики оптической системы.
  \begin{enumerate}
  \item Основная характеристика -- фокусное расстояние (способность собирать в одну точку лучи света, параллельных оптической оси)
    \begin{figure}[H]
      \centering
      \fontsize{14}{1}\selectfont
      \includesvg[scale=1.01]{pics/04-vora-00-focusing.svg}
    \end{figure}

  \item угол поля зрения (обратная зависимость от фокусного расстояния) -- угол между двумя лучами, пороходящими через центр входного зрачка объектива к наиболее удалённым точкам попадающим на изображения.
  \item апертура объектива -- это диаметр светового пучка на входе в объектив, полностью проходящего через диафрагму (есть входная и выходная, чаще всего считают одинаковыми). от этого будет сильно зависеть характеристики изображения.
  \item разрешающая сила объектива (характеристики, отображающие его возможность передачи изображения, зависит от предыдущих параметров).
    \[\frac{1}{K} = \frac{1}{N} + \frac{1}{M} \]
    где $K$ -- это общая разрешающая сила, $N$ - разрешающая сила оптической системы, $M$ - разрешающая сила системы преобразования
    \[ K = \frac{NM}{N+M} \]
  \end{enumerate}
\item характеристики светочувствительной матрицы
  \begin{enumerate}
  \item отношение сигнал/шум (часто рассматривается вместе с усилителем) физическая величина, определяющая средние колебания в определённых пределах;
  \item физический размер пикселя светочувствительной матрицы;
  \item физический размер всей светочувствительной матрицы (ширина на высоту);
  \item выдержка -- интервал времении, в течение которого свет попадает на участок светочувствительной матрицы;
  \item глубина резкости (глубина резкозти изображаемого пространства) - расстояние вдоль оптической оси линзы.
  \end{enumerate}
\end{itemize}

Зная характеристики камеры мы можем по размытому изображению определить расстояние.

\section{Определение параметров объекта}
Удалённость от камеры, размеры объекта, кинематические характеристики (скорость, направление движения).

Метод пропорций -- должны быть априорные данные об объекте, для которого мы хотим определять характеристики. Если нет данных об объекте -- должны быть размеры объектов в сцене (дорожные знаки, разметка, и так далее), на основе данных о сцене и изображения объекта на сцене можем вычислить нужные параметры.
Исходные данные:
\begin{itemize}
\item $H_{\text{объекта}}$ -- например, высота объекта в пикселях $h$ -- априорная высота;
\item $\alpha_{\text{кадр}}, \beta_{\text{кадр}}$ -- характеристики камеры -- углы обзора по вертикали и горизонтали, соответственно.
\item $H_{\text{кадр}}$, $W_{\text{кадр}}$ -- высота и ширина кадра
\end{itemize}
найти $l$ -- расстояние до объекта, $v$ -- скорость.
(1)
для вычисления скорости нужно взять два кадра с известным временем между ними.
(2)
$v_x$ тоже касательный считается по аналогии
\[ v_x = \frac{\beta_k * \Delta_o * l}{W_k * N \tau} \]
(3)

Недостаток в том, что нам нужны априорные знания об объектах.

Метод pinhole
(4)
мы знаем, что все лучи проходят через одну точку, тогда стоит задача по координатам $(X,Y,Z)$ получить двумерные координаты $(u, v)$.
(5)

(6) - матрица поворота

вектор $T$ отвечает за центр масс объекта.
Координаты $(X, Y, Z)$ приводятся к двумерным $x', y'$, масштабируются $f(x)$ и делаем сдвиг $c(x)$.

\[x' = x/Z; y' = y/Z\]

\[u = f_x*x' + c_x; v = f_y*y'+c_y\]
(7)

$P$ -- проекционная матрица.

В данной задаче возникает проблема искажений (аберрации, дисторсия).
\[x'' = x'(1+k_1*r^2 + k_2*r^4 + k_3*r^6) + 2p_1x'y' + p_2(r^2+2x'^2)\]

\[r^2 = x'^2 + y'^2\]
аналошгично y'

\[y'' = y'(1+k_1*r^2 + k_2*r^4 + k_3*r^6) + p_1(r^2+2y'^2) + 2p_2x'y'\]

По изображению можем получить все коэффициенты и посчитать координаты $u, v$. Коэффициенты находятся путём калибровки камеры. И используются для обратного вычисления координат.
(8) цель минимизировать ошибку, видеале = 0

(uia via) = P(xi,yi,zi)

Зная, что матрица P - это проекционная матрица мы можем варьировать матрицы поворота и сдвига(R, T), которые входят в её состав. Perspective Points Problem - проблема того что реальная точка может восстановиться в две и нужно понять у какой коэффициент ошибки меньше.

Определение на изображении планарных (плоских) объектов -- гомография.

(9)
Как понять, что объект плоский. Все точки объекта связаны определёнными геометрическими преобразованиями и возможно построить между ними зависимостями.

объект = u,v
изображение = \tilde{u}, \tilde{v}

\tu = h_11u+h_12v+h13/h31u+h32v+h_33
\tv = h_21u+h_22v+h13/h31u+h32v+h_33
H = h11 h12 h13\\h21 h22 h23\\h31 h32 h33 - матрица гомографии
(tu tv 1) = H(u v 1)

задача - поиск точек, подверженных гомографии. Такой поиск называется схема RANSAC.
\end{document}