From 1a7462f5d90a82904709f4c82f55ce2c39ed0059 Mon Sep 17 00:00:00 2001 From: "Ivan I. Ovchinnikov" Date: Fri, 17 Mar 2023 12:16:48 +0300 Subject: [PATCH] week Mar 15,16 --- ...mation-systems-developing-technologies.tex | 38 +++++++++++++ 04-complex-electronic-devices-developing.tex | 54 +++++++++++++++++++ 04-telecommunication-systems-software.tex | 2 +- 04-telematics.tex | 19 +++++++ 04-time-series-analysis-forecasting.tex | 26 +++++++++ 04-tsaf-01-hw.tex | 28 ++++++---- 6 files changed, 156 insertions(+), 11 deletions(-) diff --git a/04-big-data-analysis-information-systems-developing-technologies.tex b/04-big-data-analysis-information-systems-developing-technologies.tex index 605f67f..472d7e8 100644 --- a/04-big-data-analysis-information-systems-developing-technologies.tex +++ b/04-big-data-analysis-information-systems-developing-technologies.tex @@ -882,4 +882,42 @@ decision_function_shape='ovr', break_ties=False, random_state=None) \subsection{Листовые вершины} В каждой листовой вершине дерево будет выдавать константу или вектор вероятностей. +\subsection{Жадный алгоритм построения бинарного решающего дерева} +Конкретный метод построения решающего дерева определяется +\begin{enumerate} +\item Видом предикатов в вершинах +\item функционалом качества +\item Критерием останова +\item Методом обработки пропущенных значений +\item Методом стрижки удаление некоторых вершин с целью понижения сложности и способности к переобучения +\end{enumerate} + +Обработка пропусков. Задачи регрессии и бинарной классификации. + +\textbf{Регрессия:} Заменяем пропущенные значения средними, спрогнозированными другими признаками. \textbf{Решающие деревья.} При построении: выбираем предикат в вершине, отправляем объекты с пропусками в оба поддерева. \textbf{Суррогатные предикаты}. + +\subsection{Преимущества и ограничения} + +\subsection{Ансамбль алгоритмов} +Если ответы регрессоров на объекте -- независимые случайные величины с одинаковым матожиданием и дисперсией, то выполняются следующие свойства: +\begin{equation*} + \begin{gathered} + \xi = \frac{1}{n}(\xi_1+\xi_2+...+\xi_n)\\ + E\xi = \frac{1}{n}(E\xi_1+E\xi_2+...+E\xi_n) = \frac{nE\xi_1}{n} = E\xi_1\\ + D\xi = \frac{1}{n^2}(D\xi_1+D\xi_2+...+D\xi_n) = \frac{D\xi_1}{n} + \end{gathered} +\end{equation*} +Пусть имеется 3 независимых классификатора с вероятностью ошибки $p$ и решение принимается голосованием по большинству. Какова вероятность ошибки трёх классификаторов? +\begin{equation*} + \begin{gathered} + 1-p, p, p; p, 1-p, p; p, p, 1-p;\\ + p^3 + 3p^2(1-p)\\ + (p+(1-p))^3\\ + c_n^0p^0+c_n^1p(1-p)^{n-1}+c_n^2p^2(1-p)^{n-2}+... + \end{gathered} +\end{equation*} + +\subsection{} + + \end{document} \ No newline at end of file diff --git a/04-complex-electronic-devices-developing.tex b/04-complex-electronic-devices-developing.tex index a953d63..d0d04d5 100644 --- a/04-complex-electronic-devices-developing.tex +++ b/04-complex-electronic-devices-developing.tex @@ -492,7 +492,61 @@ $N=8$, $SNR=49,7dB$. реальный может быть 48,1 или 47,1 (пе где N -- разрядность АЦП. Фазовые шумы ТИ накладываются на внутренние фазовые шумы АЦП и так теряются разряды. ТИ должны идти в ту же сторону, что и распространение сигнала. Обязательно через внешние драйверы ТИ с нулевой задержкой. Эмиттерно-селективная логика, дифференциальные сигналы. Снизить шумы позволяют clock-cleaner на основе ФАПЧ. \end{itemize} +\subsection{Тестирование АЦП} +ДПФ (есть оптимизации -- БПФ) $N = 1024$ отсчётов +\[X(k) = \frac{1}{N}\sum_{n=0}^{N-1} x(nT) e^{\frac{-j2\pi nk}{N}}\] +Получим 1024 градаций спектра. +(1) +подвох --некогерентная дискретизация: +(2) +Окно (на неполном или более чем единицном периоде) формирует фазовый сдвиг. Эффект Гибса. Каждый скачок -- это гармоники. Точно рассчитать спектр вообще невозможно. Добавляют умножение на весовую функцию на этапе ДПФ -- операцию взвешивания. Фильтр RAMP, Хэмминга, Хана. +(3) +\[X(k) = \frac{1}{N}\sum_{n=0}^{N-1} x(nT) x(W) e^{\frac{-j2\pi nk}{N}}\] +Тем самым мы достаточно сильно повлияли на входной сигнал. + +Для тестирования АЦП необходимо применить когерентную дискретизацию -- один или несколько периоддов дискретизации точно укладываются в окно наблюдения. +(4) + +\section{Характеристики ЦАП} +Основные характеристики +\begin{itemize} +\item Разрядность; +\item Частота обновления данных. +\end{itemize} + +\subsection{Статические характеристики} +\begin{itemize} +\item дифференциальная нелинейность -- отклонение от идеального напряжения в МЗР формирует нелинейность (по горизонтали). +\item интегральная нелинейность -- отклонение вых значения от идеальной прямой (по вертикали) +\item немонотонность -- следствие первых двух +\item ошибка смещения offset error -- подали 0, на выходе не 0 напряжение (аддитивная ошибка) +\item ошибка усиления gain error -- наклон шкалы (мультипликативная) +\end{itemize} +(5) +Идеальная характеристика - каждому отсчёту соответствует точка равная определённому разному напряжению. Пропущенных кодов быть не может. + +\subsection{Динамические характеристики ЦАП} +\begin{itemize} +\item Время установления выходного напряжения (setting time). -- классический аналоговый параметр. Меняется код и на выходе переходной процесс + (6) +Время установления является фактической ответной частью частотой дискретизации. +\item Форма переходного процесса может отличаться. Эмпирический показатель Область глитч импульса glitch impulse area. Максимальный переходной процесс -- в середине шкалы + (7) +Измеряется в $V\cdot pS$. Иногда измеряют не только площади, но разницы площадей. Проблему решает деглитчер (УВХ). + (8) +\end{itemize} + +\subsection{Архитектуры АЦП} +\begin{itemize} +\item последовательного приближения +\item дельта-сигма +\item параллельные +\end{itemize} + +Основной элемент -- это компаратор. Это однобитный квантователь, перед ним стоит УВХ. +(10) получаем 255 уровней квантования. на выходе 255-разрядный (позиционный, температурный) код. +Приоритетный шифратор формирует N-разрядный код. Слишком много компараторов (дорого, размер, потребление), зависит от точности резисторов (интегральная нелинейность), разброс задержек компараторов (решается цифровыми средствами), паразитные ёмкости. diff --git a/04-telecommunication-systems-software.tex b/04-telecommunication-systems-software.tex index 285c83d..4a35d57 100644 --- a/04-telecommunication-systems-software.tex +++ b/04-telecommunication-systems-software.tex @@ -3,7 +3,7 @@ \input{settings/common-preamble} \input{settings/bmstu-preamble} \input{settings/fancy-listings-preamble} -\author{Сидякин И. М.} +\author{Сидякин Иван Михайлович} \title{Программное обеспечение телекоммуникационных систем} \date{2023-02-09} diff --git a/04-telematics.tex b/04-telematics.tex index 8338368..2dcc1dc 100644 --- a/04-telematics.tex +++ b/04-telematics.tex @@ -518,4 +518,23 @@ compose написан на python, конфигурация в yaml-файла \end{itemize} +\section{Оркестрация контейнеров} +Оркестраторы управляют ЖЦ контейнеров микросервисных приложений. Задачи оркестратора: +\begin{itemize} +\item подготовка инфраструктуры и развёртывание -- установка приложения и его зависимостей на сервер, включая подготовку этого сервера -- установку библиотек, служб, и так далее. +\item Разделение ресурсов -- Для развёртывания в кластере требуется... +\item Масштабирование контейнеров на основе рабочих нагрузок -- простой излишних ресурсов приводит к издержкам, а недостаток -- к нестабильно йработе приложения. Регулировать объёмы используемых ресурсов позволяет масштабирование, основанное на анализе нагрузок. Может быть ручным или автоматизированным. +\item Балансировка нагрузок -- автоматический анализ и распределение рабочих нагрузок на сервер целиком и контейнеры в частности. Балансировка оптимизирует использование ресурсов, увеличивает пропускную способность каналов связи,... +\item Маршрутизация трафика +\item Мониторинг состояния контейнеров -- позволяет видеть какие контейнеры и образы запущены +\item Обеспечение безопасного взаимодействия между контейнерами -- на основе непрерывной оценки кластеров, узлов и реестра контейнеров... +\end{itemize} + +\subsection{Kubernetes} +Считается отраслевым стандартом +\begin{itemize} +\item мониторинг сервисов +\item +\end{itemize} + \end{document} diff --git a/04-time-series-analysis-forecasting.tex b/04-time-series-analysis-forecasting.tex index 3c86444..a6d9bc2 100644 --- a/04-time-series-analysis-forecasting.tex +++ b/04-time-series-analysis-forecasting.tex @@ -516,7 +516,31 @@ k=\frac{1}{\alpha_1}\\ \end{gathered} \end{equation*} +TS-Процесс. +\begin{equation*} + \begin{gathered} + y_t = 0,5y_{t-1}+\xi_t+0,5t\\ + \varphi(0) = \frac{\delta y_t}{\delta\xi_t} = 1\\ + y_{t+1} = 0,5(t-1)+\xi_{t+1}+0,5y_t\\ + \varphi(1) = \frac{2y_{t+1}}{\delta\xi_t} = 0,5\\ + \varphi(2) = 0,25\\ + \varphi(k) = 0,5^k + \end{gathered} +\end{equation*} +Взятие разностей TS-процесса (нельзя брать такие разности) +\begin{equation*} + \begin{gathered} + y_t = 1+t+\xi_t-0,5\xi_{t-1}, \sigma_y^2=1,25\sigma_\xi^2\\ + Var(y_t) = Var(1+t + \xi_t -0,5\xi_{t-1}) = \\ + 0 + \sigma^2 - 0,25\sigma^2\xi \\ + y_t-y_{t-1} = 1+t+\xi_t-0,5\xi_{t-1} - (1+t-1+\xi_{t-1}-0,5\xi_{t-2})\\ + 1+\xi_t-1,5\xi_{t-1}+0,5\xi_{t-2}=\\ + Var(z) = (1+2,25+0,25)\sigma_\xi^2 + \end{gathered} +\end{equation*} + +Для того чтобы проверить распределение Дики-Фуллера нужно построить константы и тренд и понять значимый ли тренд \appendix \setcounter{secnumdepth}{0} @@ -586,5 +610,7 @@ r = число параметров модели, N - объём выборки. SARIMA(p,d,q)(P,D,Q,S) -- учёт сезонности. + + \end{document} \ No newline at end of file diff --git a/04-tsaf-01-hw.tex b/04-tsaf-01-hw.tex index 7219444..b6a4586 100644 --- a/04-tsaf-01-hw.tex +++ b/04-tsaf-01-hw.tex @@ -31,7 +31,7 @@ \section{Выполнение} \subsection{Обратимость и стационарность} -Для процесса возможно построить характеристическое уравнение. Если корни характеристического уравнения авторегрессии по модулю больше 1, то процесс стационарен. Опишем в с помощью оператора сдвига +Для процесса возможно построить характеристическое уравнение. Если корни характеристического уравнения по модулю больше 1, то процесс обратим. Опишем в с помощью оператора сдвига \[y_t = 1-2.5L+1L^2\] и решим квадратное уравнение \begin{equation*} @@ -44,25 +44,33 @@ z_2 = \frac{-2.5+\sqrt{-2.5^2-4}}{2}\\ z_2 = 1.25 - \sqrt{1.5625-1} \approx 0.5 \end{gathered} \end{equation*} -Только один корень уравнения по модулю больше, поэтому процесс \textbf{не является стационарным}. +Только один корень уравнения по модулю больше, поэтому процесс \textbf{не является обратимым}. -Процесс является обратимым если корни характеристического уравнения скользящего среднего процесса больше 1. -\[1-1.5\lambda = 0\] -Корень характеристического уравнения $\lambda = \frac{1}{1.5} = 0.6(6)$ -- процесс \textbf{не обратим}. +Процесс \textbf{является стационарным} по теореме Вольда. \subsection{Автоковариационная функция} +\begin{equation*} + \begin{gathered} + \gamma(0) = Var(y_t) = 8.25\\ + \gamma(1) = cov(\xi_t - 2.5\xi_{t-1}+\xi_{t-2}, \xi_{t-1} - 2.5\xi_{t-2}+\xi_{t-3})=\\ + = E[\xi_t - 2.5\xi_{t-1}+\xi_{t-2}, \xi_{t-1} - 2.5\xi_{t-2}+\xi_{t-3}] = \\ + -2.5 \cdot 1 \cdot 1 + -2.5 \cdot 1 \cdot 1 = -5\\ + \gamma(2) = E[\xi_t - 2.5\xi_{t-1}+\xi_{t-2}, \xi_{t-2} - 2.5\xi_{t-3}+\xi_{t-4}] = 1 \cdot 1 = 1\\ + \gamma(3) = 0 + \end{gathered} +\end{equation*} \subsection{Дисперсия процесса} \begin{equation*} \begin{gathered} -M[x] = \sum x_i p_i\\ -M[x] = 0*1+1*(-2.5)+2*1 = -0.5\\ -D[Y] = \sum x^2_i p_i - \left(\sum x_i p_i \right)^2\\ -D = 0^2*1+1^2+-2.5+2^2*1-(0*1+1*(-2.5)+2*1)^2=1.25 + Var(y_t) = ?\\ + Var(y_t) = Var(\xi_t - 2.5\xi_{t-1}+\xi_{t-2})=\\ + = Var(\xi_t) +Var(-2.5\xi_{t-1})+Var(\xi_{t-2}))=\\ + =Var(\xi_t) + 6.25(\xi_{t-1}) + Var(\xi_t) = \\ + 8.25 \cdot Var(\xi_t) = 8.25 \end{gathered} \end{equation*} - \subsection{Процесс ARMA(1, 1)}