\documentclass[11pt,french]{article}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{lmodern}
\usepackage[a4paper]{geometry}
\usepackage{babel}
\usepackage[tbtags]{amsmath}
\usepackage{amsthm}
\usepackage{bbm} %package for the indicator
\usepackage{graphicx}
\usepackage{amssymb}
\usepackage{epstopdf}
\usepackage{dsfont}
\usepackage{fancyhdr}
\usepackage[svgnames]{xcolor}

\newtheorem{q}{Q}
\newtheorem{rem}{Remark}

\setlength{\paperwidth}{21cm} \setlength{\paperheight}{32cm}
\setlength{\evensidemargin}{-0cm} \setlength{\oddsidemargin}{-0.5cm}
\setlength{\topmargin}{-2cm} \setlength{\headsep}{0.7cm}
\setlength{\headheight}{1cm} \setlength{\textheight}{26.5cm}
\setlength{\textwidth}{17.5cm}
\setlength{\topskip}{0.cm}
\setlength{\footskip}{1cm}
\pagestyle{fancy}
\fancyhf{}
\fancyhead[L]{{\footnotesize  Estad\'istica matem\'atica}}
\fancyhead[R]{{\footnotesize Maestr\'ia 2022}}


%Command specific to the paper
\usepackage{mathtools}
\DeclarePairedDelimiter{\ceil}{\lceil}{\rceil}
\newcommand{\esp}[1]{\mathbb{E}\left[#1\right]} % The expected value
\newcommand{\var}[1]{\text{Var}\left(#1\right)} % The variance
\newcommand{\prob}[1]{\mathbb{P}\left(#1\right)} % The probability
\newcommand{\probi}[2]{\mathbb{P}_{#1}\left(#2\right)} % The probability with ind
\newcommand{\R}{\mathbb{R}} %The R set
\newcommand{\A}{\mathcal{A}}
\newcommand{\Sh}{\mathcal{S}}
\newcommand{\C}{\mathbb{C}} %The set of complexes
\newcommand{\N}{\mathbb{N}^*} %The integers
\newcommand{\ex}{\noindent \underline{Ex :} }
\newcommand{\1}[1]{\mathbbm{1}_{#1}} %The indicator
\newcommand{\funk}[5]{
\begin{displaymath}
#1:
  \begin{array}{rcl}
    #2 & \longrightarrow & #3 \\
    #4 & \longmapsto & #5 \\
  \end{array}
\end{displaymath}}

\date{}
\begin{document}
\begin{center}
\Huge{Tarea n$^{\circ}$4}
\end{center}
Consideremos el modelo de regresión
\begin{equation*}
  Y=X\beta+\epsilon
\end{equation*}
donde supongamos que \(X\) es una matriz de \(\mathcal{M}_{n,k}(\R)\) determinista, y que \(\esp{\epsilon}=0\), \(\esp{\epsilon\epsilon^T}=\sigma^2I_n\). El vector de parámetros \(\beta \in \R^k\) es de dimensión \(k\).
\begin{enumerate}
  \item Supongamos que \(k>n\). Que decir del estimador de mínimos cuadrados en este caso? Que decir de la matriz \(X^TX\)?
  \item Estamos interesados en el estimador que para todo \(\lambda>0\) está definido por
  \begin{equation*}
    \hat{\beta}_{\lambda}=\text{argmin}_{\beta\in \R^k} (\|Y-X\beta\|^2+\lambda\|\beta^2\|)
  \end{equation*}
  Mostrar que la solución es única y que es también solución de la ecuación lineal \(-2X^T(Y-X\beta)+2\lambda\beta=0\).
  \item En este inciso queremos dar una formula explicita para la solución.
  \begin{enumerate}
    \item Preliminar: Mostrar que para cada \(\lambda>0\), la matriz \(X^TX+\lambda I_n\) es invertible.
    \item Concluir dando la forma explicita de la solución.
  \end{enumerate}
  \item Calcular el sesgo y la matriz de covarianza de la solución \(\hat{\beta}_\lambda\).
  \item Finalmente supongamos \(k=1\) de tal manera que el problema se reduce a la regresión sencilla. Muestre que hay un valor de \(\lambda\) tal que el riesgo del estimador de parámetro \(\lambda\) es menor que el riesgo del estimador de mínimos cuadrados. 
\end{enumerate}
\end{document}
