Regresión polinomial

En estadística, la regresión polinomial es un modelo de análisis de regresión en el que la relación entre la variable independiente ${\displaystyle X}$ y la variable dependiente ${\displaystyle Y}$ se modela con un polinomio de ${\displaystyle n}$-ésimo grado en ${\displaystyle X}$. La regresión polinomial se ajusta a una relación no lineal entre el valor de ${\displaystyle X}$ y la media condicional correspondiente de ${\displaystyle Y}$, denotada ${\displaystyle \operatorname {E} [Y|X]}$. Aunque la regresión polinomial ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión ${\displaystyle \operatorname {E} [Y|X]}$ es lineal en los parámetros desconocidos que se estiman a partir de los datos. Por esta razón, la regresión polinomial se considera un caso especial de regresión lineal múltiple.

Las variables explicativas (independientes) que resultan de la expansión polinomial de las variables de "línea base" se conocen como términos de grado superior. Estas variables también se utilizan en entornos de clasificación.^[1]​

Historia

Los modelos de regresión polinomial suelen ajustarse mediante el método de mínimos cuadrados. El método de mínimos cuadrados minimiza la varianza de los estimadores insesgados de los coeficientes, bajo las condiciones del teorema de Gauss-Markov. El método de los mínimos cuadrados fue publicado en 1805 por Legendre y en 1809 por Gauss. El primer diseño de un experimento de regresión polinomial apareció en un artículo de 1815 de Gergonne.^[2]​^[3]​ En el siglo XX, la regresión polinomial jugó un papel importante en el desarrollo del análisis de regresión, con un mayor énfasis en cuestiones de diseño e inferencia.^[4]​ Más recientemente, el uso de modelos polinomiales se ha complementado con otros métodos, y los modelos no polinomiales tienen ventajas para algunas clases de problemas.

Definición y ejemplo

El objetivo del análisis de regresión es modelar el valor esperado de una variable dependiente ${\displaystyle Y}$ en términos del valor de una variable independiente (o vector de variables independientes) ${\displaystyle X}$. En regresión lineal simple, el modelo

${\displaystyle Y=\beta _{0}+\beta _{1}X+\varepsilon }$

se utiliza, donde ${\displaystyle \varepsilon }$ es un error aleatorio no observado con media cero condicionada a una variable escalar ${\displaystyle X}$. En este modelo, por cada unidad de aumento en el valor de ${\displaystyle X}$, la expectativa condicional de ${\displaystyle Y}$ aumenta en ${\displaystyle \beta _{1}}$ unidades.

En muchos entornos, esta relación lineal puede no ser válida. Por ejemplo, si estamos modelando el rendimiento de una síntesis química en términos de la temperatura a la que tiene lugar la síntesis, podemos encontrar que el rendimiento mejora al aumentar las cantidades por cada unidad de aumento de temperatura. En este caso, podríamos proponer un modelo cuadrático de la forma

${\displaystyle Y=\beta _{0}+\beta _{1}X+\beta _{2}X^{2}+\varepsilon .}$

En este modelo, cuando la temperatura aumenta de ${\displaystyle X}$ a ${\displaystyle X+1}$ unidades, el rendimiento esperado cambia en ${\displaystyle \beta _{1}+\beta _{2}(2X+1)}$ (Esto se puede ver reemplazando ${\displaystyle X}$ en esta ecuación con ${\displaystyle X+1}$ y restando la ecuación en ${\displaystyle X}$ de la ecuación en ${\displaystyle X+1}$). Para cambios infinitesimales en ${\displaystyle X}$, el efecto sobre ${\displaystyle Y}$ viene dado por la derivada total con respecto a ${\displaystyle X}$: ${\displaystyle \beta _{1}+2\beta _{2}X.}$ El hecho de que el cambio en el rendimiento depende de ${\displaystyle X}$ es lo que hace que la relación entre ${\displaystyle X}$ e ${\displaystyle Y}$ no lineal a pesar de que el modelo es lineal en los parámetros a estimar.

En general, podemos modelar el valor esperado de ${\displaystyle Y}$ con un polinomio de ${\displaystyle n}$-ésimo grado, produciendo el modelo de regresión polinómica general

${\displaystyle Y=\beta _{0}+\beta _{1}X+\beta _{2}X^{2}+\beta _{3}X^{3}+\cdots +\beta _{n}X^{n}+\varepsilon }$

Convenientemente, estos modelos son todos lineales desde el punto de vista de la estimación, ya que la función de regresión es lineal en términos de los parámetros desconocidos ${\displaystyle \beta _{0},\beta _{1},\dots }$ Por lo tanto, para el análisis de mínimos cuadrados, los problemas computacionales e inferenciales de la regresión polinomial se pueden abordar por completo utilizando las técnicas de regresión múltiple. Esto se hace tratando ${\displaystyle X,X^{2},\dots }$, como variables independientes distintas en un modelo de regresión múltiple.

Forma de matriz y cálculo de estimaciones

El modelo de regresión polinomial

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

se puede expresar en forma de matriz en términos de una matriz diseño ${\displaystyle X}$, un vector de respuesta ${\displaystyle \mathbf {Y} }$, un vector de parámetro ${\displaystyle {\boldsymbol {\beta }}}$ y un vector ${\displaystyle {\boldsymbol {\varepsilon }}}$ de errores aleatorios. La i-ésima fila de ${\displaystyle X}$ y ${\displaystyle \mathbf {Y} }$ contendrá el valor ${\displaystyle X}$ e ${\displaystyle Y}$ para la muestra de datos i-ésimo. Entonces el modelo se puede escribir como un sistema de ecuaciones lineales:

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

que cuando se usa la notación matricial pura se escribe como

${\displaystyle {\boldsymbol {Y}}=X{\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$

El vector de coeficientes de regresión polinomial estimados (usando la estimación de mínimos cuadrados ordinarios) es

${\displaystyle {\widehat {\boldsymbol {\beta }}}=(X^{t}X)^{-1}X^{t}{\boldsymbol {Y}}}$

asumiendo ${\displaystyle m<n}$ que se requiere para que la matriz sea invertible; entonces desde ${\displaystyle X}$ es una matriz de Vandermonde, se garantiza que la condición de invertibilidad se mantenga si todos los ${\displaystyle x_{i}}$ los valores son distintos. Esta es la única solución de mínimos cuadrados.

Interpretación

Aunque la regresión polinomial es técnicamente un caso especial de regresión lineal múltiple, la interpretación de un modelo de regresión polinomial ajustado requiere una perspectiva algo diferente. A menudo es difícil interpretar los coeficientes individuales en un ajuste de regresión polinomial, ya que los monomios subyacentes pueden estar altamente correlacionados. Por ejemplo, ${\displaystyle X}$ y ${\displaystyle X^{2}}$ tienen una correlación de alrededor de 0,97 cuando ${\displaystyle X}$ se distribuye uniformemente en el intervalo ${\displaystyle (0,1)}$. Aunque la correlación se puede reducir mediante el uso de polinomios ortogonales, generalmente es más informativo considerar la función de regresión ajustada como un todo. A continuación, se pueden utilizar bandas de confianza puntuales o simultáneas para proporcionar una idea de la incertidumbre en la estimación de la función de regresión.

Aproximaciones alternativas

La regresión polinomial es un ejemplo de análisis de regresión que utiliza funciones de base para modelar una relación funcional entre dos cantidades. Más específicamente, reemplaza ${\displaystyle x\in \mathbb {R} ^{d_{x}}}$ en regresión lineal con base polinomial ${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$, por ejemplo ${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$. Un inconveniente de las bases polinomiales es que las funciones base son "no locales", lo que significa que el valor ajustado de y a un valor dado ${\displaystyle x=x_{0}}$ depende en gran medida de los valores de los datos con ${\displaystyle x}$ lejos de ${\displaystyle x_{0}}$.^[5]​ En la estadística moderna, las funciones de base polinomiales se utilizan junto con nuevas funciones de base, como splines, funciones de base radial y ondículas. Estas familias de funciones básicas ofrecen un ajuste más parsimonioso para muchos tipos de datos.

El objetivo de la regresión polinomial es modelar una relación no lineal entre las variables independientes y dependientes (técnicamente, entre la variable independiente y la media condicional de la variable dependiente). Esto es similar al objetivo de la regresión no paramétrica, que tiene como objetivo capturar las relaciones de regresión no lineal. Por lo tanto, los enfoques de regresión no paramétrica, como el suavizado, pueden ser alternativas útiles a la regresión polinomial. Algunos de estos métodos utilizan una forma localizada de regresión polinomial clásica.^[6]​ Una ventaja de la regresión polinomial tradicional es que se puede usar el marco inferencial de regresión múltiple (esto también se aplica cuando se usan otras familias de funciones básicas como splines).

Una última alternativa es utilizar modelos kernelizados como el soporte de regresión vectorial con un kernel polinomial.

Si los residuos tienen una varianza desigual, se puede utilizar un estimador de mínimos cuadrados ponderados para dar cuenta de eso.^[7]​

Véase también

• Ajuste de curvas
• Regresión lineal
• Regresión polinomial local
• Modelado de funciones polinomiales y racionales
• Interpolación polinomial
• Metodología de superficie de respuesta

Notas

• Microsoft Excel hace uso de la regresión polinomial al ajustar una línea de tendencia a puntos de datos en un gráfico de dispersión X Y.^[8]​

Referencias

Enlaces externos

• Ajuste de curvas, simulaciones interactivas PhET, Universidad de Colorado en Boulder

Esta página se editó por última vez el 21 oct 2023 a las 06:37.