Regresión llinial

Exemplu d'una regresión llineal con una variable dependiente y una variable independiente.

En estadística la regresión llineal o axuste llineal ye un modelu matemáticu usáu p'averar la relación de dependencia ente una variable dependiente Y, les variables independientes X_i y un términu aleatoriu ε. Esti modelu puede ser espresáu como:

$Y_{t}=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon$

onde:

$Y_{t}$: variable dependiente, esplicada o tornando.

$X_{1},X_{2},\cdots ,X_{p}$: variables esplicatives, independientes o regresores.

$\beta _{0},\beta _{1},\beta _{2},\cdots ,\beta _{p}$: parámetros, miden la influencia que les variables esplicatives tienen sobre'l regrediendo.

onde $\beta _{0}$ ye la intersección o términu "constante", les $\beta _{i}\ (i>0)$ son los parámetros respectivos a cada variable independiente, y $p$ ye'l númberu de parámetros independientes a tener en cuenta na regresión. La regresión llineal pue ser oldeada cola regresión non llineal.

Hestoria

La primer forma de regresión llineal documentada foi'l métodu de los mínimos cuadraos que foi publicada por Legendre en 1805, Gauss publicó un trabayu onde desenvolvía de manera más fonda'l métodu de los mínimos cuadraos, y n'ónde s'incluyía una versión del teorema de Gauss-Márkov.

El términu regresión utilizar por primer vegada nel estudiu de variables antropométriques: al comparar la estatura de padres y fíos, onde resultó que los fíos que los sos padres teníen una estatura bien cimera al valor mediu, tendíen a igualase a ésti, ente que aquellos que los sos padres yeren bien baxos tendíen a amenorgar la so diferencia al respective de la estatura media; esto ye, "tornaben" al promediu. La constatación empírica d'esta propiedá viose reforzada más tarde cola xustificación teórica d'esi fenómenu.

El términu llineal emplegar pa estremalo del restu de técniques de regresión, qu'empleguen modelos basaos en cualquier clase de función matemática. Los modelos llineales son una esplicación simplificada de la realidá, muncho más axiloses y con un soporte teóricu muncho más estensu per parte de la matemática y la estadística.

Pero bien, como se dixo, puede usase el términu llineal pa estremar modelos basaos en cualquier clase d'aplicación.

El modelu de regresión llineal

El modelu llineal rellaciona la variable dependiente Y con K variables esplícites $X_{k}$ (k = 1,...K), o cualesquier tresformamientu d'éstes que xeneren un hiperplano de parámetros $\beta _{k}$ desconocíos:

(2)$Y=\sum \beta _{k}X_{k}+\varepsilon$

onde $\varepsilon$ ye la perturbación aleatoria que recueye toos aquellos factores de la realidá non controlables o observables y que por tantu acomuñar col azar, y ye la que confier al modelu'l so calter estocástico. Nel casu más senciellu, con una sola variable esplícita, el hiperplano ye una recta:

(3)$Y=\beta _{1}+\beta _{2}X_{2}+\varepsilon$

El problema de la regresión consiste n'escoyer unos valores determinaos pa los parámetros desconocíos $\beta _{k}$, de cuenta que la ecuación quede dafechu especificada. Pa ello precisa un conxuntu d'observaciones. Nuna observación i-ésima (i= 1,... I) cualesquier, rexístrase'l comportamientu simultáneu de la variable dependiente y les variables esplícites (les perturbaciones aleatories supónense non observables).

(4)$Y_{i}=\sum \beta _{k}X_{ki}+\varepsilon _{i}$

Los valores escoyíos como estimadores de los parámetros ${\hat {\beta _{k}}}$, son los coeficientes de regresión ensin que pueda garantizase que coincida n con parámetros reales del procesu xenerador. Por tanto, en

(5)$Y_{i}=\sum {\hat {\beta _{k}}}X_{ki}+{\hat {\varepsilon _{i}}}$

Los valores ${\hat {\varepsilon _{i}}}$ son pela so parte estimaciones o erros de la perturbación aleatoria.

Hipótesis del modelu de regresión llineal clásicu

1. Esperanza matemática nula: $\mathbb {Y} (\varepsilon _{i})=0$. Pa cada valor de X la perturbación va tomar distintos valores de forma aleatoria, pero nun va tomar sistemáticamente valores positivos o negativos, sinón que se supon va tomar dellos valores mayores que cero y otros menores que cero, de tala forma que el so valor esperáu sía cero.
2. Homocedasticidad: ${\text{Var}}(\varepsilon _{t})=\mathbb {Y} (\varepsilon _{t}-\mathbb {Y} \varepsilon _{t})^{2}=\mathbb {Y} \varepsilon _{t}^{2}=\sigma ^{2}$ pa tou t. Tolos términos de la perturbación tienen la mesma varianza que ye desconocida. La dispersión de cada $\varepsilon _{t}$ en redol al so valor esperáu ye siempres la mesma.
3. Incorrelación o independencia: ${\text{Cov}}(\varepsilon _{t},\varepsilon _{s})=(\varepsilon _{t}-\mathbb {Y} \varepsilon _{t})(\varepsilon _{s}-\mathbb {Y} \varepsilon _{s})=\mathbb {Y} \varepsilon _{t}\varepsilon _{s}=0$ pa tou t,s con t distintu de s. Les covarianzas ente les distintes pertubaciones son nules, lo que quier dicir que nun tán correlacionadas. Esto implica que'l valor de la perturbación pa cualquier observación muestral nun vien influyíu polos valor de les perturbaciones correspondientes a otres observaciones muestrales.
4. Regresores estocásticos.
5. Independencia llineal. Nun esisten relaciones llineales esactes ente los regresores.
6. $T>k+1$. Suponemos que nun esisten erros de especificación nel modelu, nin erros de midida nes variables esplicatives.
7. Normalidá de les perturbaciones: $\varepsilon \sim N(0,\sigma ^{2})$

Supuestos del modelu de regresión llineal

Pa poder crear un modelu de regresión llineal ye necesariu que se cumpla colos siguientes supuestos:

1. Que la relación ente les variables sía llineal.
2. Que los erros na midida de les variables esplicatives sían independientes ente sigo.
3. Que los erros tengan varianza constante. (Homocedasticidad)
4. Que los erros tengan una esperanza matemática igual a cero (los erros d'una mesma magnitú y distintu signu son equiprobables).
5. Qu'el erru total sía la suma de tolos erros.

Tipos de modelos de regresión llineal

Esisten distintos tipos de regresión llineal que se clasifiquen d'alcuerdu a los sos parámetros:

Regresión llineal simple

Namá se remana una variable independiente, polo que namá cunta con dos parámetros. Son de la forma:

(6)$Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i}$

onde $\varepsilon _{i}$ ye l'erru acomuñáu a la midida del valor $X_{i}$ y siguen los supuestos de cuenta que $\varepsilon _{i}\sim N(0,\sigma ^{2})$ (media cero, varianza constante ya igual a un $\sigma$ y $\varepsilon _{i}\perp \varepsilon _{j}$ con $i\neq j$).

Dáu'l modelu de regresión simple anterior, si calcula la esperanza (valor esperáu) del valor Y, llógrase:

(7)$Y(y_{i})={\hat {y_{i}}}=Y(\beta _{0})+Y(\beta _{1}x_{i})+Y(\varepsilon _{i})$

Derivando al respective de ${\hat {\beta }}_{0}$ y ${\hat {\beta }}_{1}$ ya igualando a cero, llógrase:

(9)${\frac {\partial \sum (y_{i}-{\hat {y_{i}}})^{2}}{\partial {\hat {\beta }}_{0}}}=0$

(10)${\frac {\partial \sum (y_{i}-{\hat {y_{i}}})^{2}}{\partial {\hat {\beta }}_{1}}}=0$

Llogrando dos ecuaciones denominaes ecuaciones normales que xeneren la siguiente solución pa dambos parámetros:

(11)Fallu al revisar la fórmula (función '\chigre' desconocida): {\displaystyle \hat{\beta_1} = \frac { \sum x \sum y - n \sum xy } { \left ( \sum x \right ) ^ 2 - n \sum x^2 } = \frac{ \sum (x-\chigre{x})(y-\chigre{y} ) }{\sum ( x - \chigre{x})^2 }}

(12)Fallu al revisar la fórmula (función '\chigre' desconocida): {\displaystyle \hat{\beta_0} = \frac { \sum y - \hat{\beta}_1 \sum x } { n } = \chigre{y} - \hat{\beta_1} \chigre{x}}

La interpretación del parámetru mediu ${\beta _{1}}$ ye qu'una medría en Xi d'una unidá, Yi va amontar en ${\beta _{1}}$

Regresión llineal múltiple

La regresión llineal dexa trabayar con una variable a nivel d'intervalu o razón. De la mesma manera, ye posible analizar la relación ente dos o más variables al traviés d'ecuaciones, lo que se denomina regresión múltiple o regresión llineal múltiple.

Costantemente na práctica de la investigación estadística, atópense variables que de dalguna manera tán rellacionaes ente sigo, polo que ye posible qu'una de les variables puedan rellacionase matemáticamente en función d'otra o otres variables.

Remana delles variables independientes. Cuenta con dellos parámetros. Espresar de la forma:

(13)$Y_{i}=\beta _{0}+\sum \beta _{p}X_{pi}+\varepsilon _{i}$

onde $\varepsilon _{i}$ ye l'erru acomuñáu a la midida $i$ del valor $X_{pi}$ y siguen los supuestos de cuenta que $\varepsilon _{i}\sim N(0,\sigma ^{2})$ (media cero, varianza constante ya igual a un $\sigma$ y $\varepsilon _{i}\perp \varepsilon _{j}$ con $i\neq j$).

Rectes de regresión

Les rectes de regresión son les rectas que meyor s'afaen a la nube de puntos (o tamién llamáu diagrama de dispersión) xenerada por una distribución binomial. Matemáticamente, son posibles dos rectes de máximu axuste:

• La recta de regresión de Y sobre X:

(14)Fallu al revisar la fórmula (función '\chigre' desconocida): {\displaystyle y = \chigre{y} + \frac{\sigma_{xy}}{\sigma_{x}^2}(x - \chigre{x})}

• La recta de regresión de X sobre Y:

(15)Fallu al revisar la fórmula (función '\chigre' desconocida): {\displaystyle x = \chigre{x} + \frac{\sigma_{xy}}{\sigma_{y}^2}(y - \chigre{y})}

La correlación ("r") de les rectes va determinar la calidá del axuste. Si r ye cercanu o igual a 1, l'axuste va ser bonu y les predicciones realizaes a partir del modelu llográu van ser bien fiables (el modelu llográu resulta verdaderamente representativu); si r ye cercanu o igual a 0, va tratar d'un axuste malu nel que les predicciones que se realicen a partir del modelu llográu nun van ser fiables (el modelu llográu nun resulta representativu de la realidá). Dambes rectes de regresión se intersecan nun puntu llamáu centru de gravedá de la distribución.

Aplicaciones de la regresión llineal

Llínees d'enclín

Ver tamién: Enclín

Unu llínea d'enclín representa una enclín nuna serie de datos llograos al traviés d'un llargu períodu. Esti tipu de llínees puede dicinos si un conxuntu de datos en particular (como por casu, el PIB, el preciu del petróleu o'l valor de les acciones) aumentaron o decrementado nun determináu períodu. Puede dibuxase una llínea d'enclín a güeyu fácilmente a partir d'un grupu de puntos, pero la so posición y pindia calcular de manera más precisa utilizando técniques estadísticas como les regresiones llineales. Les llínees d'enclín son xeneralmente llínees rectes, anque delles variaciones utilicen polinomios de mayor grau dependiendo de la combadura deseyada na llínea.

Medicina

En medicina, les primeres evidencies rellacionando la mortalidá col fumar tabacu vinieron d'estudios qu'utilizaben la regresión llineal. El investigadores inclúin una gran cantidá de variables nel so analís de regresión nun esfuerzu por esaniciar factores que pudieren producir correlaciones espurias.

Nel casu del tabaquismu, el investigadores incluyeron el tao sociu-económicu p'asegurase que los efectos de mortalidá por tabaquismu nun sían un efectu de la so educación o posición económica. Sicasí, ye imposible incluyir toles variables posibles nun estudiu de regresión. Nel exemplu del tabaquismu, un hipotéticu xen podría aumentar la mortalidá y aumentar la propensión a adquirir enfermedaes rellacionaes col consumu de tabacu. Por esta razón, na actualidá les pruebes controlaes aleatories son consideraes muncho más confiables que los analises de regresión.

Informática

Exemplu d'una rutina qu'utiliza una recta de regresión llineal pa proxectar un valor futuru: Códigu escritu en PHP

<?php
//Llicencia: GNU/GPL
$xarray=array(1, 2, 3, 4, 5 );	//Dias
$yarray=array(5, 5, 5, 6.8, 9); //Porcentaxe de ejecucion
$pm=100; //Valor futuru $x2=0;

$y=0;
$x=0;
$xy=0;
$cantidá=count($xarray);
for($i=0;$i<$cantidá;$i++){
      //Tabla de datos
      print ($xarray[$i]." ---- ".$yarray[$i]."<br>");
      //Calculo de terminos
      $x2 += $xarray[$i]*$xarray[$i];
      $y +=  $yarray[$i];
      $x  += $xarray[$i];
      $xy += $xarray[$i]*$yarray[$i];
}
//Coeficiente parcial de regresion
$b=($cantidá*$xy-$x*$y)/($cantidá*$x2-$x*$x);
//Calculo del intercepto $a=($y-$b*$x)/$cantidá;

//Recta tendencial
//y=a+bx
//Proyeccion en dias pa un 100% de la ejecucion:
if ($b!=0) $dias_proxectaos=($pm-$a)/$b;
else $dias_proxectaos=999999; //Infinitos
$dp=round($dias_proxectaos,0);
if($dp<=$pm) 	print $dp."---> Remata antes de los $pm dias <br>";
if($dp >$pm) 	print $dp ."---> ALARMA: Nun remata antes de los $pm dias <br>";
?>

Vease tamién

• Homoscedasticidad
• Regresión loxística
• Modelos de regresión múltiple postulaos y non postulaos
• Regresión segmentada
• Econometría
• Mínimos cuadraos
• Regularización de Tikhonov
• Cuartetu de Anscombe
• Capital Asset Pricing Model
• Regresión simple

Referencies

Bibliografía

• Canavos, George C.; Probabilidá y Estadística. Aplicaciones y Métodos. McGraw-Hill. México. ISBN 9684518560.
• Taramie, Jay L.; Probabilidá y Estadística pa Inxeniería y Ciencies. International Thomson Editores. México. ISBN 9706864571.
• Walpole, Ronald Y.; Raymond, H.; Myers, Sharon L.; Probabilidá y Estadística pa Inxenieros. Prentice-Hall Hispanoamericana, S.A. México. ISBN 9701702646.

Enllaces esternos

• Cálculu de regresiones llineales en llínea. (n'inglés)
• ZunZun.com Axuste de curves y superficies en llínea. (n'inglés)
• xuru.org Ferramientes de regresión llineal en llínea. (n'inglés)
• [1] Simulación de la recta de regresión d'una variable bidimensional continua con R (llinguaxe de programación)