Regresión lineal simple y múltiple

Regresión lineal simple y múltiple

1. Regresión lineal simple

   • regresión
     • Regresión fue el nombre que le dio al proceso general de predecir una variable a partir de otra.
   • Diagrama de Dispersión.
     • Los valores individuales (X /Y)se representan en una gráfica bidimensional conocida como diagrama de dispersión
     • Tipos de relaciones
       • Lineal inverso con mas dispersión
       • Curvilineo inverso
       • Curvilineo directo
       • Lineal inverso
       • Sin relación
       • Linea directo
   • Modelo de regresión lineal simple.
     • La naturaleza de la relación entre dos variables puede tomar muchas formas, desde las sencillas hasta las funciones matemáticas extremadamente complicadas. La relación más sencilla consiste en una línea o relación lineal
   • Estimación de Parámetros.
     • El análisis de regresión lineal simple tiene que ver con la búsqueda de la línea recta que mejor se ajuste a los datos.
     • método de mínimos cuadrados
       • técnica matemática utilizada para determinar los valores de b0 y b1 que mejor se ajusten a los datos observados
     • Estimación por Intervalos de Confianza para los Parámetros
       • Intervalo de Confianza para β 0 . Un intervalo de confianza del −α %100)1( para el parámetro β 0 en la línea de regresión x ii10i y = β + β + ε es:
     • Intervalo de Confianza para β 1 .
       • Un intervalo de confianza del −α %100)1( para el parámetro β 1 , en la línea de regresión x ii10i y = β + β + ε es:
   • Pruebas de Hipótesis en la Regresión Lineal Simple
     • Las hipótesis son
       • H (la variación de Y resulta de fluctuaciones aleatorias que son independientes de los valores de X)
       • 1 ≠ 0:H (existe una cantidad significativa en la variación de Y que se explica por la variación de X)
     • El estadístico de prueba es:
       • t0=b1-B1,0/sb=b1-B1,0/raiz(s^2/sxx
     • La regla de decisión para un nivel de significancia α y = − 2nv grados de libertad es Rechazar H0 si > α ,/ −− 2n210 Pótt valor ≤ α
     • Evaluar el estadístico de prueba:
     • Decisión: se rechaza o no se rechaza H0
     • Conclusión: el rechazo de :H β 10 = 0 , implica que existe una cantidad significativa en la variación de Y que se explica por la variación de X
   • Predicción de Nuevas Observaciones
     • Intervalo de Confianza para x|Y 0 μ Un intervalo de confianza del −α %100)1( para la respuesta medi
     • Intervalo de Confianza para Un intervalo de confianza del 0 y −α %100)1( para una sola respuesta
   • Mediciones de la Adecuación del Modelo de Regresión
     • Al evaluar la adecuación de un modelo de regresión a un conjunto de datos lo que se quiere, es verificar que se cumplen las suposiciones necesarias para poder hacer un análisis de regresión
       • Normalidad, requiere que los valores de Y estén distribuidos normalmente en cada valor de X. . Homocesdasticidad, requiere que la variación alrededor de la línea de regresión sea constante para todos los valores de X. Independencia del error, requiere que el error (la diferencia entre un valor observado y un valor estimado) es independiente de cada valor de X. 4Linealidad, establece que la relación entre las variables es lineal.
     • Análisis Residual
       • Se definen los residuos como iii = ye − ˆ y , i = 1, 2, . . . , n, donde es una observación y es el valor estimado correspondiente a partir del modelo de regresión. A menudo es útil graficar los residuos: 1) en secuencia de tiempo (si se conoce), 2) contra , y 3) contra la variable independiente x.
     • Prueba de Falta de Ajuste
       • La suma de cuadrados del error consiste en dos partes: la cantidad debida a la variación entre los valores de y dentro de los valores dados de x y el componente que normalmente reciben el nombre de contribución por falta de ajuste.
     • Coeficiente de Determinación
       • El coeficiente de determinación muestral, expresa la proporción de la variación total de los valores de la variable Y que se pueden contabilizar o explicar por una relación lineal con los valores de la variable aleatoria X.
   • Transformaciones Lineales
     • En ocasiones encontramos que el modelo de regresión lineal x ii10i y = β β ++ ε es inapropiado porque la función de regresión verdadera no es lineal; la necesidad de realizar una transformación es bastante simple de diagnosticar en el caso de la regresión lineal simple debido que las gráficas de dos dimensiones dan una imagen real de cómo entra cada variable en el modelo.
   • Correlación
     • La intensidad de una relación entre dos variables de una población por lo general se mide mediante el coeficiente de correlación poblacional ρ

2. Regresión lineal multiple

   • El modelo de regresión que involucra más de una variable regresora se llama modelo de regresión múltiple. El modelo de regresión múltiple más simple es de la forma = β + β + β + ε 22110 Y
   • Estimación de Parámetros.
     • El método de mínimos cuadrados puede utilizarse para estimar los coeficientes para el modelo de regresión lineal múltiple
   • Pruebas de Hipótesis en la Regresión Lineal Múltiple
     • En problemas de regresión lineal múltiple, ciertas hipótesis respecto a los parámetros del modelo son útiles para medir la suficiencia del modelo; y para su análisis seguimos requiriendo la suposición de normalidad de los errores.
     • Prueba de la Significancia de la Regresión
       • La prueba de significancia de la regresión es para determinar si hay una relación lineal significativa entre la variable dependiente y, y un subconjunto de las variables independientes . Las hipótesis apropiadas son 21 K x,,x,x
     • Pruebas Sobre los Coeficientes Individuales de Regresión
       • Con frecuencia estamos interesados en probar hipótesis respecto a los coeficientes individuales de regresión. Tales pruebas serían útiles en la determinación del valor de cada una de las variables independientes en el modelo de regresión.
   • Medidas de Adecuación de Modelos
     • Es posible utilizar diversas técnicas para medir la adecuación de un modelo de regresión múltiple. La validación de del modelo es una parte importante del proceso de construcción del modelo de regresión múltiple.
     • Coeficiente de Determinación Múltiple
       • El coeficiente de determinación múltiple R2 se define como SCT SC 1 SCT SC R2 R E −==
     • Análisis Residual
       • Los residuos del modelo de regresión múltiple estimado, definidos por ii y − ˆ y , desempeñan un importante papel al juzgar la suficiencia del modelo, del mismo modo que lo hacen en la regresión lineal simple.
     • Estimación del Error Puro a Partir de Vecinos Cercanos
       • El procedimiento busca puntos en el espacio x que son “vecinos cercanos”, es decir, conjuntos de observaciones que se han tomado con niveles casi idénticos
     • Matriz de Correlación
       • Si hay k variables regresoras , puede escribirse la matriz X’X en forma de matriz de correlación
   • Construcción del Modelo Matemático
     • la experiencia o las consideraciones de índole teórica pueden ayudar al analista a especificar el conjunto de variables que deben emplearse en una situación particular
     • Proceso de Planeación de Construcción del Modelo
       • En la construcción del modelo, el interés se centra en detectar las variables candidatas para obtener un modelo de regresión que contenga el “mejor” subconjunto de las variables de regresión
     • Desarrollo del Modelo Matemático
       • Todos los modelos todos los modelos incluirán un término de la intersección 21 K x,,x,x k β 0 , de manera que el modelo con todas las variables incluidas tendría k+1 términos. Además la forma funcional de cada variable candidata
       • Regresión escalonada o por pasos
         • Ésta es probablemente la técnica de selección de variables más utilizada.
       • Selección hacia adelante.
         • Este procedimiento de selección de variables se basa en el principio de que las variables deben agregarse al modelo, una a la vez, hasta que no haya variables candidatas restantes que produzcan un aumento significativo en la suma de cuadrados de regresión
       • Búsqueda directa en t
         • Este procedimiento de selección de variables se basa en el empleo del estadístico t para una variable individual, a partir del modelo completo que contiene las k variables candidatas
       • Eliminación hacia atrás.
         • Este algoritmo inicia con todas las k variables candidatas en el modelo espués se elimina la variable con el estadístico F parcial más pequeño, El algoritmo termina cuando no pueden eliminarse más variables.
       • Todas las regresiones posibles
         • este planteamiento requiere que el analista ajuste todas las ecuaciones de regresión que involucren una variable candidata, todas las ecuaciones que involucren dos variables candidatas, etc
     • Verificación y Mantenimiento del Modelo Matemático
       • El m residual, la prueba de Verificación y Mantenimiento del Modelo Matemático odelo final obtenido a partir de cualquier procedimiento de construcción de modelos, debe someterse a las verificaciones de suficiencia usuales, tales como el análisis falta de ajuste y el examen de efectos de los puntos más externos.