Sin título
Diapositivas del conjunto (15)
-
- Los modelos supervisados “utilizan algoritmos que trabajan con datos etiquetados, es decir, datos que tienen asociado una etiqueta y que intentan encontrar una función que,dadas las variables de entrada les asigne la etiqueta de salida adecuada.”Los modelos de aprendizaje supervisado se pueden utilizar para crear y promover una serie de aplicaciones empresariales, incluidas las siguientes:Reconocimiento de imágenes y objetos: los algoritmos de aprendizaje supervisado se pueden utilizar para localizar, aislar y categorizar objetos a partir de videos o imágenes, lo que los hace útiles cuando se aplican a diversas técnicas de visión por computadora y análisis de imágenes.
- Análisis predictivo: un caso de uso generalizado para modelos de aprendizaje supervisados consiste en crear sistemas de análisis predictivos para proporcionar información detallada sobre diversos puntos de datos empresariales. Esto permite a las empresas anticipar ciertos resultados en función de una variable de salida determinada, lo que ayuda a los líderes empresariales a justificar las decisiones o pivotar en beneficio de la organización.
- Análisis de la opinión del cliente: mediante el uso de algoritmos de machine learning supervisado, las organizaciones pueden extraer y clasificar información importante de grandes volúmenes de datos, incluidos el contexto, la emoción y la intención, con muy poca intervención humana. Esto puede resultar increíblemente útil para comprender mejor las interacciones con los clientes y se puede utilizar para mejorar los esfuerzos de participación de la marca.
- Detección de spam: La detección de spam es otro ejemplo de un modelo de aprendizaje supervisado. Utilizando algoritmos de clasificación supervisados, las organizaciones pueden entrenar bases de datos para reconocer patrones o anomalías en nuevos datos para organizar de manera efectiva el spam y la correspondencia no relacionada con el spam.
-
Desafíos del aprendizaje supervisado
- Aunque el aprendizaje supervisado puede ofrecer ventajas a las empresas, como una visión profunda de los datos y una mayor automatización, existen algunos desafíos a la hora de crear modelos de aprendizaje supervisado sostenibles. A continuación se enumeran algunos de estos desafíos:
- Los modelos de aprendizaje supervisado pueden requerir ciertos niveles de experiencia para estructurarse con precisión.
- El entrenamiento de modelos de aprendizaje supervisado puede requerir mucho tiempo.
- Los conjuntos de datos pueden tener una mayor probabilidad de error humano, lo que hace que los algoritmos aprendan incorrectamente.
- A diferencia de los modelos de aprendizaje no supervisado, el aprendizaje supervisado no puede agrupar, ni clasificar datos por sí solo.
-
Desafíos del aprendizaje supervisado
- Aunque el aprendizaje supervisado puede ofrecer ventajas a las empresas, como una visión profunda de los datos y una mayor automatización, existen algunos desafíos a la hora de crear modelos de aprendizaje supervisado sostenibles. A continuación se enumeran algunos de estos desafíos:
- Los modelos de aprendizaje supervisado pueden requerir ciertos niveles de experiencia para estructurarse con precisión.
- El entrenamiento de modelos de aprendizaje supervisado puede requerir mucho tiempo.
- Los conjuntos de datos pueden tener una mayor probabilidad de error humano, lo que hace que los algoritmos aprendan incorrectamente.
- A diferencia de los modelos de aprendizaje no supervisado, el aprendizaje supervisado no puede agrupar, ni clasificar datos por sí solo.
-
Desafíos del Aprendizaje Supervisado
- Requiere experiencia técnica:
- Descripción: Crear modelos de aprendizaje supervisado efectivos requiere conocimientos en estadística, programación y comprensión de algoritmos de machine learning.
- Implicación: Las empresas pueden necesitar contratar expertos o capacitar a su personal, lo que puede ser costoso y llevar tiempo.
- Tiempo de entrenamiento prolongado:
- Descripción: Entrenar modelos con grandes conjuntos de datos puede ser un proceso intensivo en recursos y tiempo.
- Implicación: Esto puede retrasar la implementación de soluciones basadas en inteligencia artificial, afectando la agilidad empresarial.
- Errores en los conjuntos de datos:
- Descripción: Los datos utilizados para entrenar los modelos pueden contener errores debido a la entrada humana o problemas en la recolección de datos.
- Implicación: Si el modelo se entrena con datos incorrectos, puede aprender patrones erróneos, lo que lleva a predicciones inexactas.
- Limitaciones en la agrupación y clasificación autónoma:
- Descripción: A diferencia del aprendizaje no supervisado, donde los algoritmos pueden identificar patrones y agrupar datos sin etiquetas, el aprendizaje supervisado depende completamente de las etiquetas proporcionadas.
- Implicación: Esto significa que si no se dispone de suficientes datos etiquetados, el modelo no podrá aprender adecuadamente.
- Resumen
- El aprendizaje supervisado tiene muchas ventajas, pero también enfrenta desafíos significativos relacionados con la necesidad de experiencia técnica, el tiempo requerido para el entrenamiento, la calidad de los datos y su dependencia de etiquetas predefinidas. Estos factores deben considerarse al implementar soluciones basadas en este enfoque.
-
Mod. Supervisado clasificación
- La clasificación utiliza un algoritmo para asignar con precisión los datos de prueba en categorías específicas.
- Reconoce entidades específicas dentro del conjunto de datos e intenta sacar algunas conclusiones sobre cómo deben etiquetarse o definirse esas entidades.
- Los algoritmos de clasificación más comunes son los clasificadores lineales, las máquinas de vectores de soporte (SVM), los árboles de decisión, k vecinos (KNN) más cercanos y random forest.
- Gracias a la minería de datos, partiendo de grandes conjuntos de datos, podemos:
- utilizar técnicas y herramientas aplicadas al proceso no trivial de extraer y presentar conocimiento implícito y comprensible
- para poder predecir de forma automatizada tendencias y/o descubrir modelos de datos previamente desconocidos.
- El objetivo en estos problemas consiste en “predecir el valor de una característica especial de los datos que se denomina variable objetivo, de manera que se analizan los datos de entrenamiento para aprender las relaciones del resto de características con respecto a esta característica especial, la variable objetivo.
- El modelo aprendido, normalmente se utiliza para obtener las etiquetas de clase estimadas para nuevos registros, donde el valor de la variable de clase no es conocido.
- Problema relacionado con la separabilidad de las clases.
-
- Etapa de aprendizaje:
- Construcción del modelo de datos: se describe el conjunto de clases predeterminadas donde, cada ejemplo (o tupla) se sabe que pertenece a una clase (etiqueta del atributo clase) y donde se utiliza un conjunto de ejemplos para la construcción del modelo denominado conjunto de entrenamiento o training set
- Etapa de validación:
- Se realiza la propia validación del sistema de clasificación y se estima la precisión del modelo.
- Se utiliza un conjunto de ejemplos distintos denominado conjunto de prueba o test set.
- ¿Y ESTO PARA QUÉ?
- “Realizar un modelo de clasificación bajo el paradigma del aprendizaje automático supervisado consiste en utilizar modelos de datos que permiten asignar una categoría o clase a diversas observaciones de entrada”.
- ¿QUÉ TIPOS DE ALGORITMOS O MÉTODOS DE CLASIFICACIÓN HAY?
- Métodos basados en algoritmos de árboles
- Métodos basados en técnicas de separación en espacios vectoriales
- Métodos basados en algoritmos probabilísticos o estadísticos
-
- A.- Métodos basados en algoritmos de árboles
- a.- Descripción:
- Los árboles de decisión son algoritmos de aprendizaje automático muy flexibles, que pueden llevar a cabo tanto tareas de clasificación como de regresión, e incluso manejar problemas con múltiples salidas.
- Estos algoritmos son altamente eficaces y pueden adaptarse a conjuntos de datos complejos.
- El problema de los árboles de decisión que vimos ayer es que pueden causar overfitting.
- Además, un solo árbol de decisión puede no ser suficiente para algunas aplicaciones.
-
- b.- Algoritmos más utilizados como árboles clasificadores
- Algoritmo ID3:
- Utiliza el atributo test, con máxima ganancia de información, se basa en la entropía, para seleccionar el mejor atributo y no maneja atributos numéricos.
- No realiza poda.
- Algoritmo C4.5
- Mejora aspectos como los datos perdidos, (los datos perdidos se ignoran)
- Maneja atributos numéricos, modifica el criterio de división, evitando la preferencia de seleccionar atributos con muchos valores distintos para realizar la evaluación.
- Realiza poda para mejorar la generalización del árbol.
-
- Algoritmo RANDOM FORESST (Árbol aleatorio)
- El algoritmo Random Forest es un algoritmo basado en árboles de decisión y que genera múltiples árboles sobre un conjunto de datos de entrenamiento, obteniendo una combinación de resultados a fin de poder obtener un único modelo mucho más robusto en comparación con los resultados de cada árbol por separado.
- Cada uno de los árboles se obtienen por separado mediante un proceso en dos pasos:
- 1. Cada árbol tiene un subconjunto aleatorio de variables
- predictoras (m), de forma que m<M, siendo M el número total de
- predictores.
- 2. Cada árbol crece hasta su máxima extensión.
- Cada uno de los árboles que se genera por el algoritmo de variables contiene un grupo de observaciones aleatorias. Las observaciones que no se estiman en el árbol generado se utilizan para validar el modelo y se conocen como “out of the bag”.
- VENTAJAS:
- Para técnicas de regresión y clasificación
- Modelo más sencillo de entrenar
- Desempeño eficiente
- Escala muy bien, por lo que es una técnica muy utilizada en
- grandes volúmenes de datos.
-
- Definición:
- Random Forest es un algoritmo de aprendizaje automático que utiliza un conjunto de árboles de decisión (Decision Trees) para realizar tareas de clasificación o regresión. Se basa en el principio del "bagging" (bootstrap aggregating), donde se generan múltiples muestras aleatorias del conjunto de datos original y se construyen árboles de decisión independientes sobre estas muestras.
- Componentes Clave:
- Árboles de Decisión:
- Un árbol de decisión es un modelo que toma decisiones basadas en preguntas sobre las características del conjunto de datos. Cada nodo interno representa una pregunta sobre una característica, cada rama representa el resultado de esa pregunta, y cada hoja representa una clase o valor final.
- Hiperparámetros:
- Los hiperparámetros en un Random Forest incluyen aquellos que controlan el crecimiento de los árboles individuales, como:
- max_depth: Profundidad máxima del árbol.
- min_samples_split: Número mínimo de muestras requeridas para dividir un nodo.
- min_samples_leaf: Número mínimo de muestras requeridas para estar en una hoja.
- Además, hay hiperparámetros relacionados con el proceso de ensamblaje:
- n_estimators: Número total de árboles en el bosque.
- bootstrap: Indica si se debe usar muestreo con reemplazo al crear muestras para los árboles.
- Diversidad:
- La diversidad entre los árboles es crucial para mejorar el rendimiento del modelo. Al utilizar diferentes subconjuntos de datos y seleccionar aleatoriamente características para cada división, Random Forest genera árboles que son menos correlacionados entre sí. Esto ayuda a reducir la varianza y mejora la generalización del modelo.
- Aplicaciones:
- Random Forest puede ser utilizado tanto para problemas de clasificación (donde la variable objetivo es categórica) como para problemas de regresión (donde la variable objetivo es numérica). Sin embargo, aunque es versátil, puede no ser tan efectivo como otros métodos específicos para regresión.
- Conclusión
- En resumen, Random Forest es un poderoso algoritmo que combina múltiples árboles de decisión para mejorar la precisión y robustez del modelo. Su capacidad para manejar tanto clasificación como
-
- MÁQUINAS DE SOPORTE VECTORIAL: ¡explicación COMPLETA! (Enclavar)
- SVM - Métodos basados en técnicas de separación en espacios vectoriales
- para dar solución al problema de clasificación, otra de las técnicas que se pueden utilizar es la de algoritmos basados en técnicas de separación de espacios vectoriales (conocidas como SVM, del inglés Support Vector Machines)
- La idea básica es encontrar un hiperplano canónico (hiperplano neutral e independiente) que maximice el margen del conjunto de datos de entrenamiento, garantizando así la buena capacidad de generalización. ( El ejemplo de la carretera de vídeo)
- Este método en un algoritmo de separación de espacios vectoriales se denomina método Kernel.
- Los modelos basados en SVM se generan con 3 tipos de kernel:
- línea
- polinómico
- radial
-
- Regresión Logística con Python (Enclavar)
- Algoritmo de regresión logística
- Algoritmo de clasificación de datos, principalmente en problemas de clasificación binaria, con 2 clases posibles ( si/no, 0/1, verdadero/falso etc)
- Mide la relación entre variable dependiente (lo que se quiere predecir) con una o más variables independientes, utilizando una función logística que determina la probabilidad de la variable.
- Los valores probabilísticos por encima de la afirmación es cierta y por debajo es falsa.
- La función sigmoidea es una curva con forma de S que puede tomar cualquier valor entre 0 y 1
-
- La regresión logística es un algoritmo de aprendizaje supervisado utilizado principalmente para problemas de clasificación binaria, aunque también se puede extender a problemas de clasificación multiclase. A continuación, te presento una descripción detallada del algoritmo:
- Conceptos Clave
- Objetivo: La regresión logística tiene como objetivo predecir la probabilidad de que una instancia pertenezca a una clase específica (por ejemplo, 0 o 1). En lugar de predecir valores continuos como en la regresión lineal, la regresión logística predice probabilidades que están entre 0 y 1.
- Función Sigmoide: La función sigmoide es fundamental en la regresión logística. Se utiliza para transformar la salida lineal del modelo en una probabilidad. La función sigmoide se define como:
- [
- \sigma(z) = \frac{1}{1 + e^{-z}}
- ]
- donde ( z ) es una combinación lineal de las características de entrada (es decir, ( z = w_0 + w_1x_1 + w_2x_2 + … + w_nx_n ), donde ( w ) son los pesos y ( x ) son las características).
- Modelo: El modelo de regresión logística se puede expresar como:
- [
- P(Y=1|X) = \sigma(w^T X)
- ]
- donde ( P(Y=1|X) ) es la probabilidad de que la clase sea 1 dado el vector de características ( X ).
- Proceso General
- Entrenamiento:
- Se ajustan los parámetros del modelo (los pesos ( w )) utilizando un conjunto de datos etiquetados.
- Se utiliza una función de costo, comúnmente la "log loss" o "cross-entropy", para medir el error entre las predicciones del modelo y las etiquetas reales.
- Se optimizan los pesos mediante algoritmos como el descenso por gradiente.
- Predicción:
- Una vez entrenado, el modelo puede predecir la probabilidad de que una nueva instancia pertenezca a la clase positiva (clase 1).
- Para clasificar, se establece un umbral (comúnmente 0.5). Si la probabilidad predicha es mayor que el umbral,
-
- La regresión es una técnica estadística utilizada para analizar la relación entre una variable dependiente y una o más variables independientes. Su objetivo principal es modelar y predecir el comportamiento de la variable dependiente en función de las variables independientes.
- Regresión lineal: Se utiliza para modelar la relación lineal entre dos variables. La ecuación tiene la forma (y = mx + b), donde (y) es la variable dependiente, (x) es la variable independiente, (m) es la pendiente de la línea y (b) es la intersección con el eje y.
- Regresión múltiple: Extensión de la regresión lineal que incluye múltiples variables independientes para predecir una variable dependiente.
- Regresión logística: Utilizada cuando la variable dependiente es categórica (por ejemplo, sí/no). Modela la probabilidad de que ocurra un evento.
- Regresión polinómica: Se utiliza cuando la relación entre las variables no es lineal, ajustando un polinomio a los datos.
-
- El algoritmo Naive Bayes es un clasificador simple pero efectivo que se basa en el teorema de Bayes. Se utiliza comúnmente en tareas como la clasificación de texto, detección de spam y análisis de sentimientos. El término "naive" (ingenuo) se refiere a la suposición de que las características (features) son independientes entre sí, lo cual no siempre es cierto en la práctica, pero el algoritmo puede funcionar bien a pesar de esta suposición.
- Principios Básicos:
- Teorema de Bayes: El teorema de Bayes describe la probabilidad de un evento basado en conocimientos previos sobre condiciones relacionadas con ese evento.
- Suposición de Independencia: El algoritmo Naive Bayes asume que todas las características son independientes entre sí, dado la clase. Esto significa que la probabilidad conjunta de las características se puede expresar como el producto de sus probabilidades individuales.
- Clasificación: Para clasificar una nueva instancia, el algoritmo calcula las probabilidades posteriores para cada clase y selecciona la clase con la mayor probabilidad:
- Tipos de Naive Bayes:
- Naive Bayes Gaussiano: Se utiliza cuando las características son continuas y se asume que siguen una distribución normal.
- Ventajas:
- Simplicidad: Es
- Naive Bayes Multinomial: Especialmente adecuado para características discretas, como conteos de palabras en datos textuales.
- Naive Bayes Bernoulli: Útil para características binarias (por ejemplo, si una palabra está presente o no en un documento).
Información
- Descripción
- Diapositivas sobre Sin título, creado por lai lan el 14/09/2024.
- Creado por
- lai lan · sep 2024
- Actualizado
- 17 sep 2024
- Visitas
- 0
- Valoración