Apuntes
1
Contenido del apunte (1)
Página 1
Tema
1. PBE y método científico
1.
La
práctica basada en la evidencia en logopedia
La práctica basada en la evidencia, exige la
adquisición de nuevas habilidades por parte del profesional: la búsqueda de la
mejor evidencia científica, la evaluación y jerarquización de la evidencia
disponible, y la integración con la propia experiencia del profesional, para
ofrecer al paciente las mejores alternativas.
ASHA, se ha encargado de resaltar su importancia y
promover la incorporación de sus principios en la toma de decisiones clínicas
por parte de los terapeutas.
Se define como el uso consciente, explícito y razonado
de la mejor evidencia actual para la toma de decisiones en el cuidado de
pacientes individuales. Se ha añadido la importancia de la inclusión de los
valores y preferencias de los pacientes en este proceso de decisiones.
Sackett et al (2000) indican las fases:
1- Hacer
una pregunta bien construida
2- Seleccionar
fuentes evidentes
3- Llevar
a cabo una estrategia de búsqueda
4- Valorar
y sintetizar la evidencia
5- Aplicarla
6- Evaluarla
Otros autores han añadido una 7º fase, que sería
difundir los resultados para compartir con otros profesionales lo aprendido.
Conlleva consideraciones que contemplan el debate
entre la llamada “significación clínica” (basada en el tamaño del efecto) y la
“significación estadística”.
La APA, entre sus recomendaciones destaca
especialmente tres consideraciones:
-
Informar del tamaño del efecto
-
Utilizar procedimientos gráficos
-
Desde el punto de vista del diseño de
investigación también se destaca la importancia del análisis de la fiabilidad
de los instrumentos.
2.
CIENCIA
Y MÉTODO CIENTÍFICO
2.1
¿Qué
es la ciencia?
Kerlinger Hay dos puntos de vista; uno estático
y otro dinámico. El estático: actividad que aporta al mundo información sistematizada.
El dinámico: actividad, como que los científicos hacen.
McGuigan dos grandes grupos. Definiciones de
contenido: la ciencia acumula, integra, incorpora conocimientos y definiciones
de proceso: lo fundamental es el carácter activo de la ciencia en la búsqueda
de relaciones, de explicaciones, de leyes. Existen definiciones que incluyen
simultáneamente contenido y proceso.
2.2
¿Qué
y cómo es el método científico?
2.2.1
Concepto
y características principales del método científico
Método: procedimiento utilizado para analizar y
resolver un conjunto de problemas relativos a nuestra experiencia.
Bunge procedimiento que se refiere al ciclo
completo de investigación e independiente del tema de estudio. El método es un
conjunto de pasos, que llevados hasta el final nos llevaría al “ciclo completo
de investigación”. Las características principales de estos “pasos” son la
sistematicidad y la objetividad.
La ciencia
posee cuatro principios fundamentales:
-
La observación controlada y la medición
objetiva
-
La comunicación de los enunciados
científicos mediante términos precisos
-
La explicación de la observación
científica
-
Y el hecho de que la ciencia no acaba de
construirse nunca.
El método de adquisición del conocimiento propio de la
ciencia es la observación sistemática.
El método Científico se basa en una serie de
supuestos:
1. Orden:
se supone que los hechos no ocurren de forma aleatoria. Es decir, se parte de
que todo responde a un orden, que es fundamental para poder predecir los
fenómenos.
2. Determinismo:
se supone que existen acontecimientos anteriores a un segundo hecho observado,
que determinan la naturaleza de éste. Por lo tanto se puede establecer una
cadena causal.
3. Comprobabilidad:
cada eslabón de la cadena causal puede ser medido y probado.
Contiene una serie de objetivos. El más importante es
el de conocer los hechos que se estudian para describir, explicar y predecir.
Otro será si puede ser manipulado en beneficio de la sociedad o de la
naturaleza. El hombre quiere no sólo ser capaz de predecir los acontecimientos
para saber qué ocurrirá, sino que pretende ejercer su control sobre ellos y
cambiarlos.
La distinción básica entre ciencia básica y ciencia
aplicada. La primera tiene como objetivo el conocimiento en sí mismo, sin su
aplicación a la resolución de problemas concretos, mientras que el segundo, la
adquisición de esos conocimientos tiene como objetivo último dar soluciones a
problemas planteados. Nos centramos en la ciencia aplicada.
Los conocimientos científicos, tienen una serie de
características:
1. Son
objetivos: lo que hace referencia a la ausencia de sesgos debido a las
preferencias , prejuicios, gustos, etc, del científico.
2. Son
empíricos, o basados en hechos observables
3. Son
replicables: el procedimiento mediante el que hemos llegado a ese conocimiento
debe ser repetible, usado de nuevo, obteniéndose los mismos resultados.
4. Parsimoniosos:
deben ser explicados de la manera más sencilla y económica.
5. Deben
propagarse o generalizarse: la comunicación al resto de científicos.
2.3
Clasificación
del Método Científico
El resultado de la adaptación de la metodología y sus
principios lógicos generales es la aparición de una técnica de investigación.
Según la forma en que se apliquen los “pasos” o
“fases” del método científico general, así resultarán las diferentes
estrategias para llevar a la comprensión y predicción de los fenómenos.
Clasificación:
n Según
Arnau, Anguera y Gómez: tres metodologías según la estrategia de recogida de
datos: observacional, metodología de encuesta y experimental. Según el grado de
control se dividen en metodología cualitativa, pre y cuasi- experimental, y
experimental. O experimental y no experimental.
n Según
el tipo de inferencia realizada, García presenta: inductivo, deductivo e
hipotético-deductivo.
2.3.1.
Clasificación del método según el Tipo de Inferencia
METODO INDUCTIVO
-
Pone mayor énfasis en los datos, en su
obtención, ordenación y constante referencia a los mismos
-
Los datos una vez obtenidos, son reunidos,
organizados y sometidos a criterios estadísticos para determinar su validez,
fiabilidad…
-
El investigador extraerá conclusiones
sometidas continuamente a verificación empírica.
METODO DEDUCTIVO
-
Pone énfasis en la Teoría.
-
Su principal objetico es construir una
buena teoría y no tanto recoger datos empíricos.
-
El investigador parte del supuesto de que
a los datos sólo se puede acceder desde una teoría. Posee dos niveles:
1. Dentro
de la propia teoría trata de elaborar miniteorías, deducidas lógicamente de la
formulación principal.
2. Después
va de la teoría a los datos, trata de establecer predicciones observables (o
comprobables) destinadas a la verificación de la propia teoría.
METODO HIPOTÉTICO-DEDUCTIVO
-
Consiste en la aplicación de la inducción
y de la deducción.
-
El proceso es el siguiente: se parte de
unas observaciones controladas (momento de los hechos) y a través de un proceso
lógico de inducción, se llega a una generalización a otras situaciones. Desde
la teoría se lleva a cabo un proceso de deducción que desemboca en unas
conjeturas o hipótesis cuya finalidad es la explicación de los hechos y que hay
que comprobar empíricamente. Así se cierra el círculo: se parte de los datos y
se vuelve a ellos, pasando por las teorías y las hipótesis y fortaleciendo a
éstas a través de los datos encontrados.
El proceso de investigación se torna en un
planteamiento unitario en el que se conjugan y complementan los razonamientos
inductivos y deductivos, por lo que se podría denominar al método científico
como inductivo-hipotético-deductivo.
El método hipotético-deductivo permite poner en
relación la teoría con la observación.
Críticas:
-
Pelachano: pone en cuestión
características de las ciencias del comportamiento. Los supuestos sobre el
carácter estable e invariante de lo hechos observados, puede ser aplicado a la
ciencia natural, pero no a los fenómenos en las ciencias del comportamiento.
-
En las ciencias del comportamiento no se
puede establecer relaciones causa-efecto monocausales; la conducta está
multi-determinada. Los hechos psicológicos no son reversibles. En las ciencias
naturales, la reversibilidad y la vuelta al estado basal inicial es una de las
condiciones experimentales de contrastes para probar los efectos de la
manipulación de una variable independiente.
-
Si se quiere llevar a cabo una
experimentación rigurosa en las Ciencias del Comportamiento, debe partirse de
esa no-reversalidad como condición experimental.
2.3.2
Clasificación
según el Grado de Control y según la Manipulación
La elección de un método u otro va a venir determinada
por el objetivo de investigación de una disciplina. Cuando el objetivo sea la
búsqueda de explicaciones causales que permitan establecer relaciones
funcionales entre variables, será la aplicación del método experimental,
permitiendo establecer relaciones causa-efecto cuando el objetivo consista en
observar y describir los fenómenos, tal y como se producen en la naturaleza,
sin introducir ningún cambio por parte del experimentador la metodología más
adecuada es la utilización del método no experimental.
METODO EXPERIMENTAL
-
El objetivo final es la búsqueda de las
relaciones causales, la metodología de elección será la metodología
experimental. La aplicación de la metodología experimental será utilizable para
investigar aspectos centrales que impliquen la búsqueda de relaciones causales
y funcionales.
-
Consiste en observar los cambios asociados
a la manipulación de una variable, manteniendo el resto de variables
constantes, pretenden establecer hasta qué punto la manipulación de una
variable determinada (independiente) es la responsable de los cambios
observados en otra variable (dependiente).
-
Dos supuestos básicos: la manipulación y
el control. Dentro del control la aleatorización, tanto selección de la muestra
como en la asignación aleatoria de los sujetos a las distintas condiciones
experimentales. Método experimental se basa en la manipulación y el control
directo de las condiciones de producción de los fenómenos, el control y el
control directo de las condiciones de producción de los fenómenos, el control
de la variable independiente y variables contaminadoras su característica
principal.
METODO NO EXPERIMENTAL
-
Encontramos también dentro del no
experimental el método correlacional, observacional y la encuesta.
-
El método correlacional: no se ejerce un
control experimental de los antecedentes del fenómeno, los sujetos no se
asignan aleatoriamente. Las variables se hallan presentes de modo natural,
siendo principal limitación de este método la ausencia de manipulación
experimental de las variables independientes y el menor control ejercido sobre
las mismas. Ello limitará establecer
relaciones causa-efecto entre dos variables.
-
El método correlacional elimina la
artificialidad de la situación experimental, además, mediante la
sistematización de la recogida de información y el ajuste estadístico permite
el control externo en la producción de la conducta a evaluar, lo que posibilita
aumentar la validez ecológica.
-
El método observacional permite captar el
significado de la conducta generada espontáneamente, mediante el registro y
análisis riguroso de la misma. La observación implica una falta de control casi
absoluto sobre las variables. A este nivel interesan las situaciones en las que
se produce la observación y los procedimientos de recogida de datos que se
empleen. Se puede producir en el medio natural, como los trabajos etiológicos,
ganándose en la validez ecológica del estudio y se prioriza la validez externa,
también carece de suficiente control. La observación estructurada situaciones
controladas y estudio más detallado de las conductas.
Principales inconvenientes: validez
de las situaciones y la influencia que la situación y el observador pueden
ejercer sobre el comportamiento de la persona observada.
-
El método de la encuesta: metodología de
investigación que se adapta al método científico general e intenta obtener
información cuantitativa sobre una población utilizando diseños que controlen
de modo externo las condiciones de producción de la conducta mediante la
adecuada selección de las unidades de análisis y la sistematización de la
recogida de información.
Ventajas e inconvenientes: permite
recoger una gran cantidad de datos de una amplia muestra en poco tiempo, coste
no muy elevado.
No alcanza la fuerza de los métodos
experimentales para establecer relaciones causales ni la profundidad de
información que se consigue con la observación.
METODO
EXPERIMENTAL Y MÉTODO NO EXPERIMENTAL: ¿Métodos opuestos o compatibles?
Los criterios confrontar los dos métodos, el grado de
control y el realismo frente a la artificialidad.
-
Estrechamente ligados a la cuestión del
control experimental, el tema de validez, referida al grado de confianza que se
puede tener respecto a las relaciones funcionales entre las variables
analizadas y el tema de la amplitud y precisión de los resultados
-
Por otro lado, el realismo o
artificialidad, hace referencia a la equivalencia entre las condiciones
experimentales y situaciones a las que se desea poder aplicar los resultados de
la investigación.
n Validez
interna:
Grado de credibilidad de
las relaciones causales derivadas de la investigación o la confianza de que los
cambios observados en la variable dependiente so atribuibles a las
manipulaciones experimentales.
n Validez
externa:
Representatividad o
posibilidad de generalizar los resultados obtenidos en un estudio en concreto a
otras poblaciones o situaciones diferentes.
Tanto la validez interna como la externa pueden verse
afectadas por diversos factores, difícil lograr que se den simultáneamente
ambos tipo de validez en cada uno de los métodos.
Los dos métodos pueden ser considerados como fases
diferentes y complementarias de la aplicación del método hipotético deductivo.
3.
Modelo
general de investigación: niveles
3.1 Nivel teórico-conceptual
1. Delimitación
del problema de investigación: la pregunta del investigador. Dentro de un marco
teórico de estudio.
2. La
conjetura (o hipótesis conceptual): respuesta a esa pregunta. Marco teórico
3. Conversión
de las hipótesis conceptuales en hipótesis de investigación: al ser enunciadas
las primeras en términos empíricos y facilitar así su comprobabilidad. Se pone
en contacto lo teórico y lo real. Marcan el inicio de la verificación.
4. Operativización
de las hipótesis de investigación: concretándose. Cómo se va a manipular y cómo
se va a medir. Debe ubicarse en un nivel técnico-metodológico.
5. Discusión
y generalización de los resultados estadísticos: debe ser ubicada en un nivel
teórico-conceptual. Reflexión acerca de los datos y resultados del proceso de
investigación.
3.2. Nivel Técnico- Metodológico
Conexión de los conceptos teóricos con los fenómenos
reales.
Toma forma el plan de investigación significa la toma de una serie de decisiones
acerca de la operativización de la hipótesis.
En un segundo momento, se selecciona una estrategia
adecuada de recogida de datos, suponiendo esto la elección del método.
El diseño, es un plan estructurado de acción
encaminado a resolver problemas de investigación.
“diseñar” comprende tomar decisiones en una serie de
operaciones y tener muy claro el objetivo que pretendemos. Los pasos son:
-
Formulación de hipótesis estadísticas (H0,
H1) previa formulación de las hipótesis operativizadas.
-
Especificación de variables independientes
y extrañas, entendidas como variables relevantes al objeto de estudio. ¿puedo manipular
las variables?
-
Especificación de la/s variable/s
dependiente/s
-
Especificación del número de unidades de
observación
-
Especificación de la forma de asignar las
unidades de observación. ¿al azar o no?
-
Especificación y selección de las técnicas
para el análisis de los datos.
3.3Nivel
estadístico-analítico
Tiene lugar el análisis de la información obtenida
para llevar a cabo la inferencia de la hipótesis.
Depende de la metodología y del diseño.
Transformar los datos en datos científicos para la
extracción de inferencias válidas y para la selección de las técnicas
estadísticas que permiten tales inferencias.
4.
Planteamiento
general de una investigación
El investigador debe formular un problema, el plan de
la investigación incluye las siguientes etapas:
1. Planteamiento
del problema
Primero la definición del problema (comenzar con un verbo facilita la
realización de la hipótesis). Lo primero que deberíamos preguntarnos es ¿ de
donde proceden los problemas? Fuentes de procedencia:
-
De la observación de la vida diaria
-
De la profundización teórica
-
Del análisis de investigación
-
De la casualidad: se entiende por
Serendipity la facultad de descubrir cosas valiosas o útiles sin haberse
propuesto descubrirlas.
Los problemas de investigación deben ser:
-
Realistas: determinado por el estado
actual del conocimiento, los recursos metodológicos y disponibles y los fines
que se persiguen.
-
Resolubles: se considera resoluble si
puede ser sometido a argumentos empíricos. Características:
a) Que
las variables que involucren estén definidas operacionalmente
b) Que
la formulación del problema sólo pueda admitir una respuesta
-
Claro
-
Funcional: que el problema exprese una
relación funcional entre dos o más variables.
2. Las
hipótesis
Conjeturas acerca de la
relación entre dos o más variables. Se distinguen 4 elementos:
-
El término o variable antecedente
-
El término o variable consecuente
-
La relación funcional que liga al
antecedente con el consecuente
-
El valor real: hace referencia a la verdad
o falsedad de su contenido
Para que una hipótesis sea susceptible de verificación
tiene que someterse al criterio de utilidad, es decir, debe ser comprobable y
sencilla.
-
Términos bien definidos, descriptivamente u operacionalmente. La
definición operacional experimental, describe el tipo de acciones que deberá
realizar el experimentador para manipular directamente la variable.
La definición operacional medida: de los
términos de la hipótesis mediante el establecimiento de un conjunto de
operaciones de medición que identifiquen su presencia.
La definición operacional mixta,
incluirá a las dos.
-
En segundo lugar, es necesario que exponga
con claridad la relación o relaciones previstas entre los término que la
componen. Existen varias formas:
n Formulación
de Russell: Mediante el condicional, es decir “si….. entonces…”
n Formulación
de Hipótesis Nula: establece que no existe relación entre los términos o
variables que se consideran.
3. Variables.
Tipos:
n VARIABLES
RELEVANTES
Todas aquellas que
influyen o pueden influir sobre la variable dependiente de un experimento. De
estas habrá una o más de una que el experimentador elija como variables
independientes y las manipule, todas las demás serán las variables
contaminadoras que tratará de controlar.
Lo primero que tenemos
que hacer es construir una lista de variables relevantes al fenómeno a
estudiar, lo cual muy bien puede realizarse en la fase de la elaboración del
problema. Saber por otros autores cuáles son las variables más relacionadas con
el fenómeno en cuestión, y de esas variables seleccionaremos una o varias para
manipular y el resto deberán ser controladas para que el experimento no se
contamine con su influencia.
n VARIABLES
INDEPENDIENTES (manipulación)
Existen dos tipos de
variables independientes. Intencionada o indirecta.
Son aquellas sobre las cuales
el investigador ejerce la manipulación para estudiar sus efectos sobre el
fenómeno que le interesa observar o variable dependiente.
A la variable
independiente suele llamársela también “factor manipulado”, y a sus valores,
“niveles del factor”.
Para representar las
variables independientes se suelen utilizar las primeras letras mayúsculas del
abecedario (A, B, C) y para representar sus valores, las letras minúsculas
correspondientes (a1, a2, a3….)
Los distintos valores de
variables dan lugar a diferentes efectos sobre su variable dependiente; cuando
esto se cumple se dice que la variable independiente influye de los efectos
observados en la variable dependiente; cuando no los diferentes valores de la
variable independiente no dan lugar a diferentes efectos en la dependiente,
puede ser debido a diversos motivos, una incorrecta manipulación de la variable
independiente, habiendo elegido posiblemente valores inadecuados de ella; una
presencia de variables extrañas incontroladas; o una expectativa equívoca por
parte del experimentador al formular su hipótesis.
NIVELES
n MANIPULACIÓN
INTENCIONAL: dos requisitos
1. Que
el experimentador decide libremente qué valores de la variable independiente
2. Que
el experimentador asigna libremente y, por tanto, aleatoriamente cada valor de
su variable independiente a un grupo de sujetos.
La manipulación intencional se caracteriza porque el
experimentador elige o crea los valores de la variable independiente y
determina qué grupo de sujetos recibirá cada valor, que es la manipulación
experimental.
n MANIPULACIÓN
INDIRECTA O DE SELECCIÓN:
El experimentador decide
libremente los valores de la variable independiente que le interesa estudiar.
Este nivel de
manipulación suelen tenerlo las variables propias del sujeto, es decir, edad,
sexo, inteligencia, personalidad, condición social, etc.. puesto que todas
ellas son características que ya posee previamente a la investigación.
En una investigación
experimental al menos una deberá gozar siempre de esa manipulación intencional.
-
Variables
extrañas
Pueden actuar conjuntamente con la
variable independiente pudiendo afectar
a la variable dependiente. Deben estar controladas para que no
contaminen. Este control, debe ser de eliminación de sus efectos.
En caso de no estar debidamente
controladas, al hacer las observaciones sobre la variable dependiente no
sabremos si esos efectos han sido producidos por la variable independiente o
por todas las variables contaminadoras que actuaban conjuntamente en ella y
quedaron sin controlar.
Cuando las observaciones hachas de la variable
dependiente varían en función de los diferentes valores que adopta la VI,
podremos decir ésta (VI) es causa de aquélla y por tanto el experimentador está
bien controlado y cuando por el contrario no sabemos si los cambios observados
en la VD son debidos a los diferentes valores de la VI o a otras VVEE que
quedaron sin controlar, diremos que el experimento está contaminado y por tanto
no podremos inferir ninguna conclusión válida de él.
-
Variables
dependientes
Se entiende por VD el fenómeno que se quiere estudiar
mediante la manipulación de la VI.
No tiene control.
Las VVDD se suelen representar mediante las últimas
letras del abecedario (Y,Z). Entre la VD y la VI se establece una relación de
causalidad necesaria para que se dé un experimento, en la que la variable
independiente será la causa y la dependiente, el efecto.
Aspectos:
-
Formas de medirlas: por la exactitud de la
respuesta, latencia de respuesta o tiempo de reacción, velocidad de respuesta,
frecuencia de respuesta, por la intensidad de la respuesta, etc.
-
Criterios para seleccionar: para hacer la
elección de cual es la mejor forma para medir la variable debemos atenernos a
unos criterios:
1. En los experimentos exploratorios:
no tener información previa sobre la forma de la VD, criterios ambiguos:
-- medirla de diferentes formas hasta
encontrar la medida que a juicio del investigador parezca ser la más correcta.
-- Consultar con expertos en la
materia a estudiar, para intentar encontrar la medida más apropiada.
2. En los experimentos
confirmatorios: ya dispone de la información y lo que hace es seleccionar a su
vez cuál o cuáles son las mejores.
VALIDEZ
La que más le interesa es la validez de constructo.
Hace referencia a que se mida lo que realmente se quiere medir.
Para comprobar esta validez de la medida sería
conveniente correlacionarla con otras medidas de los sujetos reconocidas como
válidas en la misma VD, lo cual en la práctica es difícil de conseguir por
carecer generalmente esas medidas, a su vez, de validez reconocida.
FIABILIDAD
Una medida es fiable cuando aplicada dos o más veces a
los mismos sujetos y en las mismas circunstancias se obtienen los mismos
resultados.
3. Causa
de las diferencias encontradas en ella: las diferencias encontradas en la VD
entre las distintas condiciones experimentales, pueden ser debidas a la acción
de las diversas variables que actúen aislada o conjuntamente sobre ella, lo
cual da lugar a diferentes tipos de varianza. La varianza es la variación que
observamos en las medidas tomadas de la VD y lo llamaremos Varianza total que
se descompone en ;
-
Varianza sistemática: se divide en
primaria y secundaria
-
Varianza de error
Varianza total es igual a
la varianza sistemática (primaria + secundaria) + varianza de error.
1. Sistemática:
es la variación que presentan las medidas apuntando sistemáticamente en una
dirección más que en otra, y puede ser debida a los efectos de la manipulación
de la VI o a los producidos por las VVEE, o a ambos.
2. Primaria:
es la variabilidad que presentan las medidas debidas a los efectos de la
manipulación de la VI, y por tanto es la deseada por todo investigador al
realizar su experimento.
3. Secundaria:
es la variabilidad que presentan las medidas debidas a la influencia de alguna
VE y por tanto no es deseada por el experimentador.
4. Error:
es la variabilidad que presentan las medidas debida a fluctuaciones aleatorias.
Es absolutamente imprevisible y se debe fundamentalmente a las diferencias
individuales existentes entre los sujetos y a los errores de media cometidos por la utilización
de instrumentos poco precisos, instrucciones defectuosas, etc.
El investigador debe
procurar:
-
Maximizar la varianza primaria: eligiendo
los diseños adecuados y utilizando en la medida de lo posible valores óptimos,
extremos y numerosos de la VI, para asegurarnos así de las diferencias a
encontrar entre los diferentes tratamientos experimentales.
-
Controlar la Varianza Secundaria:
manteniendo la constancia experimental, y por tanto, controlando los efectos de
las VVEE, o bien mediante técnicas estadísticas mediante el análisis de la
covarianza o bien mediante técnicas experimentales.
-
Minimizar la Varianza Error: intentando
que las fluctuaciones aleatorias sean mínimas, lo cual se puede conseguir
mediante la utilización de instrumentos fiables, instrucciones claras y
precisas y criterios objetivos de valoración, muestreos adecuados, muestras
numerosas de sujetos, etc.
-
MAXMINCON: todo investigador debe aspirar:
maximizar la varianza primaria, minimizar la varianza error y controlar la
varianza secundaria.
Información
- Descripción
- Apunte sobre 1, creado por Alba Lapaz Romer el 11/06/2016.
- Creado por
- Alba Lapaz Romer · jun 2016
- Actualizado
- 12 jun 2016
- Visitas
- 4
- Valoración