¿Soy cuali o soy cuanti? Pregunta equivocada

 

El cuali, el cuanti y el feo

La ciencia es una empresa humana, y como tal, no es extraño encontrar en esta algunas rivalidades trivales o ficticias entre tradiciones o formas de explicar la realidad. 

Una de ellas es la división entre dos "culturas", o cuasi identidades que se dan en las ciencias sociales: los Cualitativos, que estudian o interpretan de manera más profunda e íntegra a los sujetos, y sus experiencias, versus los Cuantitativos que reducen a los sujetos a meros números, y ajustan modelos que nunca predicen nada. Probablemente nos hayamos topado con comentarios así, y la verdad es que resultan ataques muy improductivos. 

A fin de superar esas discusiones absurdas, es preciso entender que cuando hablemos de lo Cuali o lo Cuanti, simplemente estaremos hablando de METODOS. Y ¿qué son los "métodos"? es una pregunta válida, difícil de contestar, pero en general refieren a una serie de técnicas y protocolos para procesar información extraída de alguna entidad, a la luz de alguna pregunta o diseño de investigación. Una entidad puede ser una persona o un grupo de ellas, bienes transados en un país, un archivo histórico, comentarios de internet, etc.

La siguiente tabla da algunos pocos ejemplos de métodos asociados a cada una de estas culturas.

Y si hiciéramos doble clic en cada uno de ellos, encontraríamos todo un mundo de supuestos y dinámicas que tienen para operar, como la compenetración (rapport) en el caso de las etnografías y en parte entrevistas, la codificación (coding) en el caso del análisis de texto, o el uso de no-causalidad de Granger o la aplicación del Test de Durbin-Watson en el análisis de series de tiempo. 

Podemos pensar el método como una función, donde entran cosas, se le aplican ciertos protocolos o reglas internas propias del método, y sale un resultado digerido según tales reglas ¿Y qué es ese resultado? Pues, es lo que te sirve para responder una pregunta de investigación o una hipótesis si quieres. Lo que implica entender que todos estos métodos están alineados a una pregunta o forma de estudiar lo que sea que se está estudiando (o que más bien, solo tienen sentido a la luz de ello):

• Si quiero saber la dinámica o flujo discursivo de determinado estímulo (una marca, una práctica social, un evento contingente), o como los actores lo reciben/perciben colectivamente, tal vez quiera aplicar un focus group o etnografiar (si se puede) a los actores próximos a tal estímulo. 
• Por otro lado si quiero probar la relación o efecto de ese estímulo en determinada variable en general, puedo usar un ensayo aleatorio, o si quiero verlo en el largo plazo a nivel de una variable macro, usar análisis de series de tiempo, etc. 
• ¿Y es posible que de la dinámica cualitativa, emerja alguna relación de variables o hipótesis, que luego pueda someter a testeo cuantitativo? Nadie te lo impide, de hecho existen manuales de eso, desde una perspectiva "integrativa" (Seawright, 2016).
• ¿Y es posible validar con los actores alguna relación de variables emanadas de por ejemplo, una regresión o experimento? También, se puede producir una "corroboración paradigmática" o "triangulación", en el sentido que el "efecto medio" detectado por la regresión, le hace sentido o es manifestado espontáneamente por los actores en medio de, por ejemplo, una entrevista (6 & Bellamy, 2012; Miles et al, 2014).

Cada una de estas instancias, dará un tipo de resultado, que responderá en cierta medida (o disconfirmará) a la problemática del estudio. Visto así ¿la dualidad entre lo cuali y cuanti parece medio artificial, no? ¿hay realmente una tensión?

Y puta, si, si la hay, y tiene que ver con una rareza que hemos permitido en las ciencias sociales. Esta manera en que les estoy presentando los métodos está alineada con una tradición que podríamos llamar post-positivista, realista, pragmática, y homóloga a lo que se encuentra en artículos de biología o ciencias de la computación, pero adaptadas para cubrir las peculiaridades de nuestros objetos de estudio. 

Básicamente asumimos que existen fenómenos o realidades independiente de los sujetos que las perciben, incluidas aquellas que son emergentes de dinámicas sociales o de carácter intersubjetivo; que nosotros dejemos de creer en Dios, no significa que los religiosos lo hagan, así la religión sigue siendo una realidad externa independiente de ti. 

Dado ello, yo puedo atacar y extraer información (de manera imperfecta, algunas más imperfectas que otras) sobre relaciones o dinámicas que se dan en este objeto o realidad, y transparentarlas por un procedimiento que cualquiera podría aplicar, el que además puede (o más bien, debiera poder) ser auditado por terceros, a fin de confirmar si el procedimiento da "garantías" de que las conclusiones generadas se sostienen (ver los conceptos de replicación, replicabilidad y pre-registro en la investigación). Si, sabemos que no puedo volver a ver determinados asteroides o analizar cierta comunidad cazadora recolectora, el punto no es que en efecto, vaya a replicar lo que hiciste, sino, la posibilidad de poder hacerlo, o entender como fue que llegaste a las conclusiones que llegaste, y que no fue solo un arranque de creatividad (aunque un poco de creatividad tampoco es mala, pero es insuficiente).

Hasta aquí todo bien, nos impulsa la búsqueda por la verdad y la honestidad científica. 

El problema es que no todos en la ciencia social están de acuerdo con esa separación sujeto-objeto. En el área hemos permitido que se cuele gente que más que buscar la verdad o investigar, pretende usar la academia como una herramienta normativa, que a veces aspira a iluminar a los oprimidos sobre su opresión. 

Y está bien, no hay problemas con que los académicos tengan convicciones políticas fuertes, el problema es cuando ello se traduce en una crítica "epistemológica" que confunde con una teoría política, y luego acusa de opresora, patriarcal, colonial, fascista, positivista, etc, a todos quienes buscan separar aguas entre investigación y activismo.

Estas son las llamadas, a muy a grandes rasgos, "corrientes críticas", y lo más terrible, es que estas han tendido a alojarse en la metodología cualitativa, y de ahí el desprecio y justificada desconfianza de ciertos colegas u otras disciplinas, respecto de los métodos cualitativos, y de la naturaleza científica de las ciencias sociales, y a mayor escala, de una pseudo pelea entre cualis y cuantis, que más bien, es de estos dos contra una parte rancia de los cualis (aunque también se denuncia a quienes usan métodos cuanti para inventar historias de mierda, como los depravados sexuales de parte de la PsicoEvo, pero ya hablaré de chantas cuantitativos en otro momento).

Como todos, me he topado con esta literatura "crítica" varias veces, y en general les he podido identificar 2 características bien marcadas:

1. Truncan el método: no hay nada en el trabajo que te de una garantía de que las conclusiones a las que se llegaron están respaldadas en la estrategia metodológica.
2. Piensas exactamente lo que digo: se le imputa un algoritmo mental a los sujetos estudiados, algoritmo al que muchas veces se es incapaz de acceder o comprobar, y la evidencia solo se usa para validar ese algoritmo.

Ambas características tienden de hecho a ir de la mano, pero veremos un ejemplo separado de cada una en papers concretos. 

Partamos por este, el cual trata sobre la carga de las mujeres académicas (creo). El artículo, creo entender, concluye que estas mujeres se sentían como bichos raros o "mujer-monstruos" dada su intersección de identidades como académicas, mujeres, negras, madres, etc. Para ello usa un tesis de interseccionalidad que mezcla a Crenshaw con Barad, atribuyendo determinado proceso mental a los agentes en virtud de la intersección de sus identidades. 

Ok, good, es posible que tal algoritmo, cualquier sea, esté en la mente de la gente, el punto es ¿Como accedemos, sacamos y luego procesamos ese algoritmo de nuestra muestra? Eso es método, y veamos que nos dice el artículo:

"the participants were 19 women pursuing doctoral degrees at a research-intensive university in the southeastern United States. Over the course of the project, all (wo)monsters participated in an individual interview, and nearly all participated in both a small focus group of 2-4 women and a large focus group of 5-9 women. Focusing on the two large focus group intra-actions, including images from intra-actively constructed collages during those focus groups, this paper is guided by the research question, 

How do women doctoral students describe the cutting together/apart of selves as intra-sectional? 

Guided by this research question, we three met to revisit the two final focus groups and to (re)member ways that the intra-actions had done the theoretical work of cutting together/apart" (p. 122)

Veo que hicieron 19(?) entrevistas no detalladas, salvo que mencionan era para "ganar confianza o intimidad". 7(?) focus group de distinto tamaño, y duración (en alguna parte dice aproximadamente 2 horas), pero ¿En qué condiciones se sostuvieron las entrevistas y focus: había comida, café, aire acondicionado? No sé 

¿Por qué enfatizo esto? Esto lo podrán encontrar en manuales de entrevistas y focus group, pero la respuesta es un poco de sentido común; pónganse en el lugar del sujeto ¿Creen que cambiaría su postura o actitud si estuvieran por ejemplo, conversando en una sala muertos de calor o frío, o con demasiada gente o muy poca? Respecto a esas "5 preguntas" ni idea cuales fueron, solo mencionan vagamente una en el paper, tampoco se menciona la dinámica de las entrevistas.

Ya, pero son "detalles", digamos que las sujetos estaban cómodas, los grupos balanceados, todos duraron 2 horas, etc., veamos mejor cómo se proceso la información de esos focus group. Esto nos dicen:

"We made notes based on our memories, as we all three had been present during both focus groups, so that we would have starting points when returning to the audio recordings of the intra-actions. We then set up a shared document, where each of us transcribed the audio and made notes on one another’s efforts. Because we understood the transcriptions to be co-constructed and a continued part of the cutting together/apart (Shelton & Flint, 2019a; 2019b), we consistently shared and checked in with one another, and shared our efforts with participants"

"We shared the in-progress draft with participants—with the explanation that we planned to submit the paper for publication—and waited several weeks for them to respond back with any feedback or questions. (...) these women remained invested in this project, and consistently replied. In most instances, the comments were celebratory, with appreciation for the ways that the theoretical notions of cutting apart/together seemed to capture many of what they deemed the most important aspects of the focus groups. In a few instances, participants clarified or questioned our interpretations, such as a moment when we discussed the groups’ collaging activities, and a participant more fully clarified what she meant when she had added text to one of the collage’s images. In these moments, we discussed their concerns with them and made edits accordingly—continuing the shared suturing and cutting that had characterized the research since the beginning" (p. 122-123).

Muy interesante y se pueden validar las interpretaciones de esta forma (lo que tiene su trade-off), pero ¿Cómo se codificó o procesó el texto transcrito? ¿Cuántas iteraciones de procesamiento se hicieron? ¿Cuántas iteraciones de validación con las sujetos estudiadas se hicieron? ¿Cómo se determinó saturación o aceptación del draft final, y qué criterio se usó para ello? ¡¿Cuántas y qué respondieron concretamente en la validación?! Básicamente, tenemos que hacer el acto de fe de que las autoras consolidaron el texto final cuando "correspondía", y que la validación de cara a las sujetos se hizo bien, esto es, que todas leyeron y entendieron el documento final a consciencia, y no respondieron por responder.

Sinceramente, yo no tendría por qué estar haciéndome estas preguntas, sino, verlo transparentando en el texto. De lo contrario me induce el cuestionamiento de fondo ¿Realmente puedo confiar, o el método explicitado, me da garantías de que los procesos mentales que las autoras imputan a sus sujetos de estudio, son esos y no otros? ¿De que no vaya a llegar a una conclusión radicalmente opuesta si enfrentara los mismos datos con el mismo procedimiento? Nuevamente es un acto de fe, y aunque siempre hay algo de juego de confianza en la lectura de un paper, mientras más fe requiera el estudio para confiar en su validez, más lejos de la ciencia lo siento ¿no les pasa a ustedes lo mismo?

Y esta idea de procesos mentales, nos llevan a la segunda característica de los ”enfoques críticos". Digamos que tengo una idea de que la gente prefiere X a Y dado Z, luego voy, tomo un puñado de gente, y le pregunto qué prefiere y por qué, y veo si 1) la gente prefiere X a Y, y 2) si ello es producto de Z. Así es como opera el razonamiento científico, digo, si, en realidad las preferencias son iguales, o si Z interactúa con Y y no con X, etc. puedo concluir que mis ideas estaban erróneas, o más matizadas, requiriendo mayor investigación.

En el fondo, existe a priori un escenario en el cual puedo actualizar lo que sabía o creía saber antes, en función de la evidencia, ya sea para confirmar, desconfirmar o matizar mis supuestos. 

Ya pero ¿y si lo hago al revés? Digo que X, Y y Z operan de determinada manera interactiva en la mente, interrogo a los sujetos, y luego describo como esos X, Y, y Z están operando de la manera que planteo (o que mi teoría plantea). En este caso ¿Existe una instancia que me permita actualizar lo que sabía, está la posibilidad o un escenario en el que pueda estar equivocado? 

Y esto es lo segundo que me resulta de lo más horrendo de estos enfoques críticos: no existe el espacio para el error, o dicho de otra forma, sus resultados siempre confirman lo que el autor propone (no digo que eso no pase en la investigación cuanti, pero a lo menos ahí puedo ver en qué parte del levantamiento de datos, o modelamiento está chamullando, y en general ese tipo de estudios concluyen matizando sus tesis iniciales).

Por ejemplo veamos este artículo sobre la biopolítica del tratamiento para el SIDA o algo así. Según entiendo, el artículo analiza como la práctica o paradigma "biomédico", norma los cuerpos y sujetos con SIDA, materializándose como discurso performativo y ese tipo de cosas. Intenta entonces elicitar ese discurso entrevistando a 22 personas (todas las críticas hechas sobre la oscuridad del método y procesamiento de su información, también aplican a este). 

Partamos por el razonamiento hecho anteriormente ¿Existe la posibilidad de que esa discursividad biolpolítica no esté en los entrevistados? Pues obviamente no, y veamos el comentario de uno de sus entrevistados (identificado como Isaac):

Hay múltiples ideas en ese párrafo, primero la de incidencia de una enfermedad, la de la dinámica del actor con el médico, qué cosas conversaron, y cómo los médicos reaccionan en virtud de la información e indicios que recibe del paciente, etc. En el fondo hay múltiples aristas e interpretaciones posibles de qué es lo que está pasando, pero esto es lo que nos dice tajantemente el autor:

Wait, what? Qué tiene que ver "el discurso" con una cuestión que puede ser meramente probabilística ¡cosa que el mismo entrevistado te está reconociendo! Y parece razonable que el médico vaya a analizar la actividad sexual, si tiene algunos indicios que el entrevistado pudo de hecho haberle estado comunicando o sugiriendo de varias formas (¡es una puta interacción comunicativa!). Pero esto no se detiene ahí, por ejemplo cuando los actores dicen o señalan impresiones que tienen sobre la enfermedad, no duda en atribuirle sus propias categorías normativas, por ejemplo:

O por ejemplo acá:

Nuevamente, la cantidad de maneras en que el discurso de sus hablantes pudo generarse es infinita, y de hecho, puede ser otra pregunta empírica, pero en vez de eso el autor se toma la total libertad de imputarles la interiorización del discurso biopolítico del enfoque biomédico, y listo, no hay más.

Y entonces ¿Todo este ejercicio lo lleva a una conclusión más matizada respecto de sus planteamientos originales? ¿Aprendimos algo nuevo, encontramos algo que no esperábamos? POR SUPUESTO QUE NO:

Ahora ustedes dirán que esto es cherry picking, y claro que lo es, pero mi interés no es que se fijen en estos artículos en particular, sino que estas pistas e indicios los pueden encontrar en prácticamente toda esa tradición cualitativa "crítica", les invito a hacer el ejercicio, e intentar darme un contra ejemplo.

Por último, un detalle final de esta ley de "Piensas exactamente lo que digo", es que muchos de esos algoritmos imputados ¡son virtual y empíricamente inaccesibles! ¿Cómo puedo analizar el proceso de interiorización del discurso biomédico en los sujetos? ¿En qué se expresa, cómo lo mido, como determino y lo diferencio de otros procesos cognitivos, etc? Esos cuestionamientos no existen.

Y es peor cuando lo vemos en esa sociología oscura a lo Alain Touraine o Ulrick Beck, o de manera más local a lo Alberto Mayol o Kathya Araujo, quienes se dan el lujo de atribuir complejos estados cognitivos a sociedades completas, estados que nuevamente, no tienen idea de si existe o si se cumple tal cual, solo asumen que tenemos ese algoritmo mental, y que además lo compartimos entre todos, pero las preguntas de como determinamos que son esos complejos algoritmos los que están operando, y no otros, o si existen varios operando, eso ya es más difícil, y no es lo que quiero que mis entrevistados me digan. 

Con esto no quiero decir que esos autores no puedan tener razón, pero no me basta con creer en su buena fe, show me your methods, luego veré si estos me convencen de que tus conclusiones están garantizadas. 

 

Un último detalle:

Los métodos en tanto incluyen componentes técnicos, están embebidos en el "progreso" mismo de la ciencia. A medida que se hacen nuevos descubrimientos, podemos explorar nuevos tipos de preguntas que antes no, o solo de manera limitada, un ejemplo de ello es la computadora, y como ésta nos ha abierto todo un mundo de posibilidades y métodos distintos, como los permitidos por el machine learning, o las simulaciones de agentes. 

Pero en fin, ese puede ser tema de otra entrada, hasta la próxima. 

Manuales de metodología citados (dejaré el nombre del autor y el link, porque paja)

• El de Seawright
• El de 6 y Bellamy
• El de Miles y otros