Contraponto à matéria da Zero Hora, sobre o preconceito na UFRGS
Por Gabriel Afonso Marchesi Lopes
Os resultados de uma pesquisa
científica séria devem retratar a realidade da forma mais fidedigna possível,
logo os mesmos não são passíveis de questionamento direto quanto à sua
validade, uma vez que devem ser imparciais e objetivos de tal forma que não cabe
aos resultados agradar ou desagradar uma ou outra opinião ou ideologia, mas sim
estar de acordo com os fatos propriamente ditos, ainda que isto, por assim
dizer, gere “choro e ranger de dentes”. Todavia, os resultados podem ser
invalidados de maneira indireta, e isto ocorre quando os pressupostos para sua
obtenção não são atendidos, sendo estes aqueles que dizem respeito à
metodologia empregada e a base de dados analisada. Se foi empregada uma metodologia
inadequada e/ou a base de dados for inconsistente, então os resultados do
estudo não vão retratar a realidade, logo são inválidos do ponto de vista
técnico.
No dia 18 de Maio, o jornal Zero Hora
publicou uma matéria sobre um estudo, realizado pelo Instituto de
Psicologia da Universidade Federal do Rio Grande do Sul (UFRGS) e publicado na
revista Sexuality Research and Social Policy, que supostamente
apontou que 87% dos alunos da Universidade tinham algum preconceito de gênero
ou contra a diversidade sexual. O conteúdo desta matéria teve grande
repercussão nacional, sobretudo por tratar de um tema sensível que é o
preconceito e por apontar que a nata intelectual da sociedade, isto é, os
estudantes da instituição que é avaliada pelo Ministério da Educação (MEC) como
a melhor Universidade do Brasil são, em sua grande maioria, preconceituosos.
Por mais que este resultado afronte
algumas visões e, inclusive, atinja a imagem de uma instituição de ensino
centenária, não cabe, em um primeiro momento, questionar se estas conclusões
são ou não são válidas, porém é importante analisar o processo através do qual
se obteve tal resultado, a fim de avaliar se o mesmo teve o rigor científico
que se espera em uma universidade de renome e está de acordo com os padrões internacionalmente
aceitos. Assim, cabe a análise do procedimento de coleta de dados, do
instrumento utilizado nesta coleta e dos controles utilizados para que a mesma
se restrinja à população alvo.
Analisando o estudo que foi
originalmente publicado em inglês sob o título “Prejudice Toward Gender and
Sexual Diversity in a Brazilian Public University: Prevalence, Awareness, and
the Effects of Education” é visível que esta pesquisa é metodologicamente
falha, logo seus resultados não podem ser replicados para toda a Universidade.
Explico: quando se trabalha com uma amostra, usa-se uma série de procedimentos
estatísticos a fim de que seus resultados possuam determinadas características
e, assim, possam ser utilizados para se falar algo (inferir) sobre toda a população.
Quando este procedimento amostral é feito de forma inadequada, seus resultados
podem possuir um viés que leva à interpretações errôneas sobre a população.
Um dos pressupostos mais importantes em
amostragem é a aleatoriedade da amostra, que são os procedimentos onde cada
possível amostra tem probabilidade conhecida, a priori, de ocorrer, se baseando
em teoria de probabilidade e inferência estatística, de forma que se possa,
utilizando propriedades matemáticas associadas ao plano amostral, buscar uma
amostra representativa da população que permita a generalização de seus
resultados dentro de limites aceitáveis de dúvida.
Ocorre que a pesquisa não utilizou
nenhum procedimento probabilístico na seleção da amostra. Conforme consta no
próprio estudo, o procedimento utilizado foi o seguinte: a Reitoria da
Universidade enviou um e-mail para todos os estudantes com um questionário
on-line e alguns deles responderam ao estudo, tendo suas respostas utilizadas
na obtenção das conclusões do estudo. Assim, a ausência de metodologia
estatística na seleção da amostra faz com que seus resultados sejam
tendenciosos e impede que os mesmos possam ser utilizados para se fazer
inferência a respeito de todos os alunos da instituição.
Então, do ponto de vista técnico acerca
do procedimento de coleta de dados, considerando que os procedimentos
metodológicos não foram adequados, temos que a análise realizada, por mais
sofisticada que seja, não pode ter seus resultados considerados como idôneos,
pois foram tendenciosos já na origem, no momento de coleta da amostra.
Ainda, em um estudo científico é
importante analisar o instrumento utilizado na coleta dos dados, isto é, a
forma utilizada para medir os elementos que subsidiarão as conclusões da
pesquisa. Em se tratando de uma pesquisa de opinião é usual utilizar um
questionário, sendo este exatamente o meio que foi empregado neste estudo. Um
questionário pode ser elaborado de diferentes formas, neste caso utilizou-se
algo que possuí a nomenclatura técnica de “Escala de Likert”, que é uma
forma de medição psicométrica onde cada questão é representada por cinco
gradações que quantificam a opinião do respondente em relação aquilo que lhe é
perguntado indo de “discorda totalmente” até “concorda totalmente”.
A “Escala de Likert” possuí
diversas críticas, porém o interesse aqui não é a discussão sobre qual método é
melhor ou pior, mas sim se o método utilizado teve seus pressupostos cumpridos,
não possuindo falhas do ponto de vista técnico. Em se tratando de um
questionário que utiliza a “Escala de Likert”, a verificação de sua
adequabilidade técnica se dá a partir do emprego de uma medida estatística cujo
nome é coeficiente alfa de Cronbach, que estima a confiabilidade de um
instrumento aplicado em uma pesquisa a partir da correlação entre as respostas
em um questionário através da análise do perfil das respostas dadas pelos
respondentes. Cada item, a priori, deve abordar uma única ideia de cada vez,
isto é, os itens devem ser independentes. Se a resposta a determinado item se comporta
de maneira parecida com a resposta de outro item, conclui-se que um explica o
outro.
Dessa forma, cabe ao pesquisador
avaliar o questionário com o emprego do coeficiente alfa de Cronbach,
realizando aquilo que é chamado de purificação da escala, que consiste na
eliminação de itens que estejam afetando a confiabilidade da medição em um
determinado levantamento de dados. Todo esse conjunto de procedimentos
envolvendo o instrumento de medida em uma pesquisa de opinião é chamado de
validação do questionário. Não obstante, pode também o pesquisador utilizar um
questionário elaborado em outra pesquisa, que já passou por todo o processo de
validação e é aceito pela comunidade científica.
Contudo, no referido estudo, não há
qualquer menção quanto ao processo de validação do questionário empregado e nem
mesmo quanto à outras referências e usos do mesmo em outras pesquisas
científicas da área. Este é o tipo de erro que não se espera em um estudo
sério, pois o uso de um instrumento de medida validado é fundamental para a
adequada coleta dos elementos que serão analisados, uma vez que um questionário
falho acabará repassando suas falhas aos dados que, então, farão com que se
chegue à conclusões tendenciosas, que retratam uma visão distorcida da
realidade. Portanto, neste quesito, o estudo deixou a desejar.
Por fim, dentro das questões
metodológicas, cabe a análise dos controles utilizados para que a pesquisa se
restrinja à população alvo. Em um estudo científico, a população objetivo ou
população alvo é um conjunto de todos os elementos abrangidos no estudo que
apresentam características próprias, sobre as quais se deseja obter conclusões.
No caso em tela, a população alvo compreendeu os estudantes de graduação
matriculados da Universidade Federal do Rio Grande do Sul em 03 de dezembro de
2013, sendo cada estudante uma unidade elementar distinta. Nota-se que não
houve qualquer menção sobre o fato de terem sido considerados somente os alunos
com matrícula ativa ou se foram também considerados os alunos com matrícula
trancada, mas este é o menor dos problemas como veremos a seguir.
Uma vez definida a população alvo,
deve-se definir um sistema de referências que sirva para o mapeamento das
distintas unidades elementares da população alvo. Em algumas populações, o sistema
de referências pode se tornar extremamente complexo, contudo, no caso em
questão, um sistema de referências relativamente simples seria o número do
cartão da UFRGS, que é composto por seis dígitos, sendo diferente para cada
membro da comunidade universitária. Uma vez que possa ser colocada em
correspondência biunívoca as unidades elementares da população alvo com o
sistema de referências, temos aquilo que é tecnicamente chamado de população
referenciada, na qual será aplicada uma técnica estatística de amostragem com o
intuito de obter a população amostrada ou simplesmente amostra, a partir da
qual, fazendo uso de estimadores, se fará inferência sobre a população alvo.
Entretanto, como já foi exposto antes,
não foi utilizada nenhuma técnica de amostragem probabilística para obtenção da
população amostrada, o que constitui uma falha grave neste estudo, contudo,
como este ponto já foi discutido, o importante agora é analisar os controles
utilizados para delimitar a população alvo. Neste caso, conforme explicitado
pelo próprio estudo, foram enviados e-mails para os alunos com acesso para o
questionários on-line. Ocorre que, para acessar o questionário, não
era necessário nenhum tipo de procedimento de “login”, o que permitia
que estudantes, ou pior, terceiros sem vínculo com a Universidade, respondessem
o questionário se fazendo passar por outras pessoas, podendo fazer isso
repetidas vezes. Ainda, além dos itens de pesquisa dispostos em “Escala de
Likert”, o questionário possuía diversas perguntas abertas referentes à
caracterização do respondente, permitindo que um aluno (ou terceiro), por
exemplo, incluísse informação errada quanto a seu curso.
Logo, a falta de controle sobre a
população alvo permitia que elementos que não pertencessem à população objetivo
do estudo respondessem o questionário o que, em um estudo que trata de um tema
sensível como o preconceito, poderia gerar muita inconsistência nos dados, por
exemplo, a partir de um grande volume de respostas extremas por uma pessoa ou
grupo de pessoas mal-intencionadas que estejam interessadas em fazer parecer
que os estudantes da UFRGS são preconceituosos ou, considerando o grande número
de perguntas com respostas abertas na caracterização do respondente, que tenham
interesse, por exemplo, em fazer parecer que alunos de um dado curso são mais
preconceituosos que de outro curso.
Portanto, a polêmica pesquisa realizada
no âmbito do Instituto de Psicologia da UFRGS não contou com controles sobre a
população alvo, permitindo a interferência de elementos estranhos, quiçá,
mal-intencionados na pesquisa, utilizou uma metodologia de amostragem
não-probabilística, que gera amostras tendenciosas, e, por fim, aplicou um
instrumento de medida cuja validação é desconhecida. Pelas gritantes falhas
técnicas e metodológicas, a conclusão não pode ser outra senão: a pesquisa não
tem base técnica suficiente para ter qualquer credibilidade científica, não
passando de mais um caso de pseudociência, que embora sirva para propósitos
ideológicos, não tem utilidade no âmbito das pesquisas sérias e calcadas em
métodos realmente científicos.
Fonte: http://liberdadeufrgs.blogspot.com.br/2015/05/desconstruindo-pseudociencia-o.html
