Em muitas pesquisas empíricas é comum ocorrer dos resultados
não estarem de acordo com o que era esperado. E fica uma sensação de frustração,
achando que perdemos de tempo. Existem algumas dicas que podem ajudar num
momento como este.
1 – Digitação errada – é uma possibilidade razoável que o
resultado tenha sido alterado por erro de digitação. O ideal seria transcrever
os dados duas vezes, de maneira independente e verificar se o resultado é o
mesmo. Mas na prática os pesquisadores são muito confiantes e acham que isto é
uma perda de tempo. Mas vale a pena pelo menos verificar se existe alguma
informação discrepante.
2 – Erro de transcrição – em algumas pesquisas é comum que a
informação primária seja passada para um instrumento, como uma planilha
eletrônica. O ideal seria que o instrumento fosse transcrito por duas fontes
independentes. Isto inclui as pesquisas em que passamos os dados da planilha
para um programa estatístico. Em muitos casos é possível existir perda de
informação, que irá afetar o resultado final.
3 – Outlier – é uma informação fora do padrão usual. E como
tal pode afetar a media do conjunto. Uma análise dos dados, inclusive apresentados
num gráfico, poderá facilitar na identificação destes casos. Existem testes
estatísticos para determinar se a informação é realmente um outlier e podem ser
usados. Ou o pesquisador poderá tomar a decisão de eliminar os casos extremos
(os 5% maiores e menores, por exemplo).
4 – Software – é difícil imaginar que um software pode
provocar um erro no trabalho. Mas isto pode ocorrer, inclusive quando usamos os
comandos de maneira inadequada. Além disto, em algumas funções, o software
possui um “default”, que se alterado poderá mudar os rumos da pesquisa.
5 - Instrumento da pesquisa não foi adequado – podemos estar
tentando provar algo com o instrumento errôneo. Considere a situação em que
desejo verificar o grau de honestidade das pessoas; para isto, pergunto, num
questionário: “você é honesto”. Obviamente que o resultado será inadequado, já
que as pessoas tenderão a dizer que são honestas.
6 - Amostra inadequada – o problema pode estar na amostra
usada. Usar estudantes do primeiro semestre para responder um questionário
sobre equivalência patrimonial provavelmente terá resultados ruins. A amostra
deve ajudar a responder a pergunta da pesquisa, não atrapalhar.
7 – Método ruim – para cada tipo de informação existente
existe um método estatístico correspondente. Muitas vezes o pesquisador usar um
método inadequado, que possui problemas com o tipo de variável usada no estudo.
8 - Objetivo x dados usados – O objetivo deve estar
relacionado com os dados usados na pesquisa. Se o objetivo é verificar a
importância das pequenas empresas na economia não devo usar, como informação
central, dados do Sebrae. Esta entidade defende este segmento e os dados podem
estar enviesados.
Todos os itens acima podem ser resumidos em: “reveja todo o
processo de construção da pesquisa”. Seja criterioso. E se isto não conseguir
arrumar os resultados, pense que deve existir uma explicação plausível para
isto. Para que isto fique claro irei contar uma breve história de uma pesquisa
que realizei em conjunto com uma aluna de iniciação científica.
O objetivo da pesquisa era verificar o efeito do
congestionamento, na cidade de São Paulo, na bolsa de valores. Como não foi
possível coletar os dados na sua fonte primária, optamos por usar as
informações dos jornais. Isto naturalmente poderá provocar alguns erros de
transcrição, mas uma vez que o número de informações era razoavelmente elevado,
seguimos em frente. Depois de realizar os testes entre o comportamento da bolsa
(medido pelo Ibovespa) e o congestionamento de São Paulo, o resultado não foi
adequado. E eu tinha certeza que a pesquisa daria uma relação entre as
variáveis.
Após refletir sobre o assunto descobrimos dois problemas na
pesquisa. O primeiro, meio óbvio é que o congestionamento pode ocorrer no
período da manhã – influenciando o mercado no mesmo dia – ou no período da
noite – afetando o mercado no dia seguinte, mas com menor intensidade. A
segunda explicação é menos óbvia: apesar de o congestionamento afetar a vida
das pessoas, o efeito sobre o mercado talvez seja mais sutil. Parte das
decisões de investimento não é tomada em São Paulo (lembrem-se dos investidores
internacionais, que enviam ordens de compra e venda do exterior). Outras
decisões são feitas por softwares, que não sofrem o efeito do congestionamento.
Em resumo, nesta pesquisa cometemos o erro de transcrição (item 2) e usamos um
instrumento de pesquisa inadequado (item 5). Apesar disto, gostei muito de
participar desta pesquisa: aprendi muito com estes erros.
Postagens
