Avances en Psicología Latinoamericana
ISSN:1794-4724 | eISSN:2145-4515

Introdução

A Estatística é um ramo da matemática aplicada, definida como um conjunto de métodos e técnicas que engloba todos os estágios de uma pesquisa – do planejamento da mesma até a análise e interpretação de dados, cujo objetivo é “(…) analisar os dados disponíveis e que estão sujeitos a certo grau de incerteza no planejamento e obtenção de resultados” (Ignácio, 2010, p. 180). No entanto, é preciso elucidar que a Estatística não é propriamente matemática, já que inclui pressupostos perspicazes e conta com o raciocínio indutivo, observando não apenas situações concretas, mas também abstrações, como as práticas humanas.

É na Antiguidade que as civilizações egípcia, mesopotâmica e chinesa realizaram as primeiras tentativas de recenseamento, devido à preocupação de seus poderes centrais em conhecer e compreender seus dados populacionais e demográficos, para atenderem às necessidades da administração imperial quanto à mão de obra suficiente para suas grandes construções, quanto às preocupações fiscais, ao estabelecimento de conscrição militar e para melhor repartição e uso do território por seus habitantes. Todavia, essa prática apresentou várias dificuldades e obstáculos, desde a necessidade de estruturas administrativas e complexas organizações, até certo medo, por parte dos habitantes, de que o uso desses dados pudesse prejudicá-los, ao serem adotados para fins militares ou fiscais. Já na Europa do século XVII, principalmente no lado ocidental, o qual também tinha na Estatística o meio utilizado pelo Estado para enumerar nos países seus indivíduos e bens, com a mesma finalidade militar e administrativa, aquelas dificuldades e obstáculos da Antiguidade foram superados com o recuo das práticas censitárias centralizadas. Essa superação aconteceu em especial em função do período de crise política, econômica e religiosa, e de reorganização dos poderes, em que crises agrícolas e econômicas (guerras, epidemias, pobreza, alterações climáticas), o controle crescente das monarquias e o incremento de uma administração convergente e aparelhada favoreceram e direcionaram os recenseamentos e pesquisas para o campo da ação administrativa (Martin, 2001, pp. 14-15).

Para Martin (2001), é por volta do século XIX que essa ciência passa a ter um desígnio científico, sistematizando os fenômenos sociais ou humanos daquele tempo e, dessa forma, melhorando o conhecimento sobre eles. Havia a ideia, na época, de quantificar os fatos para ter-se melhor domínio sobre eles e, principalmente, o poder de modificá- los. Memória (2004, p. 10) aponta que o registro do número de pessoas realizados na antiguidade estava “(…) longe de ser o que entendemos, hoje, por Estatística”.

As primeiras reflexões a partir de dados numéricos foram realizadas na Inglaterra, por John Graunt (1620-1674), um próspero negociante londrino de tecidos, cuja “(…) análise foi baseada sobre razões e proporções de fatos vitais, nos quais ele observou uma regularidade estatística num grande número de dados”. Com os dados que obteve, Graunt organizou uma “(…) tábua de vida rudimentar, baseada apenas na sobrevivência nas idades de 6 a 76 anos” (Memória, 2004, p. 13). Contudo, foi seu contemporâneo William Petty (1623-1683) quem denominou essa forma de raciocínio de Aritmética Política, que evoluiu para o que hoje conhecemos como demografia (Memória, 2004). Na Sociologia, Quetelet, matemático belga, consagra a “estatística social”, arquitetando padrões de medida objetivos e quantificáveis, empregados ao desenvolvimento humano (Gouvêa, 2008, p. 549).

Contudo, a Estatística só veio a realmente existir como disciplina autônoma e a ganhar importância nos mais distintos ramos do conhecimento por volta do século XX, quando começa a ser aplicada nas grandes organizações governamentais e não governamentais —surgindo, assim, a estatística moderna—. A partir daí, evoluiu consideravelmente e passou a ser empregada nos diversos âmbitos da sociedade, de maneira a permitir obter-se informações provenientes de levantamentos de dados baseados em métodos de amostragem complexos (Ignácio, 2010, p. 181; Memória, 2004), tornando- se uma ciência adotada em âmbito multidisciplinar e utilizada como ferramenta indispensável, tanto nas áreas exatas quanto nas humanas (Ignácio, 2010, p. 183-189).

A Estatística mostra-se uma ciência presente na vida cotidiana dos cidadãos, está na transmissão de informações através de mídias como telejornais, revistas e a própria internet; está na pesquisa científica, na coleta, organização, síntese e interpretação de dados, viabilizando análises mais objetivas, embasadas em conhecimento científico (Cazorla, 2004; Ignácio, 2010).

Dando ênfase à Psicologia, objeto de estudo desta investigação, a Estatística se apresenta como uma ferramenta analítica muito importante, ao ser empregada em pesquisas da área, examinando características do comportamento humano —chamadas aqui de “variáveis”, os quais diferem ou variam de um indivíduo para outro— como sexo, idade, classe social, entre outras (Fox & Levin, 2007). É também usada em testes psicológicos, os quais buscam medir de forma objetiva e padronizada um dado comportamento do ser humano, e devem apresentar tanto embasamento teórico quanto informações claras, com um sistema para correção e interpretação dos escores (Vendramini & Lopes, 2008, p. 95).

Mas a Estatística tem sido usada de forma correta? Na área da Psicologia, tanto estudantes de graduação quanto pesquisadores enfrentam dificuldades para com essa ciência, como afirma Carneiro (2008, pp. 263-264):

(…) dos que cursam psicologia, que pensam não necessitar de métodos mais exatos para trabalharem (…), ao se depararem com artigos científicos, testes psicológicos ou situações acadêmicas mais habituais, surgem as dificuldades de entendimento e interpretação, juntamente com a percepção de que para exercer sua profissão, deve-se utilizar conceitos estatísticos.

Esse comportamento aparece em outros estudos, como o de Silva, Brito, Cazorla e Vendramini (2001), no qual foi possível verificar atitudes negativas dos estudantes da área das ciências humanas em relação à estatística, sendo os cursos de Psicologia e Comunicação os principais responsáveis por esse resultado. Ainda segundo os autores, os estudantes tendem a apresentar atitudes positivas em relação à Estatística, quando acreditam que esta será útil em sua vida e que estudá-la é estimulante, considerando que a atitude do usuário perante essa ciência pode influenciar sua aplicação fora da sala de aula.

Embora apresentem dificuldades, por vezes provenientes de relações anteriores com a Matemática ou a Estatística, durante o ensino escolar, seja no estudo de Pimenta Pereira, Costa e Vieira (2010), seja no de Silva et al. (2001), os estudantes reconheceram a importância dessa ciência. Ambas as pesquisas também revelaram que indivíduos os quais já tiveram algum contato anterior com a estatística ou a utilizaram, em algum momento de suas vidas, revelaram atitudes mais positivas para com ela.

Entretanto, por que importar-se com a atitude do indivíduo em face da Estatística? Uma atitude negativa do indivíduo com relação a essa ciência pode implicar equívocos durante a aprendizagem, que serão repetidos em sua aplicação (Sebastiani & Viali, 2011, p. 837; Pimenta et al., 2010, p. 41). No entanto, segundo Sebastiani e Viali (2011), são escassos os trabalhos sobre ensino e aprendizagem de estatística, a despeito de sua inferência ser relevante para a compreensão de grande parte da literatura técnica, nas mais diversas áreas do conhecimento. Os autores ainda citam alguns estudos evidenciando vários erros cometidos por estudantes, como, por exemplo: dificuldade em enunciar a hipótese de nulidade; indiferença quanto aos conceitos de estatística e parâmetro; não conhecimento dos diferentes tipos de média e suas distribuições de probabilidade; consideração do nível de significância como sendo a probabilidade da hipótese de nulidade ser verdadeira, dado que esta foi rejeitada; erros na formulação das hipóteses, cálculo da estatística-teste, determinação do valor “p” e interpretação dos resultados. Ademais, elucidam que a literatura existente sobre o tema é muito localizada, de sorte que poucos são os cursos onde foram investigadas as dificuldades dos estudantes.

Uma melhor compreensão da Estatística pode viabilizar uma visão crítica das informações que são expostas diariamente em meios de comunicação e, principalmente, nas publicações científicas. De tal modo, é indispensável uma aplicação adequada dessa ciência, incluindo as áreas das ciências humanas, para não deixar dúvidas quanto aos resultados adquiridos e ao método escolhido, sua interpretação e análise.

Yamamoto et al. (2002) expõem alguns estudos que elucidam a ocorrência exacerbada de erros em periódicos científicos, atentando para a necessidade de monitorar e controlar as produções científicas no campo da Psicologia. Ainda segundo os autores, a avaliação dos periódicos pode auxiliar positivamente na disseminação do conhecimento da área.

Assim, este trabalho tem como objetivo realizar uma leitura crítica da utilização das ferramentas básicas da Estatística em trabalhos científicos, no âmbito da Psicologia, através de estudo bibliográfico e de análise de conteúdo, apontando as principais dificuldades de aplicabilidade dessa ferramenta, nesse campo de ação, a fim de ajudar, esclarecer e, principalmente, encorajar os estudantes e pesquisadores da área para uma aplicação mais apropriada dessa ciência.

Método

A pesquisa foi conduzida na Biblioteca Virtual em Saúde BVS Psicologia ULAPSI Brasil ¹ que é a base de dados mais geral em Psicologia desenvolvida e mantida no Brasil. A partir das palavras-chave “Estatística” e “Psicologia”, foram encontrados 24 artigos científicos. Todos os artigos pesquisados foram na língua portuguesa, compreendendo o período de 1999 a 2012 —período determinado após o resultado final da filtragem e seleção dos casos que integrariam este trabalho.

Não foram considerados, para a pesquisa em pauta, livros e teses, artigos que usassem ferramentas mais elaboradas da Estatística, tais como Teoria de Resposta ao Item, Análise Fatorial, Regressão Logística ou que estivessem validando algum tipo de escala/instrumento, uma vez que o objetivo deste estudo foi trabalhar a Estatística conhecida como “básica” e que, mesmo como tal, oferece grande dificuldade para muitos autores/leitores de trabalhos científicos. Foram igualmente desconsideradas bases em ciências da saúde e áreas correlatas.

Para nortear a análise dos artigos e identificar possíveis falhas do emprego da Estatística, na área, foram levados em conta os pressupostos de Crato et al. (2004) e Conceição (2008), tendo-se em vista, assim, os seguintes itens:

• definição correta da amostra/população: a metodologia de definição da amostra/população deve ser observada quanto à sua qualidade e pertinência, de maneira que esteja adequada tanto quanto a população que se deseja estudar, apresentando os critérios de seleção, tamanho, tipo de estudo e os instrumentos utilizados, de maneira que se devam aproximar ao máximo da realidade estudada;

• apresentação e justificativa dos testes estatísticos usados: o artigo deve apresentar e justificar com propriedade o modelo estatístico empregado, de forma a possibilitar ao leitor uma melhor compreensão da estatística empreendida;

• utilização correta dos testes: os testes estatísticos foram verificados quanto ao seu emprego, de modo que contenham todas as informações necessárias;

• análise adequada dos resultados: a análise dos resultados deve ser observada quanto a sua apresentação, a qual tem de ser clara e objetiva, seguindo uma sequência lógica, sendo necessário que seja indicado e interpretado o valor p, não se limitando à sua significância estatística. Os testes estatísticos devem ser examinados quanto a sua adequação aos dados da pesquisa, visto que a má utilização de um modelo estatístico pode gerar uma análise e interpretação inadequada dos resultados.

Uma vez que a classificação de uma revista científica é uma característica importante na escolha de onde publicar os trabalhos, julgou-se relevante apresentar o Qualis das revistas avaliadas, já que se considera que periódicos “mais qualificados” tenham um controle mais rígido de suas publicações.

Por fim, cabe esclarecer que o presente projeto não foi submetido ao Comitê de Ética em Pesquisa, por se tratar de pesquisa bibliográfica e de análise de conteúdo. Para preservar a integridade dos autores, os trabalhos analisados não constam nas referências bibliográficas. Serão preservadas todas as informações que possam identificar autoria dos trabalhos consultados.

Resultados e discussão

Os resultados são apresentados e discutidos seguindo os pontos elencados no método.

a) Definição correta da amostra/população

Entre os artigos analisados, (n = 9) demonstraram claramente como foi definida a amostra da pesquisa, evidenciando-se a forma como os participantes foram selecionados, o tipo de amostra e os critérios de inclusão e exclusão adotados. Os Qualis das revistas desses 9 artigos foram: 6 (A2); 1 (B2); 1(B3) e 1 (B4).

De maneira a explicar tal resultado, destaca-se um trecho de um artigo que definiu corretamente a amostra (situação 1) e um trecho de outro no qual não dá detalhes (situação 2) os quais ajudam o leitor a entender como foi obtida a amostra.

Este estudo, de característica descritiva e de corte transversal, utilizou uma amostra de 202 indivíduos de ambos os sexos, aparentemente saudáveis, com idades entre 60 e 83 anos, (…), selecionados por conveniência a partir de uma amostragem não probabilística. (situação 1, grifo nosso).

Participaram do estudo oito cuidadores (seis mães e um casal de avós) de crianças com transtornos psiquiátricos atendidas no ambulatório de psiquiatria infantil de um hospital-escola do interior de São Paulo. (situação 2).

Tal fato é corroborado por achados em estudo semelhante, o qual revelou que 73,69% das produções analisadas deixaram de apresentar como chegaram ao tamanho da amostra (Barbosa & Souza, 2010). Dessa maneira, percebe-se que grande parte dos redatores de artigos científicos não se preocupa em deixar claras tais descrições, sendo que a amostra representa o universo real do fenômeno o qual se deseja estudar, portanto, deve ser utilizada por estudo bem delineado, que não perca o intuito do pesquisador de analisar a representatividade dos casos estudados (Paes, 1998).

b) Apresentação dos testes estatísticos escolhidos e justificação da sua utilização

Quanto aos testes estatísticos adotados, apenas (n = 9) definiram um método estatístico empregado para a análise de resultados, bem como a justificava para a sua utilização. Conforme a classificação da Capes (Qualis), os artigos que explicitaram os testes estatísticos usados e a justificava para seu emprego foram classificados em 6 (A2); 1 (B2) e 2 (B3).

Com o intuito de ilustrar essa apresentação e justificação do teste estatístico utilizado, pode-se citar o exemplo de um trabalho o qual advertiu, previamente, que adotaria o teste não paramétrico Mann-Whitney para análise dos dados, justificando ter essa providência a finalidade de comparar médias: “Visando à comparação dos grupos, aplicou- se o teste não paramétrico de Mann-Whitney (p ≤ 0,05) para a análise das variáveis idade e grau de instrução, não tendo sido observadas diferenças significativas entre os grupos”.

Em outro, embora traga a justificativa para se valer dos testes —“Quanto à estatística inferencial, por não se tratarem de dados com distribuição paramétrica (Shapiro-Wilk < 0,05), foram realizados os testes de Kruskal-Wallis e Mann-Whitney visando comparar os estados de humor de grupos com diferentes características”—, traz um erro conceitual, quando afirma contar com “(…) dados com distribuição paramétrica”: o adequado seria ressalvar “dados com distribuição normal”, pois os dados possuem distribuição normal ou não, enquanto os testes são classificados como paramétricos e não paramétricos, não devendo ser utilizados como sinônimos.

Diferentemente desse exemplo, outra pesquisa não justificou o emprego do teste estatístico: “Os dados foram submetidos a análises estatísticas descritivas (média, desvio-padrão, frequência simples e percentagem), a estatísticas de comparação entre grupos (Teste t) e à análise de correlação entre variáveis (Pearson)”.

c) Utilizou corretamente os testes

Quanto ao uso correto dos testes estatísticos, (n = 12) não trouxeram a descrição específica de cada método estatístico adotado, de modo tal que deixaram de apresentar informações importantes quanto a sua descrição, ou tomaram decisões pautadas na utilização equivocada/inapropriada de testes estatísticos. De acordo com a Capes (Qualis), os artigos que deixaram de fornecer informações quanto à descrição de cada teste foram: 1 (A1), 10 (A2) e 1 (B3).

Destaca-se o trabalho no qual a análise foi pautada no recurso a um teste paramétrico t de student para uma amostra de 8 participantes. Aqui, embora o correto seja utilizar um teste não paramétrico, os autores mencionam a testagem de normalidade dos dados para isso: “Participaram do estudo oito cuidadores (seis mães e um casal de avós) (…) Na análise dos dados foi utilizado o contraste de médias para variáveis pareadas com o teste t de Student, em itens com categorias de variáveis ordinais e intervalares”.

De maneira a confirmar tal resultado, o estudo de Barbosa e Souza (2010) indicou que apenas 30,26% dos estudos explicitaram de forma adequada todos os métodos estatísticos que serviriam para uma análise posterior. Os pesquisadores salientaram que 22,36% (17/76) utilizaram de forma incorreta todos os testes estatísticos. Tal efeito pode ser justificado na maioria dos artigos pela ausência da verificação da normalidade dos dados —quando se fazia necessário, acarretando o apelo a testes paramétricos para amostras consideradas muito pequenas, ou mesmo testes não paramétricos para amostras consideradas grandes ² —, não considerando quando a natureza dos dados não demanda esse tipo de análise, prejudicando, assim, a confiabilidade dos resultados. Na maioria dos casos, os autores pressupõem que o leitor é capaz de observar que o emprego de determinado teste estatístico está ligado à natureza dos dados em questão, o que nem sempre fica claro, e mesmo se as amostras são pareadas ou não.

Tais fatos podem ser evitados, se os autores expõem esses pressupostos, sem considerar conhecimento prévio por parte do leitor, como observado no trecho a seguir: “A distribuição normal das pontuações dos domínios foi testada pela Prova de Kolmogorov-Smirnov. Em nenhum dos testes, essa hipótese foi rejeitada”.

d) Analisou corretamente os resultados?

Quanto à análise dos resultados, 18 artigos a fizeram corretamente, levando em conta o valor p para significar estatisticamente ou não um resultado, de maneira a constatar ou não as hipóteses da pesquisa. Tais artigos foram classificados em suas revistas, segundo a Capes, como 1 (A1), 13 (A2), 1 (B2), 2 (B3) e 1 (B4).

Como exemplo de um trabalho que fez tal análise de forma correta, um artigo se referiu de modo claro e objetivo aos resultados da investigação e interpretou os resultados do p valor, sem se limitar à significância estatística:

As demais variáveis demográficas/individuais não mostraram diferenças significativas quanto à distribuição de sintomas, exceto quando se compararam os grupos ocupacionais de gerentes e escriturários. Estes mostraram maior severidade de sintomas na região lombar do que aqueles (1,57 e 0,72, respectivamente; p = 0,04).

Por outro lado, o trecho a seguir traz um erro de interpretação do p-valor, considerando como significante o valor p = 0,710:

As médias dos escores totais por ordem de aplicação foram próximas entre o período de aplicação (exemplo, informatizado-informatizado) e entre as versões, sendo estatisticamente significativas quando aplicadas na ordem informatizado/lápis-papel ([t[26] = 0,379; p = 0,710) e com alta correlação na ordem lápis-papel/informatizado (r = 0,925), em comparação com o grupo informatizado/lápis-papel (r = 0,711). Ressalta-se que, em nenhum dos casos, a diferença entre as duas versões foi significativa.

Considerações finais

A partir dos resultados expostos, verificou-se que um número considerável de artigos (n = 21) deixou de apresentar pelo menos uma informação estatística relevante, ou fez um uso errôneo da Estatística, dentre os analisados neste trabalho.

O emprego inadequado da Estatística, ou mesmo uma utilização ineficiente, pode levar uma pesquisa a conclusões precipitadas ou até errôneas. Tal ação pode dificultar a leitura e, principalmente, o entendimento dos artigos por pessoas menos familiarizadas com o campo da Estatística, o que pode favorecer a sensação de “aversão” e/ou de incapacidade nessa área. Esse contexto pode induzir o leitor —e inclusive a própria investigação— a interpretações e conclusões totalmente equivocadas dos resultados. Portanto, reafirma-se que os métodos estatísticos requerem muita atenção e cuidado, na sua aplicação e análise.

Embora a classificação Capes (Qualis) não tenha sido um fator de influência considerado, foi possível verificar que tanto artigos que foram publicados em periódicos com classificação (B4) quanto os periódicos com classificação (A1) revelaram problemas quanto aos itens aqui analisados. Isso pode sinalizar alguns elementos, tais como: a) a negligência por parte dos avaliadores a propósito desses aspectos, os quais podem ser tomados, por eles, como secundários, ou b) o desconhecimento/ insegurança quanto à correta utilização dos mesmos.

Podemos, por conseguinte, nos questionar: o que, de fato, garante a cientificidade de um trabalho? Em artigos, pesquisas e demais atividades, em Psicologia, é conferida uma grande importância ao conteúdo e embasamento teórico e, em muitos casos, a Estatística empregada nessas propostas é negada ou negligenciada. Porém, é a Estatística que pode garantir a melhor forma de obtenção e análise dos dados, de sorte a validar tais trabalhos. É inconcebível pensar numa produção científica que não dê atenção ao trato dos dados os quais irão garantir uma análise e uma conclusão satisfatórias às realidades e casos estudados e pesquisados. Sublinhamos, então, a extrema importância do uso cuidadoso e, sobretudo, responsável da Estatística para a veracidade de pesquisas que dela se utilizem. Demarcar essa importância não se refere apenas ao uso correto dos dados, mas à garantia de que os diversos trabalhos em Psicologia possam assegurar sua cientificidade e apresentar informações coerentes e comprometidas com suas propostas e com seus leitores. Quem produz ciência produz conhecimentos e forma opiniões. Assim, um trabalho que se pretenda científico deve produzir dados criteriosos os quais obtenham resultados fiéis e reais.

Referências

Notas

1 http://www.bvs-psi.org.br

2 Segundo o Teorema Central do Limite “para grandes amostras, a distribuição amostral da média pode ser bastante aproximada por uma distribuição normal” (Freund & Simon p. 192).

Autor notes

* A correspondência relacionada com este artigo deve ser direcionada a Carina Alexandra Rondini, Rua Cristóvão Colombo, 2265 - Jardim Nazareth CEP: 15054-000, São José do Rio Preto. Fone: (17) 3221-2201. Correio eletrônico: carondini@gmail.com

carondini@gmail.com

Informação adicional

Cómo citar este artículo: Rondini, C. A., Souza Paulillo, T., Suzano Martinhão, V., Molica Marinheiro, B., & Aragão Martins, R. (2016). Leitura crítica dos procedimentos estatísticos aplicados no campo da psicologia. Avances en Psicología Latinoamericana, 34(3), 605-613. doi: http://doi.org/10.12804/apl34.3.2016.12