Novo método para normação de testes
Por Hindemburg Melão Jr.
    
      
            Quando dispomos de uma amostragem pequena e queremos usar essa amostra para estabelecer a norma de um teste de inteligência, desde que o teste apresente questões cujos graus de dificuldade se distribuem com alguma uniformidade, podemos tirar grande proveito da equação proposta por Grady Towers, e com ela determinar os QIs correspondentes aos escores brutos que não foram alcançados por nenhum ou por poucos elementos de nossa amostra, e assim definir o teto do teste com maior acurácia. 
            Com esse método, dispondo de uma amostragem com apenas 1.000 pessoas da população geral (média=100, topo=150), podemos definir a norma para um teste com teto de até 180, em vez de 150. 
            Vejamos como isso é possível: 


            Com base nos trabalhos de Bill McGaugh <http://www.pe.net/~bmcgaugh/eloiq.htm>, podemos inferir que a inteligência é graduada por escalas logarítmicas (detalhes sobre isso em nosso artigo "Um novo modelo de estrutura mental"). A relação entre habilidade enxadrística (ELO) e QI é dada por: 
  
            QI = (Elo-1282)/17,3+100   
            ELO = 1282+(QI-100)*17,3  
  
            E a relação entre a força comparativa de dois jogadores em função de seus ratings ELO é dada por: 

            F1/F2 = 10^(DELO/400)  

            Isso nos permite deduzir que a proporção entre a capacidade intelectual das pessoas é dada aproximadamente pela seguinte equação: 
  
            P1/P2 = e^k(QI1-QI2)  
[A constante k é quase exatamente "0,1" e pode ser determinada com base nas equações precedentes]  
[Essa equação (sem definir o valor de k) foi prevista por Grady Towers] 

            Onde P1 e P2 representam os potenciais mentais das pessoas 1 e 2. Desse modo, sabemos que uma pessoa com QI = 93 tem 50% do potencial de uma pessoa normal (QI = 100), enquanto uma pessoa com 77 de QI tem apenas 10% da capacidade normal (QI 100). Analogamente, uma pessoa com QI 130 tem 20 vezes a capacidade de uma pessoa normal, uma pessoa com QI 164 tem 600 vezes a capacidade de uma pessoa normal etc. 
  

              Tabela 1 
              QI   Potencial Mental 
               80        0,14 
               90        0,3 
              100        1,0 
              110        2,7 
              120        7 
              130       20 
              140       55 
              150      150 
              160      400 
              170    1.100 
              180    3.000 
              190    8.000 
              200   22.000
  
            Inicialmente, para conferir a validade da equação apresentada, eu propus um gedakenexperiment que consistia basicamente no seguinte: suponhamos uma bateria de testes de inteligência sem limite de tempo, como o Power Test, por exemplo. Nesse teste espera-se que uma pessoa com 164 de QI acerte 26 questões num total de 36. Pois bem, se esse mesmo teste for aplicado a 600 pessoas com QI 100, será que, cada uma delas trabalhando individualmente, a soma de questões distintas corretamente resolvidas por esse grupo de 600 pessoas chegará a  26? Originalmente considerei diversos aspectos da questão, como o problema das 600 pessoas não trabalharem com sinergia, mas posteriormente usei dados empíricos do Mega Test (apêndice 1) para avaliar a aplicabilidade dessa equação, e pude constatar que ela funciona admiravelmente bem, sem que haja necessidade de relevar esses pormenores. Na maior parte da distribuição, os QIs calculados com base nessa fórmula diferem dos QIs determinados estatisticamente por menos de 5 pontos, só chegando a cerca de 10 pontos nos extremos do teste (2 questões certas ou 2 questões erradas), casos em que os dados estatísticos são demasiado escassos para produzir resultados confiáveis, portanto parece correto supor que a diferença de 10 pontos deve-se mais ao erro dos dados estatísticos do que a alguma eventual falha na equação. [Nota: no caso de 2 questões certas, embora muitas pessoas tenham atingido esse escore, o número de questões “2” é muito pequeno para que o QI correspondente seja acurado.] 
            Vejamos como é possível normar um teste, estabelecendo um teto 180, recorrendo a um grupo com apenas 1.000 elementos da população geral. Nosso teste hipotético será constituído por 36 questões e terá os seguintes resultados: 
  
      Tabela 2 
      Escore bruto         N      QI  
      15 ou menos        790  111 ou menos  
      16-20              175  113 - 125 
      21-25               34  129 - 146 
      26-30                1  150 ou mais 
      31-35                0 
      36                   0
  
            Inicialmente os QIs são determinados com base nos dados estatísticos (N), dentro de um intervalo de até 3 desvios-padrão. Mesmo que nossa amostragem fosse muito maior que 1.000, não seria conveniente usar os dados estatísticos para calcular os QIs acima de 3 desvios-padrão, pelos motivos indicados no artigo “Testes de QI inflacionados? 
            Para escores brutos a partir de 21, temos apenas 35 elementos. Para escores brutos a partir de 26, temos somente 1 elemento. Diante dessas limitações, como podemos definir com segurança o QI correspondente ao escore 32 ou 36, se nenhum elemento alcançou tal número de acertos? É justamente aí que entramos com a equação de Grady Towers. O procedimento é simples: tomamos um grupo de 10 elementos que tenham atingido escore bruto 16 (para escore bruto 16, o QI correspondente é 113). A soma do número de questões corretas distintas desses 10 elementos deve corresponder ao número de respostas corretas distintas produzido por 37 pessoas de QI 100 ou por uma pessoa de QI 136. Se o tal número de questões distintas for 22 ou 23, isso estará coincidindo bem com o QI 136 calculado com base nos dados estatísticos. Prosseguimos tomando um grupo com 20 elementos que tenham atingido escore bruto 16 (cujo QI correspondente é 113). A soma do número de questões corretas distintas desses 20 elementos deve corresponder a 74 pessoas de QI 100 ou 1 pessoa de QI 143. Chegará num ponto em que não teremos número suficiente de elementos com QI 113 para aplicar esse método. Quando isso acontecer, basta somar elementos com outros escores, sempre preservando a "equivalência". Por exemplo: um grupo com 100 pessoas em que 46 delas têm QI 113, 35 delas têm QI 116 e 19 delas têm QI 119, a soma do número de questões corretas distintas dessas 100 pessoas deve corresponder a 470 pessoas de QI 100 ou 1 pessoa de QI 162. Portanto, se essas 100 pessoas resolverem 32 questões distintas, significa que o escore bruto 32 corresponde a 162 de QI. Ao considerar quantas questões distintas são resolvidas por todo o grupo de 1.000 pessoas, teremos o mesmo número que seria resolvido por 3.400 pessoas de QI 100 ou 1 pessoa de QI 182. Desde que o número de questões distintas resolvidas pelas 1.000 pessoas não seja 36, pode-se atribuir o QI 182 ao escore bruto correspondente. Porém, se ficar constatado que grupos que não chegam a reunir todas as 1.000 pessoas acertam todas as 36 questões, então o teto do teste pode estar abaixo de 182. Com isso, aplicando um teste a apenas 1.000 pessoas de um grupo não-selecionado, seria possível estabelecer um teto em torno de 180, em vez de 150. Se as 1.000 pessoas juntas acertarem 34 questões, significa que o QI 182 deve corresponder ao escore bruto 34. E assim pode-se estabelecer uma norma para todo o teste, dispondo de uma pequena amostragem. Se em vez de 1.000 pessoas, nossa amostragem tivesse 10.000, então a soma de todas as questões corretas distintas deveria ser equivalente à obtida por 35.000 pessoas com QI 100 ou uma pessoa com QI 205. Isso significa que usando esse método, com uma amostragem de apenas 10.000 pessoas aleatórias (média=100, topo=160), pode-se estabelecer uma norma confiável para toda a humanidade, isso, é claro, desde que o teste contenha problemas suficientemente difíceis, de modo que as 10.000 pessoas não possam acertar todas as questões, porque se um grupo com apenas 2.000 pessoas (por exemplo) for suficiente para acertar todas as questões do teste, significa que o teto não pode estar muito acima de 188 ou 189, e não adianta aumentar para 10.000 a amostragem, que o teto será inevitavelmente 188 ou 189. 
            Evidentemente, outro recurso de que podemos nos valer é usar populações seletas, em vez de grupos aleatórios, e com isso ter resultados ainda melhores. Por exemplo: aplicando os testes a apenas 100 membros aleatórios da Mensa, podemos normar um teste com teto de cerca de 187. Mas sempre devemos nos lembrar de que a soma das respostas certas de grupos com menos de 100 pessoas não deve cobrir todas as questões do teste. 
  
            Aplicando essa fórmula ao Mega Test e considerando os resultados de 520 pessoas, podemos concluir que o teto fica em torno de 180, em vez de 190, como sugerem os dados estatísticos. Mas é necessário considerar outros fatores envolvidos, principalmente o grau de dificuldade das questões. 
________________________________________ 
Nota: essa equação não pode ser usada em testes de múltipla escolha.
    Apêndice 1: 
            Sobre a equação P1/P2 = e^k(QI1-QI2) 

            [Nota: atribuímos a k o valor "0,1"] 
 
            Tomando 520 escores do Mega Test, obtidos empiricamente, e comparando-os com as previsões baseadas na equação acima, os resultados foram os seguintes: 

O número de pessoas que acertaram 2 questões foi 33. 
Duas questões correspondem a 111 de QI. 
O total de questões diferentes que essas 33 pessoas acertaram foi 13. 
O QI correspondente a uma única pessoa que acerta 13 questões é 136. 
O QI previsto com base na equação (supondo como correto o QI 111 para 2 acertos) seria 146. 
A diferença entre o QI estatístico e o QI forneceido pela equação Towers foi 10 pontos. 

O número de pessoas que acertaram 3 questões foi 37. 
Três questões correspondem a 116 de QI. 
O total de questões diferentes que essas 37 pessoas acertaram foi 23. 
O QI correspondente a uma única pessoa que acerta 23 questões é 148. 
O QI previsto com base na equação (supondo como correto o QI 116 para 3 acertos) seria 152. 
A diferença entre o QI estatístico e o QI forneceido pela equação Towers foi 4 pontos. 

Os demais resultados são fornecidos na tabela abaixo. 
A coluna A indica o número de pessoas no grupo. 
A coluna B indica o número de respostas certas de cada elemento do grupo. 
A coluna C indica o número total de respostas certas de todos os elementos do grupo. 
A coluna D indica o QI de cada elemento do grupo. 
A coluna E indica o QI correspondente ao número total de acertos do grupo. 
A coluna F indica o QI calculado com base na equação proposta. 
  

A
B
C
D
E
F
33
2
13
111
136
146
37
3
23
116
148
152
10
4
18
120
142
143
10
5
21
124
146
147
10
6
20
127
145
150
10
7
21
129
146
152
10
8
25
130
151
153
10
9
26
132
152
155
10
10
27
133
153
156
10
24
42
150
174
173
10
25
44
151
180
174
10
26
45
152
183
175
10
27
44
153
180
176
10
28
45
154
183
177
10
29
47
156
190
179
10
30
47
157
190
180
10
31
47
158
190
181
10
32
47
159
190
182
5 36 47 164 190 180
  
            No caso mais extremo, A diferença entre o QI estatístico e o QI forneceido pela equação Towers foi 11 pontos., e na maior parte das vezes a diferença oscila na faixa de 5 pontos. As maiores diferenças ocorrem justamente nas extremidades da tabela (2 questões certas ou 2 questões erradas). O que podemos concluir disso é que temos bons indícios para acreditar que a equação está fundamentalmente correta. Resta aplicá-la a outros testes, a fim de determinar com maior rigor o valor de k (que talvez varie de teste para teste), para corroborar ou, se necessário, retificar essa fórmula.
Voltar à página principal
sigma@ sigmasociety.com