Estatística e dança

(Via Boeing Boeing)

Sobre ajuste: o mais importante problema científico

Quando um pesquisador possui um número de informações e decide construir um modelo para explicar os resultados, o resultado pode trazer um sobre ajuste (overfitting em inglês). Um software estatístico poderá calcular várias curvas e determinar aquela que melhor descreve seus dados. Assim, para um conjunto de dados, o pesquisador pode calcular uma regressão linear simples, múltipla, exponencial, logaritma, etc.

O problema em buscar o melhor modelo é que no conjunto de dados que o pesquisador estiver usando deverão existir alguns que são “ruídos”, em razão de erros de medição, por exemplo. Esses ruídos tendem a desvirtuar o resultado, mesmo que a qualidade do modelo seja elevada.

O sobre ajuste é um problema: apesar do modelo parecer muito bom depois dos cálculos inicias, quando é testado na realidade revela-se ruim.

O sobre ajuste é muitas vezes ignorado pelos pesquisadores por duas razões: (a) desconhecimento do problema; (b) necessidade de ter dois momentos, um para determinação das variáveis e outro para sua comprovação.

Para Ler mais:
SILVER, Natan. O sinal e o ruído. Capitulo 5. São Paulo: Intrínseca, 2012.

Estatística

Um dos livros clássicos de estatística chama-se How to Lie with Statistics, que mostra exemplos de manipulação de dados. O caso a seguir, apresentado pelo Estado de S Paulo (Governo de Minas omite estatísticas ao promover 'choque de gestão'  tucano, Daniel Bramatti, 10 de junho de 2013, A4), lembra um pouco isto. Trata-se da propaganda do governo do estado de Minas Gerais:

A maior distorção ocorre nos dados sobre segurança pública. Um gráfico com a taxa de homicídios por 100 mil habitantes mostra que, de 2004 a 2010, houve aumento de 1,4% nas mortes no Brasil e redução de 18% em Minas. Mas o governo tucano não começou em 2004, o ponto inicial da série histórica do gráfico. O choque de gestão foi aplicado em 2003 e, portanto, seus efeitos tem de ser medidos em relação ao ano anterior - o último do mandato de Itamar Franco, antecessor de Aécio.

Ao tomar-se 2002 como ponto de início da série histórica, o quadro que se revela é o oposto do que o governo estadual tenta propagandear: durante a gestão tucana, houve aumento de 14,1% nos homicídios em Minas e redução de 3,1% no País todo.

Nos dois primeiro anos do governo Aécio foram registrados 8 mil assassinatos em Minas, 2,7 mil (ou 34%) a mais do que nos dois anos anteriores. Somente então as ocorrências começaram a baixar - mas o gráfico publicado pelo governo, ao omitir a explosão inicial, sugere uma queda contínua.

A arte da visualização de dados

Usando método quantitativo 4

Um complemento importante na utilização de métodos quantitativos em trabalhos acadêmicos é o software. Quais os critérios que devo usar para selecionar o programa computacional adequado para a minha pesquisa? Obviamente este texto não possui validade para aquelas situações onde a escolha do software é feita de maneira compulsória por terceiros. Uma situação deste tipo é quando o professor adota um programa na sua disciplina.

A seguir apresentamos cinco características fundamentais que devem ser levadas em consideração na escolha:

1 – O que você pretende fazer?

A escolha do software depende, e muito, das suas necessidades. Provavelmente em muitos casos uma planilha eletrônica resolve a maioria dos casos. Livros como Christoffersen (Elements of Financial Risk Management) mostram que é possível, com o Excel, estudar profundamente modelos de risco. Benninga fez o mesmo na sua obra (Financial Modelling) sobre avaliação. Isto prova nosso argumento.

Entretanto, algumas aplicações demandam um programa mais sofisticado, que você não consegue fazer somente com a planilha eletrônica. Se você está interessado em simulações, o Crystall Ball é recomendado; análise multivariada é melhor no SPSS; aplicações com series temporais é mais adequado no Eviews e assim por diante.

2 – Você quer simplicidade ou impressionar?

Como a maioria das pessoas já conhece uma planilha eletrônica, um software estatístico talvez não seja recomendável para quem deseja simplicidade. Mas no ambiente acadêmico pode ser importante impressionar o público alvo. Neste caso, revelar que você fez seus testes numa planilha não é aconselhável. É muito mais sofisticado dizer que usou o SPSS, versão 17.0. E quanto mais atual a versão do software, mais impressionada ficará a plateia.

3 – Você tem limitações orçamentárias ou não usa produtos piratas?

Um software estatístico é muito dispendioso. Comprá-lo pode comprometer seu orçamento, exceto se seu trabalho consegue obter a licença. Se você não usa produtos piratas, a escolha pode recair por programa mais baratos ou gratuitos. Uma boa alternativa para o Eviews é o Gretl, que é um software livre de boa qualidade. Mesmo para o Excel, o BR Office ou o Docs do Google são alternativas gratuitas.

4 – Você irá necessitar de ajuda?

Este é um ponto relevante, geralmente desprezado, na escolha. Provavelmente você irá encontrar algumas dificuldades na utilização do software. Se você conhece um amigo que já usa um desses programas, isto pode ser relevante nos momentos de desesperos. Outra possibilidade é escolher um software que possua uma referência adequada. Nos dias de hoje é muito comum que os livros de métodos quantitativos sejam acompanhados de tópicos relacionados a utilização de softwares. Algumas obras enfatizam isto de forma bem marcante. O livro excelente de Fields (Descobrindo a Estatística Usando o SPSS, Artmed) é um exemplo disto: ele mostra como usar a técnica de maneira muito didática e acompanhada de como você pode fazer a aplicação no SPSS, um dos softwares mais populares.

5 – Você tem dificuldade com a curva de aprendizagem?

Um dos grandes problemas na utilização das máquinas (computadores, principalmente) é o nosso processo de adaptação aos comandos que já conhecemos. Quando mudamos de editor de texto, por exemplo, temos uma dificuldade de saber onde estão os comandos que precisamos. O mesmo ocorre com os softwares na área quantitativa. Se você já conhece os comandos de uma planilha eletrônica, poderá ter um pouco de dificuldade de usar um software como o R, mas a adaptação talvez seja mais rápida no Cristall Ball. Se você gosta de desafios, a primeira opção é aconselhável, já que em muitos casos você deve inserir os comandos que a máquina irá executar. Apesar de muitos programas apresentarem uma “aparência” próxima aos produtos da Microsoft, não deixe de levar isto em consideração.

Outros textos sobre este assunto: Uso do editor de texto, técnicas mais usadas e método que devo usar

Rir é o melhor remédio

Adaptado daqui

Frase

Ele usa estatísticas como um bêbado usa postes de iluminação - para apoio em vez de iluminação.

Andrew Lang (1844-1912)

Números (não) mentem

Na década cinquenta Darrell Huff lançou um livro que fez muito sucesso: How to lie with Statistics. É um livro pequeno, mas muito interessante (tenho a edição de 1993). Mais recentemente, Paulos também discutiu a ignorância que as pessoas têm com os números (li o interessante A Mathematician Plays the Stock Market)

Seife, em “Os números (não) mentem”, trabalha com a mesma ideia: tenta mostrar como a matemática pode ser enganosa e manipulada. A quantidade de exemplos é bastante interessante. O autor mostra as “falácias matemáticas” em diversas áreas: na pesquisa de opinião, nas eleições, na justiça etc. É um livro muito interessante para o leitor que deseja conhecer melhor os erros que somos submetidos (ou que as pessoas cometem) quando lidam com os números. Algumas discussões são empolgantes. Fatos curiosos são narrados ao longo da obra, como o projeto de lei de um senador de Indiana em que o número PI seria arredonda para 3,2. Ou o discurso que o presidente dos Estados Unidos iria ler quando os astronautas da Apolo 11 estivessem mortos: existia um cálculo de probabilidade onde a chance de sobrevivência dos astronautas, ao tentarem pisar na lua, seria mínima.

Como aspecto negativo eu cito dois. Primeiro, o texto perde um pouco de fôlego no seu final, talvez em decorrência da longa discussão sobre o voto distrital – uma realidade dos EUA que não nos interessa muito. Segundo, é o fato de que outros aspectos onde a matemática tem sido usada de maneira ardilosa. Veja o capítulo 8, Propaganda baseada em Números, onde a discussão sobre o uso da matemática na publicidade e sim o uso de números na política.

Rir é o melhor remédio

Fonte: Aqui. Vale a pena dar uma olhada nas tirinhas. São ótimas !!

Rir é o melhor remédio

Perceberam? [Clique na imagem para melhor resolução.]
No rodapé está escrito mais ou menos isto:
Este capítulo poderia ter sido chamado de “Introdução”, mas ninguém lê a introdução e nós queríamos que você lesse isto. Sentimos-nos seguros em admitir tal fato aqui, na nota de rodapé, porque, igualmente, ninguém lê as notas de rodapé.

Fonte: "Stats: Data and Models: International Edition”. Richard D. De Veaux; Paul F. Velleman; David E. Bock.

Correlação e Causalidade

Sobre correlação e causalidade (vide aqui uma das últimas postagens), os gráficos abaixo explicam o assunto:

Adaptado daqui

Fórmula para mudar o ensino da matemática

Alguém sempre pergunta ao professor de matemática, "Será que que vou usar Cálculo na vida real?" E para a maioria de nós, de acordo Arthur Benjamin, a resposta é não. Ele oferece uma proposta audaciosa sobre como tornar o ensino da matemática relevante na era digital.

Estatística

O texto acima, com a fota da Marilyn Monroe, comenta que a mulher é mensurada por coisas que não pode controlar, como idade. Por isto, se uma mulher está sendo medida, que seja por coisas que ela possa controlar. E finaliza, "como toda mulher sabe, as medições são apenas estatísticas e estatística mente"

Correlação

Ao comentar sobre o novo livro de Daniel Kahneman este texto fez a seguinte observação:

As Mr. Kahneman notes, the year-to-year correlation between the performance of the vast majority of funds is barely above zero, which suggests that most successful managers are banking on luck, not talent.


Isto não faz sentido, já que tudo leva a crer que Kahneman estava afirmando que o desempenho dos fundos, através da sua rentabilidade, não deveria ser muito diferente. Ou seja, não existiria um fundo ganhador. O termo correlação indicaria, neste caso, uma correlação próxima de um.

Síndrome da Caixa Preta

Embora a maioria dos administradores reconheça os benefícios dos modelos, os gerentes-gerais muitas vezes veem o processo de modelagem como uma "arte obscura" a ser praticada somente por matemáticos e estatísticos.

Posteriormente, com o advento do computador pessoal e o aumento do poder
computacional tem-se acesso à softwares que modelam, estimam e realizam previsões; esse fácil acesso e a utilização desses softwares gerenciais levam também a um problema que deve ser evitado: Síndrome da caixa preta.

Síndrome da caixa preta: A síndrome da caixa preta ocorre quando o
tomador de decisão não se preocupa ou ignora como o modelo funciona, preocupando-se somente com resultados.

Esse tipo de atitude pode levar ao uso incorreto dos modelos; nesse caso os
riscos e erros associados à tomada de decisão são ignorados ou mesmo subestimados,levando assim a uma inferência errônea.

Fonte: Pedro Henrique Melo Albuquerque in Apostila de Métodos e Modelos Quantitativos de Decisão 1

Como detectar uma bolha de ativos?

O artigo institulado: "How to Detect an Asset Bubble", propõem técnicas não paramétricas para detecção de bolhas de ativos:

Resumo :

After the 2007 credit crisis, nancial bubbles have once again emerged as a topic of current concern. An open problem is to determine in real time whether or not a given asset's price process exhibits a bubble. Due to recent progress in the characterization of asset price bubbles using the arbitrage-free martingale pricing technology, we are able to propose a new methodology for answering this question based on the asset's price volatility. We limit ourselves to the special case of a risky asset's price being modeled by a Brownian driven stochastic di erential equation. Such models are ubiquitous both in theory and in practice. Our methods use sophisticated volatility estimation techniques combined with the method of reproducing kernel Hilbert spaces. We illustrate these techniques using several stocks from the alleged internet dot-com episode of 1998 - 2001, where price bubbles were widely thought to have existed. Our results support these beliefs.

Links

Faça suas compras de Natal pela Internet

Dicas para não errar nas compras de natal pela internet

O que um prático necessita saber sobre regressão

Uso de software na fraude do Panamericano

Piada pronta: Governador anuncia a mulher na Secretaria da Família

Livro atualizado dos Princípios de Contabilidade e Normas Brasileiras de Contabilidade

As partes relacionadas nas demonstrações contábeis

Salário Médio

Apesar do aumento das contratações este ano, os trabalhadores do setor estão ganhando menos. De janeiro a setembro, a remuneração média dos admitidos (R$ 2.159,15) foi 38,28% inferior à dos desligados (R$ 3.498,38).

Pesquisa revela que bancos geraram mais empregos, mas reduziram salário médio - (Agência Brasil) - 8 de dezembro de 2010

A rigor o fato dos demitidos terem um salário superior aos contratados não permite concluir que o salário médio diminuiu. Seria necessário verificar o que ocorreu com o salário daqueles que ainda trabalham nas instituições financeiras.

Transferência Federal e Corrupção

Transferência federal gera corrupção, diz pesquisa
FERNANDO DANTAS Agencia Estado - 29/3/2010

A corrupção nos municípios brasileiros, que já é alta, sofre um forte impacto para cima quando as transferências federais aumentam. O que sempre foi uma crença intuitiva para muitas pessoas agora foi demonstrado estatisticamente, sendo medido de forma precisa em um trabalho de quatro economistas da Universidade Bocconi, de Milão, incluindo a brasileira Fernanda Brollo.

De acordo com o estudo, chamado de "A Maldição dos Recursos Políticos", um aumento de 10% nas transferências federais para os municípios brasileiros provoca uma alta da incidência de corrupção "em sentido amplo" de 12 pontos porcentuais. Mais especificamente, o porcentual de prefeitos que tiveram pelo menos um caso de corrupção saltaria de 71% para 83%, dentro de uma amostra de 606 gestões municipais aleatoriamente selecionadas para serem fiscalizadas no programa "Fiscalização de Recursos Federais a partir de Sorteios Públicos", da Controladoria-Geral da União (CGU).

O trabalho também mostra que o número de prefeituras com pelo menos um caso de corrupção em sentido estrito (mais grave), que corresponde a 42%, saltaria para 51,1% caso as transferências subissem 10%. Também haveria uma alta de 26% no número médio de casos de corrupção estrita por município. Naquela amostra, há 7,3 casos para cada 10 municípios, e o número subiria para 9,2 para cada 10.

Na definição dos autores, a corrupção em sentido amplo inclui, além das ocorrências mais graves, práticas que podem às vezes ser interpretadas como má gestão, tais como o não cumprimento de todos os requisitos e as etapas de uma licitação ou a incapacidade de comprovação de todas as despesas. A corrupção "estrita", mais grave, é composta por práticas fortemente ilegais de licitação, fraudes, favoritismo e superfaturamento.

Links

Variaveis instrumentais sob ataque

Idade e produtividade

O fim do despertador

Fotos adulteradas

Luz e sombra: um vídeo bonito

Um gráfico fantástico

Clubes brasileiros faturam