terça-feira, 18 de outubro de 2016

Tabelas, gráficos e mapas das Eleições 2016

Resumo (tl;dr)

Resultados das eleições em Excel, pra quem não gosta dos CSVs do TSE.

Dados do TSE em formato Excel

A rigor, os dados sobre resultados das eleições são bem abertos e disponíveis no site do TSE.

Mas não é difícil encontrar alguém que tenha dificuldades em encontrar uma pesquisa específica ou trabalhar com os dados brutos que tem lá. Problemas com .csv (vírgulas, pontos, codificação), tabelas sem cabeçalho ou arquivos muito grandes (agrupados por estado) às vezes inviabilizam o trabalho, ou dão preguiça só de começar.

Se você se identificou com a descrição, pode gostar das tabelas abaixo, que estão formatadas de forma mais simples e preparadas para consultas mais rápidas usando o Excel ou o Google Sheets. Há também tabelas com coordenadas para gerar mapas de municípios, zonas eleitorais ou locais de votação no Tableau, Google Maps ou outro software de mapas.

Brasil

BR-Eleitos-PREF

Lista de prefeitos eleitos por município (5.506) no Brasil (1º turno) e candidatos (110) que foram ao 2º turno

Arquivo Excel (.xlsx)

Tabela no Google Docs

BR-Eleitos-PREF-Capitais

Lista de prefeitos eleitos nas capitais no Brasil (1º turno) e candidatos que foram ao 2º turno

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo

BR-Eleitos-PREF-Partido

Quantidade de prefeitos eleitos no Brasil por partido (1º turno)

Arquivo Excel (.xlsx)

Tabela no Google Docs

Gráficos: Prefeitos eleitos por partido 2012-2016

BR-Resultados-Situacao-Sexo

Quantidade de candidatos a prefeito e vereador por situação (eleito, não eleito e 2º turno) e por sexo nos estados

Arquivo Excel (.xlsx)

Tabela no Google Docs

Gráficos: Candidatas mulheres no Brasil

BR-Resultados-Situacao-Sexo-Municipios

Quantidade de candidatos a prefeito e vereador por situação (eleito, não eleito e 2º turno) e por sexo nos municípios

Arquivo Excel (.xlsx)

Tabela no Google Docs

Gráficos: Candidatas mulheres no Brasil

Matéria: Com número histórico, Curitiba é a 2ª capital que mais elegeu mulheres para o legislativo

Paraná

Paraná, em 2016:

  • 26.422 seções eleitorais
  • 5.116 locais de votação
  • 206 zonas eleitorais
  • 399 municípios

PR-Eleitos-PREF

Lista de prefeitos eleitos por município no Paraná (1º turno)

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo

PR-Resultados-VER-Situacao-Partido

Quantidade de candidatos a vereador por situação (eleito e não eleito) e por partidos nos municípios do Paraná (1º turno)

Arquivo Excel (.xlsx)

Tabela no Google Docs

Curitiba

Curitiba, em 2016:

  • 3.943 seções eleitorais
  • 414 locais de votação
  • 10 zonas eleitorais

Ctba-Eleitorado-abstencao-invalidos

Eleitorado por bairro em Curitiba, quantidade de votos inválidos (brancos e nulos) e abstenções por bairro

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo

Matéria: ‘Não voto’ iria para o 2º turno com Greca em dois de cada três bairros em Curitiba

Ctba-Eleitos-VER

Lista de vereadores eleitos em Curitiba

Arquivo Excel (.xlsx)

Tabela no Google Docs

Ctba-Resultados-PREF-Bairros

Resultados por candidato a prefeito (número de votos) nos bairros de Curitiba (68)(1º turno)

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo

Ctba-Resultados-PREF-Bairros-Fruet

Resultados do candidato a prefeito Gustavo Fruet por bairros (68) e zonas eleitorais (10) de Curitiba nas eleições de 2012 e 2016

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo: Resultados do Fruet em Curitiba 2012 x 2016

Matéria: Trunfo em 2012, região nobre de Curitiba retira 40% dos votos de Fruet neste ano

Ctba-Resultados-PREF-Secoes

Resultados por candidato a prefeito (número de votos) nas seções eleitorais (3.943) de Curitiba (1º turno)

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo: votação para prefeito em Curitiba por locais de votação

Ctba-Resultados-PREF-Zonas

Resultados por candidato a prefeito (número de votos) nas zonas eleitorais (10) de Curitiba (1º turno)

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapa interativo

Matéria: Greca vence em todas as zonas eleitorais de Curitiba; veja como foi em cada uma

Ctba-Resultados-VER

Resultados por candidato a vereador (número de votos) em Curitiba

Arquivo Excel (.xlsx)

Tabela no Google Docs

Mapas

Tabelas com coordenadas para gerar mapas no Tableau, Google Maps ou outro software que aceite dados georreferenciados.

Os arquivos com nome "Poligonos" são para criar mapas de polígonos personalizados (cloropleth) no Tableau.

Mapas eleitorais

Ver todos

Mapas gerais

Ver todos

Metodologia e fonte

Todos os dados são do TSE. A maioria das planilhas foram baixadas no dia do 1º turno das eleições (2/10/2016), no site do TSE, ou através do programa Divulga.

Seções eleitorais: As planilhas detalhadas por seção eleitoral foram disponibilizadas no Repositório de Dados Eleitorais 5 dias após o 1º turno, na sexta-feira dia 7/10/2016.

Locais de votação: No Paraná, os locais de votação foram disponibilizados pelo TRE-PR. Em Curitiba, os endereços do TRE-PR foram mapeados pelo Ippuc e disponibilizados em shapefile. A votação por local de votação é uma soma dos resultados em todas as seções eleitorais naquele local. Cruzando a tabela de votos por local com a de endereços, temos a localização de cada seção eleitoral.

Bairros: A votação por bairro é uma soma das votações de todos os locais de votação naquele bairro. Os locais de votação, por sua vez, são somas das votações nas seções eleitorais.

Cruzamento dos dados

Os cruzamentos mais complexos (aqueles que resultaram em tabelas maiores), como a situação dos candidatos por sexo em todos os municípios do Brasil, foram feitos através de consultas SQL, com as bases baixadas em .csv do Repositório.

Todos os outros cruzamentos foram feitos no Excel, com o uso da fórmula VLOOKUP (procv).

domingo, 17 de julho de 2016

Separe CNPJs e CPFs com o filtro do Excel

Como usar o filtro do Excel para preencher uma lista de valores em uma coluna nova.

Para facilitar a apuração para uma matéria, uma tabela de doações de campanha precisava ter uma coluna identificando os registros como CNPJ ou CPF.

Normalmente tabelas de prestação de contas vêm apenas com o número, e não especificam se a doação veio de uma pessoa física ou pessoa jurídica. O mesmo acontece em tabelas de gastos. Na verdade, se o documento veio identificado com nome ou razão social, você já pode ficar feliz. A Assembleia Legislativa do Paraná, por exemplo, publica a prestação de contas dos deputados estaduais sem identificação, apenas com o número.

Com um truque simples no excel é possível acrescentar uma coluna com a diferenciação:

Passo a passo detalhado abaixo:

Padrão de formatação de CPNJ/CPF

Geralmente, os registros de pessoa física e jurídica vem no seguinte formato:

Padrão de CNPJ

XX.XXX.XXX/0001-XX

14 dígitos

Padrão de CPF

XXX.XXX.XXX-XX

11 dígitos

O CNPJ tem barra e normalmente aquele "mil ao contrário", mas não é regra. O número de dígitos também difere entre os dois, mas talvez existam cnpjs ou cpfs fora do padrão. Desconfie sempre das tabelas.

Como diferenciar CNPJ de CPF

  1. Verifique a qualidade dos dados

    Passe o olho na tabela para verificar se informações parecidas estão formatadas do mesmo jeito.

    Neste caso a tabela estava bem organizada, os números estão formatados com um padrão correto (pontos, traços, barras, ...) e mesma quantidade de dígitos.

  2. Identifique um padrão para poder separar os dados

    Se a tabela não vem com uma coluna "Pessoa Física/Jurídica", é preciso criá-la. É possível fazer isso encontrando a diferença entre os dois tipos de número. Uma diferença fácil é a quantidade de dígitos, mas isso não é tão simples de "selecionar" no excel. Já a presença da barra (/) nas células de CPNJ é um padrão fácil de ser selecionado.

Como separar CNPJ e CPF no Excel

  1. Ative o filtro no Excel

    Excel - Ativar Filtro
    • Selecione a tabela toda (Ctrl + A / Cmd + A)
    • Certifique-se de que sua tabela não tem "buracos" (linhas ou colunas totalmente vazias). Se tiver, a seleção da tabela ou o filtro podem não funcionar. Se tiver dúvida, faça a seleção com o mouse.
    • Dados > Filtro (Ctrl + Shift + F / Cmd + Shift + F)
  2. Filtre os CNPJs

    Excel - Filtro ativado
    • Clique no filtro da coluna CPF/CNPJ (botão com a seta pra baixo no cabeçalho)
    • Digite a barra "/". Acho que no Windows a janela do filtro precisa de um OK a mais.
    • Quando o filtro funcionar, a tabela irá exibir apenas linhas nas quais as células da coluna selecionada contenham o caractere barra. Ou seja, neste caso, linhas referentes a CNPJs.
    • Quando o filtro está ativado, o número das linhas na esquerda muda de cor, para indicar que existem linhas que estão ocultas. O ícone do filtro também muda na coluna onde ele foi ativado.
  3. Crie uma coluna nova

    • Dê um nome à coluna nova "CNPJ ou CPF", "PF ou PJ", ou algo assim.
    • Ao lado do primeiro CNPJ encontrado, digite "CNPJ" ou "Pessoa Jurídica".
    • Preencha todas as células abaixo ("Fill down") com a mesma informação. Clique no quadradinho no canto da célula e arraste para baixo até o final da tabela.
    • Excel - Fill Down
    • Dica para um Fill Down mais rápido: se sua tabela está "sem buracos" (células vazias), dê dois cliques no quadradinho que ele irá se preencher até o final da tabela (ou até encontrar uma célula vazia à esquerda). Sempre vá até o final pra ver e garantir que deu certo.
  4. Limpe o filtro

    • abra o filtro novamente e "Limpar filtro" ou "selecionar tudo"
  5. Use o filtro na coluna nova

    • Agora que você já preencheu CNPJ na coluna nova, é só preencher "CPF" nas células que ficaram vazias.
    • Clique no filtro da coluna nova
    • Desmarque "CNPJ" e deixe marcadas a células vazias.
    • Digite CPF na primeira célula e faça o Fill Down novamente.
  6. Desative o filtro e pronto!

Avançado: Limpar listas grandes de CNPJs e CPFs

Essa parte é um epílogo um pouco mais avançado para quem usa Mac. O script limpa a formatação dos números (pontos, barras, traços) deixando só os dígitos e acrescentando uma coluna de texto identificando se é CNPJ ou CPF.

  • Use o TextWrangler (editor de texto para Mac)
  • Copie do Excel apenas a coluna de cnpjs e cpfs
  • Cole a lista no Textwrangler
  • Baixe esse applescript e aperte play.
  • A lista está pronta com os números limpos e uma coluna a mais
  • Insira uma coluna a mais no excel (já que agora são duas) e cole de volta o conteúdo lá.

terça-feira, 14 de junho de 2016

Tableau responsivo

Veja como fazer um arquivo do Tableau Public funcionar bem em telas pequenas e dispositivos touch screen, como em um smartphone (how to make a mobile responsive tableau dataviz).

Responsive Tableau Viz

Para quem tem pressa (TLDR)

Se você não tem tempo, leia os dois itens extremamente necessários:

Com isso, seu tableau já fica “flexível” para vários tamanhos. Agora tire um tempo para ver como fazer isso ficar bom:

Como fazer um tableau “mobile friendly”

Por padrão, um arquivo do Tableau não se adapta sozinho a uma tela de smartphone, mesmo que você deixe o tamanho “automático”. É preciso fazer alguns ajustes, e principalmente, pensar em simplificar a vida de quem vai visualizar e interagir com as informações numa tela limitada.

É provável que, com o Tableau, você não consiga um resultado 100% satisfatório e irrite algum usuário que vai tentar interagir com o que você produzir, principalmente à medida que a complexidade dos dados e funcionalidades aumenta.

Mas com as dicas a seguir é possível fazer algo bem aceitável. Detalhei bem o texto para explicar as razões de cada decisão, mas na correria, só os títulos e as imagens já devem ajudar:

Requisitos básicos

Não sei se precisa comentar, mas:

  • Publique sempre seu conteúdo em um dashboard (painel).

    Usando sheets (planilhas) soltas não tem como controlar e planejar com exatidão o que vai aparecer ou não no resultado publicado. Jogue as sheets num dashboard, ou em vários dashboards (vários dashboards podem ser publicados em abas, ou em uma “história”)

  • Use sempre o tipo de layout “tiled” (Lado a lado), e não “floating” (Flutuante)

    Porque sim. Não sei como objetos flutuantes irão se comportar com tamanhos diferentes de tela; parece que são mais imprevisíveis.

Agora, as dicas:

1. Um layout, várias larguras

Uma alternativa para atender a todos os tipos de usuário é criar duas versões, uma larga e uma estreita, e criar uma condicional (em css, js, …) para que o seu site exiba uma ou outra de acordo com o dispositivo que vai acessar. Parece uma solução ruim e trabalhosa.

Para facilitar o trabalho de quem vai projetar a visualização, prefiro pensar que o ideal é criar uma versão só que se adapte a vários tamanhos de tela.

Pra isso é preciso pensar primeiro na situação mais limitada – a tela pequena do celular na posição retrato–, e depois o restante fica mais simples de resolver.

E acredite, a limitação é boa para reduzir a quantidade de coisas desnecessárias que colocamos nas visualizações só porque “tem espaço”.

Exemplos

Veja alguns exemplos de dashboards preparados para funcionar em telas grandes e pequenas:

Abra no celular ou diminua a janela do navegador para ver como se comportam.

Todos esses exemplos foram pensados para funcionar em qualquer largura na faixa de 320px a 1000px de largura. Ou seja, a mesma informação consegue ser aberta em um pequeno Android Moto G, em um Iphone 6 plus, ou um computador desktop com tela widescreen.

2. Defina o tamanho do dashboard

  1. Escolha tamanho “Intervalo” (range) Defina o tamanho do dashboard
  2. Defina a largura menor: 320px (celular)
  3. Defina a largura máxima: 1000px (desktop)
  4. Use a mesma altura mínima e máxima. 800px e 800px, por exemplo. O tamanho vai depender da quantidade de coisa que você tiver ali dentro. Se as alturas não forem iguais, você corre o risco de criar mais uma rolagem interna desnecessária, quando estiver em uma tela menor.

Teste o tamanho

Definido o tamanho do dashboard, você pode testar como fica a visualização em diferentes tamanhos, ajustando a largura da janela do aplicativo do Tableau.

Bug

Depois de ajustar a janela ou clicar em algum lugar que não sei bem onde, o Tableau tem algum bug que faz com que o tamanho volte a ser “Automático”, ao invés do “Intervalo” já definido.

Defina de novo e bola pra frente.

Novo tamanho, novo código

Se mudar o tamanho do dashboard (ou o nome), copie um novo código de embed para não ter problemas.

3. Evite rolagens

Use o mínimo de rolagens possível.

O seu conteúdo já vai ser rolado na vertical, na maioria das vezes. Se tiver um pouco de altura, já fica maior do que o que cabe no celular e o leitor vai ter que rolar pra ver o conteúdo todo. Normal, é como funcionam os textos.

Além dessa rolagem vertical, que é quase inevitável, evite quaisquer outras rolagens desnecessárias, como rolagens horizontais, ou muitas listas de coisas dentro do dashboard.

O ideal é que todos os elementos caibam inteiros dentro do dashboard (mesmo que ele fique alto), e o leitor só precise usar a rolagem natural da página.

4. Pense horizontalmente

Para eliminar rolagens, você precisa aproveitar ao máximo espaço horizontal. Tente usar a largura completa para todos os elementos.

Exemplo de tableau responsivo

  • Evite a rolagem horizontal

    Se você fizer coisas mais largas que a tela do celular, o leitor além de ter que rolar na vertical, vai ter que rolar também na horizontal e vai ficar “sambando” dentro do gráfico, como se estivesse em um mapa.

  • Não coloque coisas lado a lado

    Esqueça a enorme quantidade de filtros que você podia colocar na lateral de um gráfico e ficava tão legal numa largura desktop. Simplifique, escolha um ou outro, e coloque o filtro antes ou depois do gráfico (acima ou abaixo)

  • Pense em elementos que ocupem a largura inteira

5. Ajuste os elementos

Faça os elementos se ajustarem sozinhos.

Por padrão, as sheets (planilhas) que você arrasta no dashboard (painel) tem o tamanho natural que o gráfico mesmo gerou ou o tamanho que você redimensionou lá na edição da planilha.

image

Quando você arrasta as sheets no dashboard, elas caem dentro de uma moldura (container). Conforme você redimensiona o container e o conteúdo dentro fica maior que o container, ele é cortado, ou gera rolagem.

  1. Clique nas opções do objeto (aquela seta minúscula, perto do X no canto superior direito)
  2. Ajustar > Exibição inteira

Há quatro opções de ajuste ali. Explico:

  • Normal: opção padrão. Tamanho original. Sujeito a corte ou rolagem não planejada.
  • Ajustar largura: ideal para listas. A altura fica original e a largura fica em “100%” do tamanho da janela. Ou seja, o tableau vai comprimir tudo o que você jogar ali na largura que o leitor tiver disponível para ver é bom para quando você quer manter uma rolagem vertical. Exemplo: Uma lista muito grande. Você garante que a largura toda fica visível (e o leitor vê todos os números sem precisar rolar para o lado), mas você já sabe que vai haver uma rolagem dentro do seu tableau.
  • Ajustar altura: evite. A altura fica comprimida ao espaço disponível. Vai gerar rolagem horizontal. Não costumo usar. Mas posso imaginar uma lista de fotos de políticos, como uma galeria, por exemplo. Ou um gráfico de barras muito horizontal.
  • Exibição inteira: o mais indicado. O conteúdo vai ser comprimido na altura e largura. nada vai ser cortado e não vai gerar rolagem. Preocupe-se apenas em deixar o container de um tamanho que o conteúdo seja legível. Ou o conteúdo simples o suficiente para o tamanho.

Conteúdo exibido por completo após o ajuste com “Exibição inteira”: Conteúdo exibido por completo após ajuste

6. Simplifique

Diminua o tamanho dos elementos

  • Use filtros condensados Filtro suspenso

  • Não exagere no tamanho de cada gráfico.

    Tente fazer coisas que caibam em uma rolagem de celular (para que o leitor não fique tendo que ir e voltar pra ler o mesmo gráfico)

Use menos elementos

  • Prefira menos elementos no layout

  • Personalize o tooltip (“dica de ferramenta”)

    Edite o texto padrão e deixe apenas as informações importants. Crie hierarquia entre elas. É um campo de layout livre.

  • Desabilite as opções de tooltip

    No canto da janela de edição do tooltip há um botão “Incluir botões de comando” (Include command buttons). A única função disso é habilitar mais botões para o usuário apertar sem querer e estragar tudo. Desmarque.

    command-buttons

  • Reduza o número de labels (rótulos)

    Prefira gráficos sem labels, ou com labels sucintas e simplificadas. Para alguns tipos de gráficos há a opção de mostrar rótulos apenas para alguns valores, como máx./mín. ou valores finais. Menos Labels

7. Deixe espaço para a rolagem

O tableau é um software muito bom. Tem funcionalidades poderosas. Mas a interação com um gráfico publicado é muito complicada e cheia de locais “onde não dá pra clicar”, coisas que você clica e some tudo, etc. No celular ou dispositivos touch screen, os problemas aumentam. A rolagem é especialmente triste.

O problema da rolagem

Veja meu sucesso tentando rolar a página em um dos exemplos que dei acima:

A experiência é trágica. O que era pra ser um simples scroll vira clique ou seleção de coisas. Se fosse um mapa, o resultado seria ainda pior. Mesmo a rolagem no desktop ainda é um problema quando encontra um conteúdo como um Google Maps no meio do caminho.

Solução

A única solução que encontrei é deixar uma lateral livre e torcer para que o usuário adivinhe que pode clicar ali para rolar sem estragar tudo.

Solução alternativa para o scroll no tableau

  1. No dashboard, arraste um novo objeto “Em branco” (blank) na lateral direita de tudo Inserir objeto em branco

  2. Redimensione a largura para ficar bem estreita, o suficiente para alguém conseguir usar o dedo para “arrastar” a tela no celular.

  3. Diminua a janela do aplicativo para ver como fica

8. Ajuste o código de embed

O código padrão do Tableau não funciona para vários tamanhos mesmo que você defina um tamanho flexível no seu dashboard. É preciso fazer dois ajustes:

  1. Esteja no dashboard a ser publicado antes de salvar
  2. Salve o Tableau Public.
  3. Na página que abrir no navegador, copie o código de compartilhar (Código inserido): Tableau - Embed code
  4. Encontre os dois lugares onde a largura é especificada no código e troque a medida por 100%.
  5. No exemplo abaixo:

    • width: 904px; vira width: 100%;
    • width='904' vira width='100%'
  6. O exemplo, antes do ajuste:

    script type='text/javascript' src='https://public.tableau.com/javascripts/api/viz_v1.js'></script><div class='tableauPlaceholder' style='width: 904px; height: 1295px;'><noscript><a href='#'><img alt=' ' src='https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ti&#47;TiroteiosnosEUA2013-2016&#47;Resumo&#47;1_rss.png' style='border: none' /></a></noscript><object class='tableauViz' width='904' height='1295' style='display:none;'><param name='host_url' value='https%3A%2F%2Fpublic.tableau.com%2F' /> <param name='site_root' value='' /><param name='name' value='TiroteiosnosEUA2013-2016&#47;Resumo' /><param name='tabs' value='yes' /><param name='toolbar' value='yes' /><param name='static_image' value='https:&#47;&#47;public.tableau.com&#47;static&#47;images&#47;Ti&#47;TiroteiosnosEUA2013-2016&#47;Resumo&#47;1.png' /> <param name='animate_transition' value='yes' /><param name='display_static_image' value='yes' /><param name='display_spinner' value='yes' /><param name='display_overlay' value='yes' /><param name='display_count' value='yes' /><param name='showTabs' value='y' /></object></div>

  7. Oculte as abas. Ultimamente, na Gazeta do Povo temos trabalhado com dashboards únicos. Quando é preciso mais de um, é uma opção legar criar uma nova “História”, que é um conjunto de dashboards. Para isso é bom garantir que as abas (dashboards, sheets e stories) fiquem escondidas na versão publicada. O Tableau até tem uma opção “show sheets as tabs”, mas ela já me decepcionou e não confio mais. Por isso é melhor garantir no código que elas não vão aparecer quando você inserir o código na sua página:

    • <param name='tabs' value='yes' vira <param name='tabs' value='no'
    • <param name='showTabs' value='y' vira <param name='showTabs' value='n'
  8. Não esqueça de copiar novo código se alterar o nome ou o tamanho do dashboard, e fazer esse ajuste novamente.

  9. Pronto.

Ajuste o código automaticamente

Essa parte é um epílogo um pouco mais avançado para quem usa Mac. É uma mão na roda se você tem que fazer esse processo de ajustar o código para publicar Tableaus frequentemente (nós fazemos isso em TODAS as publicações).

  • Use o mágico TextWrangler (editor de texto para Mac)
  • Cole o código de embed em um documento novo
  • Baixe esse applescript e aperte play
  • O código está pronto com os ajustes