Corrigir/atualizar scripts de datasets

[turicas]

Precisamos revisitar os scripts que capturam os dados dos principais datasets para termos todos os códigos disponíveis, uniformes e os dados mais recentes. Nota: ainda não é do escopo dessa tarefa implementar o datapackage, muito menos criar tarefas de atualização automática de dados (essa tarefa é uma "faxina" nos scripts e atualização maunal dos dados, etapa necessára antes das outras duas).

• socios-brasil e empresas-socias:

  • Consertar script
  • Atualizar metadados - criar novas tabelas: empresas, empresas_socias (do dataset "empresas_socias") e sociedades (renomear "socios") e renomear campos (CNPJ e razão social)
  • Importar novos dados

• genero-nomes:

  • Finalizar script
  • Liberar código
  • Gerar novos dados
  • Importar novos dados

• salarios-magistrados:

  • Consertar script para pegar todos os dados
  • Baixar todos os dados históricos
  • Atualizar metadados - criar tabela "remuneracao"
  • Importar novos dados

• cursos-prouni:

  • Atualizar metadados - criar tabelas "cursos" e "campi"
  • Importar novos dados

• balneabilidade-bahia:

  • Atualizar metadados - criar tabelas "boletins" e "balneabilidade"
  • Importar novos dados

• gastos-deputados:

  • Atualizar metadados - criar tabela "gastos_camara"
  • Baixar todos os dados históricos
  • Importar novos dados

• gastos-diretos:

  • Atualizar metadados - criar tabela "gastos_diretos"
  • Baixar todos os dados históricos
  • Importar novos dados

• eleicoes-brasil, votacoes, filiados-partidos, contas-eleicoes:

  • (filiados) Melhorar limpeza de dados, como data de nascimento
  • (filiados) Disponibilizar script
  • (candidatos) Revisar e disponibilizar script
  • (votacoes) Revisar e disponibilizar script
  • (candidatos) Revisar e disponibilizar script
  • (doacoes) Criar e disponibilizar script
  • Atualizar metadados: transformar datasets em tabelas de um só dataset "Eleições"
  • Baixar todos os dados
  • Importar todos os dados

• documentos-brasil:

  • Refazer script com base nos novos códigos/formatos
  • Liberar código
  • Gerar novos dados
  • Importar novos dados

• fogo-cruzado:

  • Criar metadados
  • Baixar dados atuais
  • Importar dados

[augusto-herrmann]

O dataset de Sócios das Empresas Brasileiras precisa ser atualizado com o arquivo disponibilizado pela Receita Federal em novembro de 2018.

Ele contém o CPF mascarado dos sócios, e ainda novos campos como CNAE, endereço, porte da empresa, entre outros.