Mapeamento automatizado de cidades

[trevineju]

Com o amadurecimento do projeto, passamos a perceber alguns padrões de layout (saiba mais sobre sistemas replicáveis) e nas URLs dos sites.

Exemplos: Percebemos que os casos de cidades que conhecemos do sistema replicável DOEM (código da classe base: doem.py), as URLs são:

https://doem.org.br/ba/acajutiba
https://doem.org.br/ba/mascote

Já os casos de cidades do sistema replicável Instar (código da classe base: instar.py), as URLs são:

https://www.valinhos.sp.gov.br/portal/diario-oficial
https://www.vinhedo.sp.gov.br/portal/diario-oficial

Nós já conhecemos alguns destes sistemas replicáveis (já integrados no projeto ou nas metas de desenvolvimento). Podemos explorar o padrão de URL de cada um desses sistemas para verificar se o site existe. Com isso, passamos a conhecer melhor o panorama de sites e adicionar cidades com mais facilidade, potencializando o crescimento do QD.

Checklist

Abaixo, segue a lista dos sistemas conhecidos para irmos marcando como completo conforme avançamos. Eles estão agrupados pelo critério de facilidade de usar.

(1º) Sistemas já no repositório (em produção):

• DOEM
• DOSP
• Instar
• Siganet
• APlus
• AdminLTE

(2º) Sistemas ainda não integrados (por estarem em revisão, código legado ou não desenvolvidos)

• AjaxPro
• DIOENET
• aDiario
• DIONET
• SAI/IMAP
• Imprensa Oficial
• SIGPUB
• FECAM
• invictaweb
• agape

[trevineju]

No repositório, há algumas issues de contribuições que dialogam com esta issue. Estou fechando-as, já que o esforço está sendo concentrado aqui, porém elas tem relevantes informações de referência para validação do mapeamento:

• multiple-gazette sites / sites com vários diários #394 (lista de sistemas)
• Prefeituras com DO Padrão - Estado da Bahia #401 (mapeamento IMAP e IBDM)
• Create base spider for portaldatransparencia.com.br #353 (mapeamento portal da transparência)
• Other cities from DiOE #461 (mapeamento DOSP)

[AlexJBSilva]

Sugiro incluir mais um sistema replicável: Atende para mapear as cidades com DOs disponibilizaos no 'sistema' Atende.net desenvolvido pela IPM Sistemas.

Edit: O nome IPMS que havia sugerido poderia causar confusão com o mapeador IPM que já existe.

url = f"{protocol}://{city}.atende.net"

Exemplo de cidades nesse sistema:

• Campo Mourão: https://campomourao.atende.net
• Gravataí: https://gravatai.atende.net

[AlexJBSilva]

Sugiro incluir mais um sistema replicável: Atende para mapear as cidades com DOs disponibilizaos no 'sistema' Atende.net desenvolvido pela IPM Sistemas.

Iniciei o desenvolvimento do mapeador Atende.
Está em execução desde ontem à noite e, no momento, ainda não cobriu a metade dos municípios: [2500/5570].
Então, ainda vou trabalhar em melhorias, como buscar apenas o HTTPS.

E já vi que a validação vai apresentar alguns 'falso positivos' pois algumas páginas apresentam apenas um popup com a informação de que "não existem diários disponíveis".

Edit: PR #1043 disonível para revisão.

[trevineju]

Mapeamento será acomodado no repositório https://github.com/okfn-brasil/mapeamento-de-sites