Mantém o main_ingress atualizado com conteúdo de main (#427)

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401)

* Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc  (#402)

* Adiciona Journal.title

* Modifica os atributos de journal.models.Owner e Publisher

* Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator

* Adiciona migrações de banco de dados relacionados a journal

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403)

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração

* Adiciona os parâmetros journal_acron e publication_year

* Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405)

* Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico

* Atualiza packtools versão 3.4.0 para ter XMLWithPre.order
Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico

* Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml

* Evita guardar versões anteriores dos arquivos

* Cria o procedimento de corrigir o valor do Pid v2 (#410)

* Cria PidProviderXML.fix_pid_v2

* Cria FixPidV2 para controlar o que foi corrigido no upload e no core

* Cria FixPidV2ModelAdmin

* Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled

* Cria APIPidProviderFixPidV2Error

* Cria provider.requester.PidRequester.fix_pid_v2

* Cria SPSPkg.fix_pid_v2

* Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package

* Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid

* Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree

* Adiciona a migração correspondente ao modelo FixPidV2

* Corrige ausencia de pid v3 no xml submetido do upload para o core (#411)

* Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files

* Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado

* Distingue status de demanda de registro e status do registro

* Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de  xml_with_pre com os valores fornecidos pelo Core

* Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin

* Atualiza dependencias base.txt e production.txt (#409)

* Comenta app captcha

* Atualiza dependencias

---------

Co-authored-by: Roberta Takenaka <[email protected]>

* Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415)

* Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos

* Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento

* Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros

* Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid

* Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid

* Ajusta PidProviderXML._add_other_pid

* Remove PidProviderXML._complete_pids excedente

* Corrige PidProvider._add_pid_v3 e _add_pid_v2

* Corrige PidProviderXML.is_registered

* Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids

* Modifica PidProviderXML.register

* Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3

* Melhora _process_post_xml_response

* Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno

* Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core

* Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416)

* Cria a classe PidProviderEndpoint, inline de PidProviderConfig

* Modifica o modo de obter fix_pid_v2_url

* Adiciona modelo PidProviderEndpoint

* Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417)

* Evita que SPSPkg armazene arquivos em excesso (#418)

* Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419)

* Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável

* Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado

* Melhora ordem dos itens do menu (#408)

* Refatora a funcionalidade da ordem do menu

* Reordena menu itens padrao do wagtail e remove algum deless

* Insere funcao get_menu_order em menu_order

* Altera a ordem dos app

* Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420)

* Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin

* Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc

* Adiciona as migrações de banco de dados

* Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422)

* Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo

* Adiciona Article.data, Issue.data, Journal.data

* Adiciona retorno às função que criam instâncias de Article, Issue e Journal

* Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados

* Aplica black

* Adiciona

* Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML

* Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS

* Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3

* Adiciona o parâmetro compression em ZipFile

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Corrige ausência de importação de ZIP_DEFLATED

* Adiciona o atributo order para a listagem dos itens na área administrativa

* Adiciona as migrações de banco de dados

* Adiciona detalhes do processamento da adição de arquivos no minio

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400)

* Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR

* Cria/Edita Package.get, create_or_update, _add_validation_result

* Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?)

* Cria testes para upload.controller.*

* Adiciona a migração de banco de dados por criar novos valores de choices

* Corrige ausência de definição de variáveis

* Atualiza main_ingress com main (#425)

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401)

* Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc  (#402)

* Adiciona Journal.title

* Modifica os atributos de journal.models.Owner e Publisher

* Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator

* Adiciona migrações de banco de dados relacionados a journal

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403)

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração

* Adiciona os parâmetros journal_acron e publication_year

* Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405)

* Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico

* Atualiza packtools versão 3.4.0 para ter XMLWithPre.order
Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico

* Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml

* Evita guardar versões anteriores dos arquivos

* Cria o procedimento de corrigir o valor do Pid v2 (#410)

* Cria PidProviderXML.fix_pid_v2

* Cria FixPidV2 para controlar o que foi corrigido no upload e no core

* Cria FixPidV2ModelAdmin

* Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled

* Cria APIPidProviderFixPidV2Error

* Cria provider.requester.PidRequester.fix_pid_v2

* Cria SPSPkg.fix_pid_v2

* Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package

* Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid

* Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree

* Adiciona a migração correspondente ao modelo FixPidV2

* Corrige ausencia de pid v3 no xml submetido do upload para o core (#411)

* Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files

* Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado

* Distingue status de demanda de registro e status do registro

* Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de  xml_with_pre com os valores fornecidos pelo Core

* Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin

* Atualiza dependencias base.txt e production.txt (#409)

* Comenta app captcha

* Atualiza dependencias

---------

Co-authored-by: Roberta Takenaka <[email protected]>

* Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415)

* Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos

* Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento

* Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros

* Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid

* Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid

* Ajusta PidProviderXML._add_other_pid

* Remove PidProviderXML._complete_pids excedente

* Corrige PidProvider._add_pid_v3 e _add_pid_v2

* Corrige PidProviderXML.is_registered

* Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids

* Modifica PidProviderXML.register

* Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3

* Melhora _process_post_xml_response

* Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno

* Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core

* Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416)

* Cria a classe PidProviderEndpoint, inline de PidProviderConfig

* Modifica o modo de obter fix_pid_v2_url

* Adiciona modelo PidProviderEndpoint

* Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417)

* Evita que SPSPkg armazene arquivos em excesso (#418)

* Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419)

* Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável

* Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado

* Melhora ordem dos itens do menu (#408)

* Refatora a funcionalidade da ordem do menu

* Reordena menu itens padrao do wagtail e remove algum deless

* Insere funcao get_menu_order em menu_order

* Altera a ordem dos app

* Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420)

* Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin

* Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc

* Adiciona as migrações de banco de dados

* Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422)

* Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo

* Adiciona Article.data, Issue.data, Journal.data

* Adiciona retorno às função que criam instâncias de Article, Issue e Journal

* Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados

* Aplica black

* Adiciona

* Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML

* Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS

* Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3

* Adiciona o parâmetro compression em ZipFile

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Corrige ausência de importação de ZIP_DEFLATED

* Adiciona o atributo order para a listagem dos itens na área administrativa

* Adiciona as migrações de banco de dados

* Adiciona detalhes do processamento da adição de arquivos no minio

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400)

* Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR

* Cria/Edita Package.get, create_or_update, _add_validation_result

* Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?)

* Cria testes para upload.controller.*

* Adiciona a migração de banco de dados por criar novos valores de choices

* Corrige ausência de definição de variáveis

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

---------

Co-authored-by: Samuel Veiga Rangel <[email protected]>

* Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (#426)

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401)

* Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc  (#402)

* Adiciona Journal.title

* Modifica os atributos de journal.models.Owner e Publisher

* Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator

* Adiciona migrações de banco de dados relacionados a journal

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403)

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração

* Adiciona os parâmetros journal_acron e publication_year

* Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405)

* Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico

* Atualiza packtools versão 3.4.0 para ter XMLWithPre.order
Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico

* Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml

* Evita guardar versões anteriores dos arquivos

* Cria o procedimento de corrigir o valor do Pid v2 (#410)

* Cria PidProviderXML.fix_pid_v2

* Cria FixPidV2 para controlar o que foi corrigido no upload e no core

* Cria FixPidV2ModelAdmin

* Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled

* Cria APIPidProviderFixPidV2Error

* Cria provider.requester.PidRequester.fix_pid_v2

* Cria SPSPkg.fix_pid_v2

* Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package

* Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid

* Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree

* Adiciona a migração correspondente ao modelo FixPidV2

* Corrige ausencia de pid v3 no xml submetido do upload para o core (#411)

* Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files

* Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado

* Distingue status de demanda de registro e status do registro

* Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de  xml_with_pre com os valores fornecidos pelo Core

* Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin

* Atualiza dependencias base.txt e production.txt (#409)

* Comenta app captcha

* Atualiza dependencias

---------

Co-authored-by: Roberta Takenaka <[email protected]>

* Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415)

* Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos

* Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento

* Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros

* Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid

* Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid

* Ajusta PidProviderXML._add_other_pid

* Remove PidProviderXML._complete_pids excedente

* Corrige PidProvider._add_pid_v3 e _add_pid_v2

* Corrige PidProviderXML.is_registered

* Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids

* Modifica PidProviderXML.register

* Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3

* Melhora _process_post_xml_response

* Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno

* Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core

* Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416)

* Cria a classe PidProviderEndpoint, inline de PidProviderConfig

* Modifica o modo de obter fix_pid_v2_url

* Adiciona modelo PidProviderEndpoint

* Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417)

* Evita que SPSPkg armazene arquivos em excesso (#418)

* Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419)

* Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável

* Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado

* Melhora ordem dos itens do menu (#408)

* Refatora a funcionalidade da ordem do menu

* Reordena menu itens padrao do wagtail e remove algum deless

* Insere funcao get_menu_order em menu_order

* Altera a ordem dos app

* Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420)

* Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin

* Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc

* Adiciona as migrações de banco de dados

* Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422)

* Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo

* Adiciona Article.data, Issue.data, Journal.data

* Adiciona retorno às função que criam instâncias de Article, Issue e Journal

* Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados

* Aplica black

* Adiciona

* Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML

* Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS

* Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3

* Adiciona o parâmetro compression em ZipFile

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Corrige ausência de importação de ZIP_DEFLATED

* Adiciona o atributo order para a listagem dos itens na área administrativa

* Adiciona as migrações de banco de dados

* Adiciona detalhes do processamento da adição de arquivos no minio

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400)

* Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR

* Cria/Edita Package.get, create_or_update, _add_validation_result

* Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?)

* Cria testes para upload.controller.*

* Adiciona a migração de banco de dados por criar novos valores de choices

* Corrige ausência de definição de variáveis

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Aplica black

* Cria função  para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros

* Associa por inferência o tipo de impacto de cada tipo de erro

* Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário

* Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML

* Remove a verificação de article e issue no formulário

* Troca a tarefa que executará as validações

---------

Co-authored-by: Samuel Veiga Rangel <[email protected]>

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400)

* Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR

* Cria/Edita Package.get, create_or_update, _add_validation_result

* Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?)

* Cria testes para upload.controller.*

* Adiciona a migração de banco de dados por criar novos valores de choices

* Corrige ausência de definição de variáveis

* Atualiza main_ingress com main (#425)

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401)

* Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc  (#402)

* Adiciona Journal.title

* Modifica os atributos de journal.models.Owner e Publisher

* Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator

* Adiciona migrações de banco de dados relacionados a journal

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403)

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração

* Adiciona os parâmetros journal_acron e publication_year

* Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405)

* Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico

* Atualiza packtools versão 3.4.0 para ter XMLWithPre.order
Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico

* Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml

* Evita guardar versões anteriores dos arquivos

* Cria o procedimento de corrigir o valor do Pid v2 (#410)

* Cria PidProviderXML.fix_pid_v2

* Cria FixPidV2 para controlar o que foi corrigido no upload e no core

* Cria FixPidV2ModelAdmin

* Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled

* Cria APIPidProviderFixPidV2Error

* Cria provider.requester.PidRequester.fix_pid_v2

* Cria SPSPkg.fix_pid_v2

* Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package

* Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid

* Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree

* Adiciona a migração correspondente ao modelo FixPidV2

* Corrige ausencia de pid v3 no xml submetido do upload para o core (#411)

* Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files

* Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado

* Distingue status de demanda de registro e status do registro

* Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de  xml_with_pre com os valores fornecidos pelo Core

* Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin

* Atualiza dependencias base.txt e production.txt (#409)

* Comenta app captcha

* Atualiza dependencias

---------

Co-authored-by: Roberta Takenaka <[email protected]>

* Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415)

* Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos

* Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento

* Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros

* Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid

* Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid

* Ajusta PidProviderXML._add_other_pid

* Remove PidProviderXML._complete_pids excedente

* Corrige PidProvider._add_pid_v3 e _add_pid_v2

* Corrige PidProviderXML.is_registered

* Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids

* Modifica PidProviderXML.register

* Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3

* Melhora _process_post_xml_response

* Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno

* Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core

* Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416)

* Cria a classe PidProviderEndpoint, inline de PidProviderConfig

* Modifica o modo de obter fix_pid_v2_url

* Adiciona modelo PidProviderEndpoint

* Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417)

* Evita que SPSPkg armazene arquivos em excesso (#418)

* Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419)

* Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável

* Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado

* Melhora ordem dos itens do menu (#408)

* Refatora a funcionalidade da ordem do menu

* Reordena menu itens padrao do wagtail e remove algum deless

* Insere funcao get_menu_order em menu_order

* Altera a ordem dos app

* Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420)

* Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin

* Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc

* Adiciona as migrações de banco de dados

* Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422)

* Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo

* Adiciona Article.data, Issue.data, Journal.data

* Adiciona retorno às função que criam instâncias de Article, Issue e Journal

* Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados

* Aplica black

* Adiciona

* Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML

* Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS

* Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3

* Adiciona o parâmetro compression em ZipFile

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Corrige ausência de importação de ZIP_DEFLATED

* Adiciona o atributo order para a listagem dos itens na área administrativa

* Adiciona as migrações de banco de dados

* Adiciona detalhes do processamento da adição de arquivos no minio

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400)

* Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR

* Cria/Edita Package.get, create_or_update, _add_validation_result

* Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?)

* Cria testes para upload.controller.*

* Adiciona a migração de banco de dados por criar novos valores de choices

* Corrige ausência de definição de variáveis

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

---------

Co-authored-by: Samuel Veiga Rangel <[email protected]>

* Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (#426)

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401)

* Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc  (#402)

* Adiciona Journal.title

* Modifica os atributos de journal.models.Owner e Publisher

* Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator

* Adiciona migrações de banco de dados relacionados a journal

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403)

* Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração

* Adiciona os parâmetros journal_acron e publication_year

* Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405)

* Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico

* Atualiza packtools versão 3.4.0 para ter XMLWithPre.order
Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico

* Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml

* Evita guardar versões anteriores dos arquivos

* Cria o procedimento de corrigir o valor do Pid v2 (#410)

* Cria PidProviderXML.fix_pid_v2

* Cria FixPidV2 para controlar o que foi corrigido no upload e no core

* Cria FixPidV2ModelAdmin

* Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled

* Cria APIPidProviderFixPidV2Error

* Cria provider.requester.PidRequester.fix_pid_v2

* Cria SPSPkg.fix_pid_v2

* Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package

* Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid

* Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree

* Adiciona a migração correspondente ao modelo FixPidV2

* Corrige ausencia de pid v3 no xml submetido do upload para o core (#411)

* Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files

* Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado

* Distingue status de demanda de registro e status do registro

* Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de  xml_with_pre com os valores fornecidos pelo Core

* Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin

* Atualiza dependencias base.txt e production.txt (#409)

* Comenta app captcha

* Atualiza dependencias

---------

Co-authored-by: Roberta Takenaka <[email protected]>

* Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415)

* Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos

* Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento

* Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros

* Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid

* Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid

* Ajusta PidProviderXML._add_other_pid

* Remove PidProviderXML._complete_pids excedente

* Corrige PidProvider._add_pid_v3 e _add_pid_v2

* Corrige PidProviderXML.is_registered

* Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids

* Modifica PidProviderXML.register

* Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3

* Melhora _process_post_xml_response

* Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno

* Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core

* Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416)

* Cria a classe PidProviderEndpoint, inline de PidProviderConfig

* Modifica o modo de obter fix_pid_v2_url

* Adiciona modelo PidProviderEndpoint

* Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417)

* Evita que SPSPkg armazene arquivos em excesso (#418)

* Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419)

* Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável

* Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado

* Melhora ordem dos itens do menu (#408)

* Refatora a funcionalidade da ordem do menu

* Reordena menu itens padrao do wagtail e remove algum deless

* Insere funcao get_menu_order em menu_order

* Altera a ordem dos app

* Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420)

* Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin

* Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc

* Adiciona as migrações de banco de dados

* Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422)

* Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo

* Adiciona Article.data, Issue.data, Journal.data

* Adiciona retorno às função que criam instâncias de Article, Issue e Journal

* Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados

* Aplica black

* Adiciona

* Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML

* Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS

* Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3

* Adiciona o parâmetro compression em ZipFile

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts

* Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts

* Corrige ausência de importação de ZIP_DEFLATED

* Adiciona o atributo order para a listagem dos itens na área administrativa

* Adiciona as migrações de banco de dados

* Adiciona detalhes do processamento da adição de arquivos no minio

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400)

* Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR

* Cria/Edita Package.get, create_or_update, _add_validation_result

* Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?)

* Cria testes para upload.controller.*

* Adiciona a migração de banco de dados por criar novos valores de choices

* Corrige ausência de definição de variáveis

* Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399)

* Cria a tarefa upload.tasks.task_validate_original_zip_file

* Cria upload.tasks.task_validate_xml_content

* Cria upload.xml_validation

* Anota TODO para inserir parâmetros para as validações

* Atualiza packtools para a versão 3.3.4 que contempla mais validações

* Remove package.tasks

* Adiciona importações faltantes

* Aplica black

* Cria função  para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros

* Associa por inferência o tipo de impacto de cada tipo de erro

* Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário

* Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML

* Remove a verificação de article e issue no formulário

* Troca a tarefa que executará as validações

---------

Co-authored-by: Samuel Veiga Rangel <[email protected]>

---------

Co-authored-by: Samuel Veiga Rangel <[email protected]>