Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML #399

robertatakenaka · 2024-03-10T15:12:27Z

O que esse PR faz?

Adiciona funções em upload.controller para avaliar o pacote recém recebido

Onde a revisão poderia começar?

Por commits

Como este poderia ser testado manualmente?

Executando os testes automáticos

make django_bash

python manage.py test -k upload.tests.* --keepdb -v 2

Algum cenário de contexto que queira dar?

Por enquanto estas funções não estão sendo chamadas em nenhum momento. Mas seu uso alterará o upload.wagtail_hooks e upload.tasks.run_validations.

Screenshots

n/a

Quais são tickets relevantes?

n/a

Referências

n/a

… renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

… renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

… renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes

…do XML (#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

… renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

… renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

… renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>

* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>