Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML #398
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 12, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
that referenced
this pull request
Mar 31, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
that referenced
this pull request
Mar 31, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
that referenced
this pull request
Mar 31, 2024
…do XML (#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
Mar 31, 2024
…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
that referenced
this pull request
Mar 31, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (#417) * Evita que SPSPkg armazene arquivos em excesso (#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
… renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 16, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 17, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 17, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 17, 2024
…do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
robertatakenaka
added a commit
to robertatakenaka/scms-upload
that referenced
this pull request
May 17, 2024
* Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Atualiza main_ingress com main (scieloorg#425) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> * Modifica a entrada do pacote pelo upload e adiciona novas validações do XML (scieloorg#426) * Corrige Institution.__str__, adiciona atributos de autocomplete e altera InstitutionHistory.panels de FieldPanel para Autocomplete (scieloorg#401) * Faz correções na app journal: adiciona Journal.title, wagtail_hooks.JournalCreateView, etc (scieloorg#402) * Adiciona Journal.title * Modifica os atributos de journal.models.Owner e Publisher * Cria journal.wagtail.JournalCreateView para adicionar o usuário como creator * Adiciona migrações de banco de dados relacionados a journal * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos (scieloorg#403) * Adiciona filtros de journal_acron e publication_year para migrar dados de artigos, criando uma amostragem de migração * Adiciona os parâmetros journal_acron e publication_year * Garante que no XML migrado (seja nativo ou gerado a partir do HTML) tenha o PID v2 e o order (article-id other) (scieloorg#405) * Corrige ou adiciona ao XML o elemento pid-v2 usando como valor o pid do artigo do site clássico * Atualiza packtools versão 3.4.0 para ter XMLWithPre.order Corrige ou adiciona ao XML o elemento article-id (other/order) usando como valor os últimos 5 dígitos do pid do artigo do site clássico * Atualiza a versão da biblioteca scielo_classic_website para 1.6.4 para corrigir a obtenção de registros de artigos em serial xml * Evita guardar versões anteriores dos arquivos * Cria o procedimento de corrigir o valor do Pid v2 (scieloorg#410) * Cria PidProviderXML.fix_pid_v2 * Cria FixPidV2 para controlar o que foi corrigido no upload e no core * Cria FixPidV2ModelAdmin * Adiciona PidProviderAPIClient.fix_pid_v2, fix_pid_v2_url. Refatora PidProviderAPIClient.enabled * Cria APIPidProviderFixPidV2Error * Cria provider.requester.PidRequester.fix_pid_v2 * Cria SPSPkg.fix_pid_v2 * Cria ArticleProc.fix_pid_v2 e adiciona a chamada no procedimento de generate_sps_package * Cria tarefas para corriger o valor de pid v2 em PidProviderXML a partir de ArticleProc.pid * Cria provider.provider.PidProvider com os métodos fix_pid_v2, get_sps_pkg_name, get_xmltree * Adiciona a migração correspondente ao modelo FixPidV2 * Corrige ausencia de pid v3 no xml submetido do upload para o core (scieloorg#411) * Atualiza a versão de packtools 4.1.1 para usar XMLWithPre.data e .files * Modifica PidProviderXML.is_registered para atualizar os pids de xml_with_pre com os valores registrados, além disso, era necessário retornar se está registrado e igual ou registrado e diferente ou não registrado * Distingue status de demanda de registro e status do registro * Modifica PidProviderAPIClient._process_post_xml_response para atualizar ou não os valores dos pids de xml_with_pre com os valores fornecidos pelo Core * Adiciona registered_in_core como filtro de PidProviderXMLModelAdmin * Atualiza dependencias base.txt e production.txt (scieloorg#409) * Comenta app captcha * Atualiza dependencias --------- Co-authored-by: Roberta Takenaka <[email protected]> * Modifica comportamento de Pid provider, que passa a aceitar mudanças de pids (scieloorg#415) * Cria PidProviderXML.complete_pids, que completa pids com registrados ou inéditos * Cria PidProviderXML._check_pids, que valida pid do XML é inédito e/ou registrado e/ou pertencente a outro documento * Cria PidProviderXML.get_pids, que retorna todos os pids vigentes e outros * Corrige PidProviderXML._is_registered_pid, adicionando a verificação em OtherPid * Corrige PidProviderXML._get_unique_v3, que usa _is_registered_pid e agora não precisa verificar OtherPid * Ajusta PidProviderXML._add_other_pid * Remove PidProviderXML._complete_pids excedente * Corrige PidProvider._add_pid_v3 e _add_pid_v2 * Corrige PidProviderXML.is_registered * Ajusta PidProviderXML._save, removendo _add_other_pid e removendo change_pids * Modifica PidProviderXML.register * Melhora XMLVersion.__str__, mostrando nome do arquivo + data no lugar de pid v3 * Melhora _process_post_xml_response * Para PidProvider.provide_pid_for_xml_with_pre, adiciona parâmetro caller, completa XML com pids registrados se ausentes no XML, adiciona xml_changed ao retorno * Adiciona comando para completar XML com pids registrados antes de solicitar pid para Core * Cria meio de configurar / habilitar / desabilitar fix_pid_v2 do Core (scieloorg#416) * Cria a classe PidProviderEndpoint, inline de PidProviderConfig * Modifica o modo de obter fix_pid_v2_url * Adiciona modelo PidProviderEndpoint * Adiciona 'fixed_in_core': False ao retorno de fix_pid_v2 (scieloorg#417) * Evita que SPSPkg armazene arquivos em excesso (scieloorg#418) * Verifica se xml registrado e xml recebido são iguais, somente após completar XML com os pids registrados (scieloorg#419) * Compara se xml_with_pre é igual ao registrado somente após adicionar os pids registrados se aplicável * Adiciona a funcionalidade de forçar o registro no Core mesmo que o registro está indicando que já está sincronizado * Melhora ordem dos itens do menu (scieloorg#408) * Refatora a funcionalidade da ordem do menu * Reordena menu itens padrao do wagtail e remove algum deless * Insere funcao get_menu_order em menu_order * Altera a ordem dos app * Move as operações anteriores de ArticleProc, IssueProc, JournalProc para um arquivo (scieloorg#420) * Cria o modelo ArticleProcReport e ArticleProcReportModelAdmin * Cria o modelo ProcReport para armazenar processamentos anteriores, mantendo apenas o vigente nos respectivos ArticleProc, IssueProc, JournalProc * Adiciona as migrações de banco de dados * Melhora o registro das operações das tarefas relacionadas à migração e publicação (scieloorg#422) * Melhora os rótulos, deixa todos os campos não editáveis, apresenta os eventos do mais recente para o mais antigo * Adiciona Article.data, Issue.data, Journal.data * Adiciona retorno às função que criam instâncias de Article, Issue e Journal * Adiciona Article.data, Issue.data, Journal.data nos detalhes das operações de entrada de dados * Aplica black * Adiciona * Adiciona mais detalhes ao registro da tarefa de gerar o XML a partir do HTML * Adiciona mais detalhes ao registro da tarefa de gerar o pacote SPS * Corrige o valor de 'completed' dos resultados das operações de solicitação de pid v3 * Adiciona o parâmetro compression em ZipFile * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Modifica o sps_pkg_status para DONE se o pacote não tem todos os texts * Modifica o sps_pkg_status para PENDING se o pacote não tem todos os texts * Corrige ausência de importação de ZIP_DEFLATED * Adiciona o atributo order para a listagem dos itens na área administrativa * Adiciona as migrações de banco de dados * Adiciona detalhes do processamento da adição de arquivos no minio * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#398) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Refatora upload parte 2 - Adiciona funções em upload.controller para avaliar o pacote recém recebido (scieloorg#400) * Cria os upload.choices.VE_UNEXPECTED_ERROR e VE_FORBIDDEN_UPDATE_ERROR * Cria/Edita Package.get, create_or_update, _add_validation_result * Cria funções para avaliar o XML recém-recebido (é esperado? os dados de journal e issue estão corretos?) * Cria testes para upload.controller.* * Adiciona a migração de banco de dados por criar novos valores de choices * Corrige ausência de definição de variáveis * Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML (scieloorg#399) * Cria a tarefa upload.tasks.task_validate_original_zip_file * Cria upload.tasks.task_validate_xml_content * Cria upload.xml_validation * Anota TODO para inserir parâmetros para as validações * Atualiza packtools para a versão 3.3.4 que contempla mais validações * Remove package.tasks * Adiciona importações faltantes * Aplica black * Cria função para associar os tipos de erros com os relatórios e faz ajustes nos tipos de erros * Associa por inferência o tipo de impacto de cada tipo de erro * Refatora Package.check_opinions e check_resolutions; Remove article e issue do formulário * Corrige defeitos das validações iniciais à recepção do pacote e ajusta a validação do conteúdo do XML * Remove a verificação de article e issue no formulário * Troca a tarefa que executará as validações --------- Co-authored-by: Samuel Veiga Rangel <[email protected]> --------- Co-authored-by: Samuel Veiga Rangel <[email protected]>
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
O que esse PR faz?
Refatora upload parte 3 - agrupa em uma tarefa as validações: assets, renditions, conteúdo do XML
Onde a revisão poderia começar?
por commits
Como este poderia ser testado manualmente?
n/a
Algum cenário de contexto que queira dar?
Esta parte ainda não está integrada com o fluxo de ingresso
Screenshots
n/a
Quais são tickets relevantes?
n/a
Referências
n/a