JEMS manual main pages: Home | Recent Changes | Page Index | Site Map | QwikiSyntax

Ajuda Para Configurar O JEMS Na Fase De Revisão De Artigos

A fase de revisão de artigos consiste dos seguintes passos de configuração, que são detalhados nessa página:
ajustar os modelos de e-mail (templates) relacionados com a fase de revisão;
adicionar pessoas no TPC (TPC members);
definir o formulário de revisão;
atribuir revisores para os artigos;
notificar os revisores sobre os artigos atribuídos;
monitorar as revisões.

Opções De Configuração Em Chair->Reviews->Configure

Double blind (author names not visible to reviewers): nomes dos autores de artigos não são visíveis pelos revisores;

Authors can view anonymous reviews for their own papers: libera acesso as revisões para os autores;

TPC member/editor can view reviews: libera acesso as revisões para os TPC members, somente as revisões que eles atribuiram, somente as próprias revisões, ou todas as revisões dos artigos que eles estiverem revisando;

TPC member/editor sees reviewer identity: libera acesso a identidade dos outros revisores também;

Max. length of rebuttals (characters), 0 if none: número de caracteres máximo permitido para um rebuttal;

Who gets a copy of completed reviews: especifica quem recebe uma cópia das revisões completadas;

Number of reviews required for each paper: número de revisões necessária para cada artigo, informação usada em assignement suggestions;

Number of reviews each TPC member/editor should do (for review assessment): quantidade de revisões cada TPC member deve fazer;

Journal days for review: número de dias para completar a revisão após notificação;

Conference date review is due: data limite para completar as revisões;

Start sending reviewer reminders on: envio de lembretes para os revisores que não completaram as revisões, o coordenador precisa clicar em Remind reviewers para que os lembretes sejam enviados;

Number of days between reminders: número de dias entre reminders para que o JEMS não envie reminders todas as vezes que o chair clicar na opção "Remind Reviewers";

Rebuttal period starts: início do período para os autores completarem o rebuttal;

Rebuttal period ends: final do período para completar o rebuttal;

Discussion period starts: início do período de discussão;

Discussion period ends (pior to Conference Begins disables disussion): final do período de dicsussão;

Discussion messages go to: especifica para quem as mensagens de discussão devem ser enviadas;

Block review: especifica se as revisões podem ser modificadas ou não pelos revisores;

Allow TPC member to list all papers: permite aos TPC members listar todos os artigos;

Show only completed review to TPC members: TPC members só tem acesso as revisões que forem completadas, eles não conseguem ver revisões atribuídas incompletas;

Require paper ranking from TPC member: TPC members devem ou não informar o ranking dos artigos que eles revisaram;

Span limit A (span value less than A means no conflict): usado para detectar em List papers os artigos com conflito nas revisões, é o limite para a diferença entre a menor e maior nota atribuída por um revisor ao artigo. Artigos com diferença menor que A são considerados um conflito médio e são visualizados em vermelho na lista de artigos;

Span limit B (span value more than B means serious conflict): limite superior para detectar um conflito, artigos com diferença maior que B são considerados um conflito sério e são visualizados em vermelho na lista de artigos;


Ajustar Os Modelos De E-mail (Templates)

Os templates de e-mail são configurados em Chair->Configure->Email templates

Adicionar Pessoas No TPC (TPC Members)

As pessoas podem ser convidadas ou incluídas arbitrariamente no sistema.
A página de convite está disponível em: Chair->People->TPC invitation.
A página para inclusão arbitrária de pessoas está disponível em: Chair->People->TPC members.
Na página dos TPC members:
• Attend e Dinner são opções para permitir que os integrantes do TPC indiquem são eles vão participar da reunião do comitê de programa. Esses opções não são sempre necessárias para todos os eventos, em alguns casos os eventos não realizam uma reunião do TPC.


Definir O Formulário De Revisão

Como Funcionam Os Pesos: "Weight" é usado para definir o peso das questões na média da revisão e "Global Weight" é usado para calcular o peso da revisão na média final do artigo. Ambas as somas devem ser 1, sendo que o "Global Weight" é opcional, não precisa ser usado se você não quiser, é só deixar ZERO para todas as questões.

Funciona da seguinte maneira, acho que através de exemplos fica mais fácil de explicar. Imagine as seguintes questões no review form:

1 - ORIGINALITY: 1 ~ 5 , Weight 0.5, Global Weight 0.0
2 - RECOMMENDATION: 1 ~ 5 , Weight 0.5, Global Weight 0.0
3 - CONFIDENCE IN THE EVALUATION: 1 ~ 5 , Weight 0.0, Global Weight 1.0

Para cada revisão o JEMS calcula uma "média", a partir dos scores dos revisores e pesos (Weight), e um "peso da revisão", a partir dos scores e pesos globais
(Global Weight). Por exemplo, veja as revisões e médias e pesos calculados abaixo:

Questões  | 1 | 2 | 3 | Média | Peso |
----------+---+---+---+-------+------|
Revisor 1 | 4 | 4 | 3 |   8   | 0.6  |
Revisor 2 | 5 | 5 | 5 |  10   | 1.0  |
Revisor 3 | 5 | 5 | 5 |  10   | 1.0  |
--------------------------------------

Onde:
média revisão = Somatório(score / max score * weight) * 10
-- média da revisão 1 é: (4/5*0.5 + 4/5*0.5 + 3/5*0.0)*10 = 8
peso da revisão = Somatório(score / max score * global weight)
-- peso da revisão 1 é: (4/5*0.0 + 4/5*0.0 + 3/5*1.0) = 0.6

Então para cada artigo o JEMS calcula uma média geral e uma média ponderada. Essas médias são as notas finais de cada artigo, ou seja, é o critério de comparação usado pelos chairs para dizer quais os melhores e piores artigos.

A média geral é simplesmente uma média comum das médias das revisões.
Média geral = Somatório(Média)/Número de revisões
Média geral do artigo exemplo = 8 + 10 + 10 / 3 = 9.33

A média ponderada é calculada a partir das médias e pesos.
Média ponderada = Somatório(Média*Peso)/Somatório(Peso)
Média ponderada do artigo exemplo = (8*0.6 + 10*1.0 + 10*1.0 ) / (0.6 + 1.0 + 1.0) = 9.53

Assim, utilizando a média global é possivel determinar que uma revisão tenha mais peso em relação as outras na média do artigo a partir da confiança do revisor, ou familiaridade dele com o assunto. No exemplo acima, o revisor número 1 deu uma nota mais baixa que os outros, mas influenciou menos na média final do artigo pois a confiança dele era menor que a dos outros.

A lista de artigos ordenada dos artigos por nota (que é a média/média ponderada) está em "Chair-Papers-List papers", marcar opção "Average review score" em "Fields to show". É possível ordenar os artigos por média (Avg) ou média ponderada (GAvg).

Atribuir Revisores Para Os Artigos

Para distribuir os artigos para os revisores existem duas opções: manualmente ou usando um opção de recomendação automática de revisores.
Para distribuir os artigos manualmente os passos são:
1.Ir em Chair->Papers->List papers
2.Clicar no número do artigo para visualizar os detalhes
3.Embaixo da tabela amarela selecionar o revisor da lista de TPC members ou informar o email do revisor se ele não for um TPC member e clicar em "Assign"
4.Repetir o passo 3 para cada revisor do artigo
5.Repetir a partir do passo 2 para cada artigo
6.Depois de atribuídos todos os revisores em todos os artigos enviar as notificações em Chair->Reviews->Notify reviewers
Usando o algoritmo de recomendação automática os passos são:
1.Ir em Chair->Reviews->assignment suggestions
2.Clicar em "Assignment suggestions" e depois em "Suggest"
3.Verificar os nomes dos revisores e alterar se não for apropriado
4.Se tudo estiver ok clicar no botão "Assign"
5.Enviar as notificações em Chair->Reviews->Notify reviewers

Para que a opção de recomendação automática de revisores funcione adequadamente os TPC members (Chair->People->TPC members) devem escolher no sistema quais são os seus tópicos de interesse. O sistema pega então os tópicos de interesse deles e sugere artigos que possuem tópicos em comum com os revisores.

O número de revisores sugerido por artigo no algoritmo de sugestões é 3 por padrão, mas pode ser alterado em Chair->Reviews->Configure.

Para pedir que os TPC members informem os tópicos pode-se acessar a opção Chair->People->Send email e enviar uma mensagem através do sistema para "All Technical program committtee members".

O algoritmo de sugestão de artigos está descrito em: reviewer assignment suggestions.

Atribuindo Artigos De Diferentes Categorias Para Os Revisores: O JEMS não define nos templates de email uma varíavel correspondente a categoria/track do artigo. O que é possível entretanto é configurar o template de email primeiro para a primeira track (e.g. full papers), então atribuir os revisores somente dessa track, e notificar os revisores somente dessa track.

Na opção de "assignment suggestions" é possível filtrar e atribuir somente os revisores das submissões da de uma track específica (e.g. full papers).

Depois de feito tudo para a primeira track então alterar novamente o template de email, indicando que a revisão atribuída é da segunda track (e.g. short papers). Depois disso atribuir os revisores somente para os artigos da segunda track (e.g. short papers) usando o filtro novamente em "assignment suggestions" e notificar os revisores.

A notificação dos revisores é feita em Chair->Reviews->Notify reviewers.

Assumindo, por exemplo, que as tracks são "short papers" e "full papers"

Os passos são então:
1.Alterar o template de email indicando que são short papers
2.Atribuir os revisores dos short papers
3.Notificar os revisores
4.Alterar o template de email indicando que são full papers
5.Atribuir os revisores dos full papers
6.Notificar os revisores

Essa é a única maneira porque o JEMS não disponibiliza uma varíavel referente a track/categoria no template de email e também não mostra ao revisor a track/categoria do artigo no momento da revisão.

Atribuir artigos para revisores que falam idiomas diferentes

Uma solução possível é classificar os papers em categorias (categories) inglês e português, e os revisores em grupos (TPC groups) entende somente inglês, entende inglês e português. Feito isso na seção Reviews->Assignment suggestions pode-se filtrar os artigos e revisores por esses parâmetros, o que evita o problema de revisores estrangeiros receberem artigos em português.

Dessa maneira é preciso executar o assignment inicial duas vezes selecionando cada vez a categoria diferente de artigos por exemplo:

Categoria: [papers em português] / TPC group: [entende inglês e português]
Categoria: [papers em inglês] / TPC group: [All groups]
(assumindo que todos as pessoas entendem inglês)

Atribuir Revisores Anônimos

Caso um dos coordenadores do evento (chair) seja autor de algum artigo, a identidade dos revisores pode ser preservada através da criação de usuários anônimos. Os usuários anônimos são usuários registrados no sistema sem o nome real, e devem ser criados pelo administrador do JEMS responsável pelo suporte ao evento. O chair deve requisitar a criação dos usuários anônimos ao administrator do JEMS e receb os e-mails/IDs e senhas dos usuários anônimos criados.

Geralmente os usuários são criados com a identidade:
Nome: Anonimo
Sobrenome: SAnonimo
E-mail: anonimo@evento.org.br

O chair deve então atribuir seus artigos para esses usuários revisar, e requisitar que alguma pessoa de confiança repasse os usuários e senhas dos usuários anônimos manualmente pra os revisores reais. Essa pessoa de confiança pode ser um dos outros chairs, ou um revisor de confiança. Cabe a pessoa de confiança escolher os revisores reais apropriados.

Dessa maneira, os revisores reais podem acessar o sistema com as credenciais anônimas e não são identificados. Somente a pessoa de confiança sabe quem foram os revisores reais de fato.

Notificar Os Revisores Sobre Os Artigos Atribuídos

Monitorar As Revisões

This page in English: Paper review phase.