Verificar duplicidades

Concept Information

Comando DUPLICATES

Valores duplicados em um ou mais campos, ou registros duplicados, podem ser resultado de erro de entrada de dados ou atividades fraudulentas como divisão de transação de cartões de crédito para evitar medidas de segurança.

Requisitos para valores únicos

Campos que jamais devem conter duplicidades são aqueles cujos valores identificam unicamente registros. Por exemplo, uma tabela de números de funcionário nunca deve ter números de funcionário duplicados, pois cada valor deve identificar um único funcionário.

Duplicidades válidas

Valores duplicados também podem ser válidos. Por exemplo, uma tabela de transações pode ter números de clientes duplicados decorrentes de um mesmo cliente ter várias transações.

Tipos diferentes de teste de duplicidades

Você pode utilizar o Analytics para testar a existência de duplicidades das seguintes formas:

Escopo do teste Use esse teste quando:
Um campo

Todos os valores de um determinado campo devem ser únicos, como números de funcionário ou de cheque.
Dois ou mais campos em combinação

A singularidade não é um requisito para nenhum dos campos considerados isoladamente, mas é necessária para os campos combinados.

Exemplo

Em um arquivo de folha de pagamento que cobre um ano, o campo de número de funcionário e o campo de data de pagamento conterão uma série de duplicidades. Funcionários são pagos a cada duas semanas, e muitos funcionários são pagos na mesma data.

No entanto, um funcionário individual deve constar apenas uma vez em uma data em particular. Se existe uma duplicidade nos campos de número de funcionário e data de pagamento combinados, esse funcionário pode ter sido pago duas vezes pelo mesmo período de pagamento.
Todos os campos de um registro

Verificar a existência de registros inteiro duplicados, em que todos os campos do registro são duplicados. Registros duplicados inteiros podem ser o resultado de entradas errada de dados, ou de outras irregularidades transacionais.

Ordenar e duplicidades

Normalmente, você somente deve testar a existência de duplicidades usando um ou mais campos-chave ordenados. Os valores duplicados em um campo-chave só serão encontrados se estiverem imediatamente adjacentes.

Se você verificar a existência de duplicidades usando um campo-chave não ordenado, os valores duplicados não adjacentes não serão relatados como duplicidades. Se existirem dois ou mais clusters do mesmo valor duplicado, eles são relatados como duplicidades, mas em grupos separados.

Dependendo do objetivo da análise, pode fazer sentido testar duplicidades usando um campo-chave não ordenado. Por exemplo, pode ser necessário encontrar apenas os valores duplicados imediatamente adjacentes na tabela de origem, e ignorar os valores duplicados não adjacentes.

Inclusão do campo Número do grupo na tabela de saída

Você pode incluir o campo Número do grupo na tabela de saída de duplicidades. O campo atribui um número incrementado sequencialmente a cada grupo único de duplicidades. A capacidade de fazer referência a grupos de duplicidades por número pode ser útil quando você analisa dados na tabela de saída.

Filtrar a tabela de saída de duplicidades por número de grupo

Você usa vários campos-chave combinados para testar a existência de registros duplicados em uma tabela de contas a pagar:

  • número do fornecedor
  • número da fatura
  • data da fatura
  • valor da fatura

Você quer filtrar a tabela de saída de duplicidades resultante para que apenas alguns dos grupos de duplicidades passem por processamento adicional.

Criar um filtro usando a combinação de campos-chave seria trabalhoso. Por exemplo:

SET FILTER TO ((Num_Fornecedor = "11475") AND (Num_Fatura = "8752512") AND (Data_Fatura = `20191021`) AND (Valor_Fatura = 7125,80)) OR ((Num_Fornecedor = "12130") AND (Num_Fatura = "589134") AND (Data_Fatura = `20191117`) AND (Valor_Fatura = 10531,71)) OR ((Num_Fornecedor = "13440") AND (Num_Fatura = "5518912") AND (Data_Fatura = `20191015`) AND (Valor_Fatura = 11068,20))

Em vez disso, você pode obter o mesmo resultado criando um filtro baseado no número do grupo:

SET FILTER TO MATCH(GROUP_NUM; 3 ;8; 11)

Etapas

Você pode testar um ou mais campos na tabela ativa para detectar se existem valores ou registros inteiros duplicados.

Você pode testar a existência de duplicidades em campos de caracteres, numéricos ou de datahora. Se letras e números aparecerem juntos em um campo de caracteres, todos os caracteres alfanuméricos são testados.

Nota

Para que os resultados sejam válidos, o campo ou campos sendo testados devem estar em ordem sequencial antes do teste. Você pode ordenar o campo ou campos antes, ou utilizar a opção Pré-ordenação durante o teste de duplicidades.

Selecionar os campos

  1. No Navegador, abra a tabela em que deseja testar se há duplicidades.
  2. Selecione Analisar > Duplicidades.

  3. Para detectar duplicidades em um ou mais campos:

    1. Na guia Principal, realize uma das seguintes ações:

      • Na lista Duplicidades ativadas, selecione um campo ou campos para testar.

      • Clique em Duplicidades ativadas para selecionar um campo ou campos para testar ou, ainda, para criar uma expressão.

      A ordem em que você seleciona vários campos é a ordem em que eles aparecem nos resultados de saída. Se você quiser anexar resultados a uma tabela existente do Analytics, a seleção e a ordem dos campos devem ser idênticas à seleção e à ordem dos campos na tabela existente.

    2. Opcional. Se você clicou em Duplicidades ativadas, clique na seta de ordenamento , ao lado de um ou mais campos selecionados, para especificar uma ordem descendente nos resultados de saída (o padrão é ascendente).

    3. Execute uma das seguintes ações:

      • Na lista Listar campos, selecione um ou mais campos adicionais para incluir nos resultados informados.

      • Clique em Listar campos para selecionar um ou mais campos adicionais para incluir ou para criar uma expressão.

      Campos adicionais podem fornecer um contexto útil para os resultados. Os campos que você selecionar para testes de duplicidades são exibidos automaticamente no início de qualquer registro de resultados. Eles não precisam ser selecionados especificamente em Listar campos.

    4. Opcional. Selecione Adicionar grupos se quiser incluir o campo Número do grupo na tabela de saída.

      O campo Número do grupo atribui um número incrementado sequencialmente a cada grupo único de duplicidades.

  4. Para detectar registros inteiramente duplicados:

    1. Na guia Principal, clique em Duplicidades ativadas.

    2. Clique em Adicionar tudo para adicionar todos os campos aos Campos selecionados.

    3. Opcional. Clique na seta de ordenamento , ao lado de um ou mais campos selecionados para especificar uma ordem descendente nos resultados de saída (o padrão é ascendente).

    4. Clique em OK.

      Não é preciso selecionar nenhum campos da lista Listar campos porque todos os campos na tabela são exibidos automaticamente nos registros de resultado.

    5. Opcional. Selecione Adicionar grupos se quiser incluir o campo Número do grupo na tabela de saída.

      O campo Número do grupo atribui um número incrementado sequencialmente a cada grupo único de duplicidades.

Excluir registros do processamento (opcional)

  • Se houver registros na exibição atual que você quer excluir do processamento, realize uma destas ações:

    • Digite uma condição na caixa de texto Se

    • Clique em Se para criar a instrução IF usando o Construtor de expressões.

    A condição If considera todos os registros na exibição e filtra aqueles que não atendem à condição especificada.

    Nota

    A condição Se é avaliada apenas em relação aos registros restantes em uma tabela depois da aplicação das opções de escopo (Primeiros, Próximos, Enquanto).

Cancelar a seleção de Pré-ordenar (opcional)

  • Se o campo ou campos de teste já foram ordenados com base em uma operação anterior, desmarque Pré-ordenação para economizar tempo ao testar duplicidades em tabelas grandes.

    Se os dados no campo ou campos não estiverem ordenados, você deverá deixar a opção Pré-ordenar selecionada para garantir que todas as duplicidades sejam encontradas.

    Nota

    Se você desmarcar a Pré-ordenação, o campo ou campos de teste deverão corresponder ao campo ou campos que foram ordenados anteriormente para que os resultados sejam válidos.

    A mensagem Aviso: arquivo fora de sequência acompanha os resultados se existir uma inconsistência entre os campos selecionados e ordenados. Se você envia os resultados para uma tabela do Analytics, a mensagem de aviso é exibida no log.

Configurar a saída

  1. Clique na guia Saída.

  2. No painel Para, selecione a opção de saída adequada.

    Nota

    As opções de saída serão desativadas se não se aplicarem a uma operação analítica específica.

    Opção Detalhes
    Tela

    Exibe os resultados na área de exibição do Analytics.

    Dica

    Você pode clicar em qualquer valor de resultado vinculado na área de exibição para detalhar o registro ou registros associados na tabela de origem.

    Se a tabela de saída contém um grande número de registros, é mais rápido e útil salvar os resultados em um arquivo do que exibir os resultados na tela.
    Imprimir Envia os resultados para a impressora padrão.
    Gráfico Cria um gráfico dos resultados e o exibe na área de exibição do Analytics.
    Arquivo

    Salva ou anexa os resultados a uma tabela do Analytics ou a um arquivo de texto; também pode substituir uma tabela ou arquivo existente.

    • Tabela do Analytics a tabela será adicionada ao projeto aberto se ela já não estiver no projeto.
    • Arquivo de texto O arquivo será salvo fora do Analytics.

  3. Se você selecionar Arquivo como o tipo de saída, especifique as informações adequadas no painel Como:

    Opção Detalhes
    Tipo de arquivo

    • Tabela do Analytics – salva ou anexa os resultados a uma tabela do Analytics ou substitui uma tabela existente.

    • Arquivo de texto ASCII ou Arquivo de texto Unicode – salva ou anexa os resultados a um arquivo de texto ou substitui um arquivo existente.
    Nome

    • Para salvar uma nova tabela ou arquivo

      Insira um nome de arquivo na caixa de texto Nome. Se o Analytics preencher um nome de arquivo, você poderá aceitar o nome preenchido ou alterá-lo.

    • Para anexar a uma tabela ou arquivo existente ou para substituir uma tabela ou arquivo existente

      Clique em Nome e selecione uma tabela ou arquivo existente na caixa de diálogo Salvar ou Salvar arquivo como.

    Você pode especificar um caminho do arquivo absoluto ou relativo ou navegar para uma pasta diferente para salvar, anexar ou substituir em uma localização diferente da localização do projeto. Por exemplo:

    C:\Resultados\Saída.fil ou Resultados\Saída.fil.

    Nota

    Os nomes de tabela do Analytics são limitados a 64 caracteres alfanuméricos, sem contar a extensão .FIL. O nome pode incluir o caractere de sublinhado ( _ ) mas nenhum outro caractere especial e nenhum espaço. O nome não pode começar com um número.
    Local

    Só é ativado ao conectar a uma tabela do servidor e ao salvar, anexar ou substituir uma tabela do Analytics.

    • Selecionar Local salva, anexa ou substitui no mesmo local que o projeto do Analytics.

    • Deixar Local desmarcado salva, anexa ou substitui na pasta Prefixo em um servidor.

    Nota

    Para obter os resultados de saída da análise ou do processamento das tabelas do Servidor AX, selecione Local. Não é possível desmarcar a configuração Local para importar tabelas de resultados para o Servidor AX.
  4. Opcional. Especifique um Cabeçalho ou um Rodapé na caixa de texto adequada.

    Clique em Cabeçalho ou Rodapé para inserir um cabeçalho ou rodapé com mais de uma linha. Você também pode inserir um ponto e vírgula (;) como um caractere de quebra de linha na caixa de texto do cabeçalho ou do rodapé.

    Cabeçalhos e rodapés são centralizados por padrão. Digite um sinal de menor (<) antes do cabeçalho ou do texto do rodapé para alinhar o texto à esquerda. Alinhar várias linhas à esquerda exige um sinal de menor no início de cada linha.

    Nota

    Para alguns tipos de saída, não é possível especiifcar um cabeçalho ou um rodapé.

Especificar o escopo da operação

  1. Clique na guia Mais.

  2. No painel Escopo, selecione a opção adequada:

    • Tudo
    • Primeiros
    • Próximo
    • Enquanto
    Opção de escopo Detalhes
    Tudo (Padrão) Especifica que todos os registros na exibição são processados.
    Primeiros Insira um número na caixa de texto. Começa o processamento no primeiro registro da exibição e inclui apenas o número especificado de registros.
    Próximo Insira um número na caixa de texto. Começa o processamento no registro atualmente selecionado da exibição e inclui apenas o número especificado de registros. Na coluna mais à esquerda na exibição, deve ser selecionado o número real de registros, não os dados na linha.
    Enquanto

    Use uma instrução WHILE para limitar o processamento de registros na exibição com base em um critério específico ou conjunto de critérios.

    Insira uma condição na caixa de texto Enquanto ou clique em Enquanto para criar uma instrução WHILE usando o Construtor de Expressões.

    Uma instrução WHILE permite que os registros na exibição sejam processados somente enquanto a condição especificada avaliar como verdadeiro. Assim que a condição avaliar como falso, o processamento será encerrado e nenhum outro registro será considerado.

    A opção Enquanto pode ser usada em conjunto com as opções Todos, Primeiro e Próximos. O processamento de registros será interrompido assim que um limite for alcançado.

    Nota

    As opções Primeiro ou Próximos se referem à ordem física ou à ordem indexada de registros em uma tabela. Primeiro ou Próximos ignoram a filtragem ou a ordenação rápida aplicadas a uma exibição de tabela. Entretanto, os resultados de saída de operações analíticas respeitam qualquer filtragem.

    Se uma exibição for ordenada rapidamente, Próximos se comporta como Primeiros.

Finalizar as configurações e gerar os resultados

  1. Opcional. Se você selecionou Arquivo como o tipo de saída e deseja anexar os resultados de saída no fim de uma tabela ou arquivo existente, execute uma das ações a seguir:

    • Selecione Anexar a um arquivo existente se você tiver certeza de que os resultados de saída e a tabela ou arquivo têm estruturas idênticas.

      Se você selecionar Anexar a um arquivo existente, a anexação acontecerá mesmo se os comprimentos dos registros dos resultados de saída e uma tabela ou arquivo existente forem diferentes. Se os comprimentos dos registros forem diferentes, a estrutura de dados não será idêntica e a anexação não funcionará corretamente.

    • Deixe a opção Anexar a um arquivo existente desmarcada se você deseja que o Analytics compare o comprimento dos registros dos resultados e de uma tabela existente. Essa verificação automatizada está disponível apenas para tabelas do Analytics, não para arquivos de texto.

    Nota

    Deixe a opção Anexar a um arquivo existente desmarcada caso você não esteja certo de que os resultados de saída e a tabela existente tenham a mesma estrutura de dados. Para obter mais informações sobre anexo e estrutura de dados, consulte Anexação de resultados de saída a uma tabela existente.

  2. Se você selecionou Arquivo (tabela do Analytics) como tipo de saída, selecione Usar tabela de saída se quiser que a tabela de saída seja aberta automaticamente após a conclusão da operação.

  3. Clique em OK.

    Em vez da ocorrência inicial de um valor ou registro, serão exibidos nos resultados somente os valores ou registros duplicados se você executar estas duas atividades:

    •  Gerar os resultados em tela ou em um arquivo de texto
    • Incluir somente arquivos testados nos resultados de saída e não selecionar nenhum campo adicional

    Se você enviar para a tela, poderá clicar em qualquer valor para ver a ocorrência inicial de um valor ou registro juntamente com as duplicidades.

  4. Se o prompt de substituição aparecer, selecione a opção adequada.

    Se estiver esperando que a opção Anexar seja exibida e ela não for, clique em Não para cancelar a operação e consulte Anexação de resultados de saída a uma tabela existente.

Remover duplicidades

A operação de sumarização pode ser utilizada para remover valores ou registros duplicados de um conjunto de dados e salvar os registros únicos remanescentes em uma nova tabela do Analytics.

Selecionar os campos

  1. No Navegador, abra a tabela da qual você quer remover as duplicidades.
  2. Selecione Analisar > Sumarizar.
  3. Na guia Principal, realize uma das seguintes ações:
    • Selecione o campo que pode conter valores duplicados na lista Sumarizar em.
    • Clique em Sumarizar em para selecionar o(s) campo(s) ou para criar uma expressão.

    A ordem na qual você seleciona os campos é a ordem na qual as colunas aparecem nos resultados.

    Nota

    Selecione os campos adequados para alcançar o grau necessário de singularidade.

    Por exemplo, se você quiser remover registros de funcionário duplicados e selecionar apenas o campo de sobrenome, correrá o risco de remover registros de vários funcionários com o mesmo sobrenome, mas com nomes diferentes. Selecione o sobrenome e o nome para aumentar o grau de singularidade.

    Para remover apenas registros perfeitamente duplicados, clique em Sumarizar em e Adicionar tudo.

  4. Não selecione Campos de subtotal.
  5. Opcional. Execute uma das seguintes ações:
    • Na lista Outros campos, selecione os outros campos a serem incluídos nos resultados de saída.
    • Clique em Outros campos para selecionar os campos ou para criar uma expressão.

    Nota

    Selecione apenas campos que contêm o mesmo valor para todos os registros em cada grupo sumarizado. Para obter mais informações, consulte A opção Outros campos.

Cancelar a seleção de Pré-ordenar (opcional)

  • Se o campo que puder conter valores duplicados já estiver ordenado, desmarque a opção Pré-ordenar.

    Se os dados no campo não estiverem ordenados, você deve deixar a opção Pré-ordenar selecionada para garantir resultados válidos.

Excluir registros do processamento (opcional)

  • Se houver registros na exibição atual que você quer excluir do processamento, realize uma destas ações:

    • Digite uma condição na caixa de texto Se

    • Clique em Se para criar a instrução IF usando o Construtor de expressões.

    A condição If considera todos os registros na exibição e filtra aqueles que não atendem à condição especificada.

    Nota

    A condição Se é avaliada apenas em relação aos registros restantes em uma tabela depois da aplicação das opções de escopo (Primeiros, Próximos, Enquanto).

Configurar a saída

  1. Clique na guia Saída.
  2. No painel Para, selecione Arquivo.
  3. Especifique a seguinte informação no painel Como:

    • Tipo de arquivo – Tabela do Analytics é a única opção. Salva os resultados em uma nova tabela do Analytics ou anexa os resultados a uma tabela do Analytics.

    • Nome – Insira um nome de tabela na caixa de texto Nome. Ou clique em Nome e insira o nome da tabela ou selecione uma tabela existente na caixa de diálogo Salvar ou Salvar arquivo como para substituir ou anexar à tabela. Se o Analytics preencher um nome de tabela, você poderá aceitar o nome preenchido ou alterá-lo.

      Você também pode especificar um caminho do arquivo absoluto ou relativo ou navegar para uma pasta diferente para salvar ou anexar a tabela em uma localização diferente da localização do projeto. Por exemplo:

      C:\Resultados\sem_duplicidades.fil ou Resultados\sem_duplicidades.fil.

    • Local – Só é ativado quando é conectado a uma tabela do servidor. Selecione Local para salvar a tabela de saída na mesma localização que o projeto ou para especificar um caminho ou navegar para uma pasta local diferente. Deixe Local desmarcado para salvar a tabela de saída à pasta Prefixo no Servidor Analytics.

      Nota

      Para obter resultados de saída produzidos da análise ou do processamento das tabelas do servidor do Analytics Exchange, selecione Local. Não é possível usar a definição Local para importar tabelas de resultados para o Servidor AX.

Especificar o escopo da operação

  1. Clique na guia Mais.

  2. No painel Escopo, selecione a opção adequada:

    • Tudo
    • Primeiros
    • Próximo
    • Enquanto
    Opção de escopo Detalhes
    Tudo (Padrão) Especifica que todos os registros na exibição são processados.
    Primeiros Insira um número na caixa de texto. Começa o processamento no primeiro registro da exibição e inclui apenas o número especificado de registros.
    Próximo Insira um número na caixa de texto. Começa o processamento no registro atualmente selecionado da exibição e inclui apenas o número especificado de registros. Na coluna mais à esquerda na exibição, deve ser selecionado o número real de registros, não os dados na linha.
    Enquanto

    Use uma instrução WHILE para limitar o processamento de registros na exibição com base em um critério específico ou conjunto de critérios.

    Insira uma condição na caixa de texto Enquanto ou clique em Enquanto para criar uma instrução WHILE usando o Construtor de Expressões.

    Uma instrução WHILE permite que os registros na exibição sejam processados somente enquanto a condição especificada avaliar como verdadeiro. Assim que a condição avaliar como falso, o processamento será encerrado e nenhum outro registro será considerado.

    A opção Enquanto pode ser usada em conjunto com as opções Todos, Primeiro e Próximos. O processamento de registros será interrompido assim que um limite for alcançado.

    Nota

    As opções Primeiro ou Próximos se referem à ordem física ou à ordem indexada de registros em uma tabela. Primeiro ou Próximos ignoram a filtragem ou a ordenação rápida aplicadas a uma exibição de tabela. Entretanto, os resultados de saída de operações analíticas respeitam qualquer filtragem.

    Se uma exibição for ordenada rapidamente, Próximos se comporta como Primeiros.

Finalizar as configurações e gerar os resultados

  1. Selecione Usar tabela de saída se você quiser que a tabela de saída seja aberta automaticamente após a conclusão da operação.

  2. Se desejar anexar os resultados ao final de uma tabela existente do Analytics, execute uma das seguintes ações:

    Selecione Anexar a um arquivo existente se estiver certo que os resultados e a tabela existente têm estrutura idêntica.

    Deixe a opção Anexar a um arquivo existente desmarcada se você deseja que o Analytics compare o comprimento dos registros dos resultados e da tabela existente. Se os comprimentos dos registros não forem idênticos, a estrutura de dados não será idêntica e a anexação não funcionará corretamente.

    Nota

    É recomendado deixar a opção Anexar a um arquivo existente desmarcada caso você não esteja certo de que os resultados e a tabela existente tenham a mesma estrutura de dados. Para obter mais informações sobre anexação e estrutura de dados, consulte Anexação de resultados de saída a uma tabela existente.

  3. Clique em OK.
  4. Se o prompt de substituição aparecer, selecione a opção adequada.

    Se estiver esperando que a opção Anexar seja exibida e ela não for, clique em Não para cancelar a operação e consulte Anexação de resultados de saída a uma tabela existente.