Função DICECOEFFICIENT( )

Retorna o coeficiente de Dice entre duas cadeias especificadas, que é uma medida de quanto as duas cadeias são similares.

Sintaxe

DICECOEFFICIENT(cadeia1; cadeia2 <;ngrama>)

Parâmetros

Saída

Numérico. O valor é o coeficiente de Dice das duas cadeias, que representa a porcentagem do número total de ngramas nas duas cadeias que são idênticos. O intervalo é de 0,0000 a 1,0000, inclusive.

Exemplos

Exemplos básicos

Como o comprimento do ngrama afeta o resultado

Os três exemplos abaixo comparam as duas mesmas cadeias. O grau de similaridade retornado varia em função do comprimento de ngrama especificado.

Retorna 0,9167 (usando o comprimento padrão de ngrama (2), os ngramas nas duas cadeias são 92% idênticos):

DICECOEFFICIENT("125 SW 39TH ST, Suite 100";"Suite 100, 125 SW 39TH ST")

Retorna 1,0000 (usando um comprimento de ngrama de 1, os ngramas nas duas cadeias são 100% idênticos):

DICECOEFFICIENT("125 SW 39TH ST, Suite 100";"Suite 100, 125 SW 39TH ST"; 1)

Retorna 0,8261 (usando um comprimento de ngrama de 3, os ngramas nas duas cadeias são 83% idênticos):

DICECOEFFICIENT("125 SW 39TH ST, Suite 100";"Suite 100, 125 SW 39TH ST"; 3)

Entrada de campo

Retorna o coeficiente de Dice de cada valor no campo Endereço, quando comparado à cadeia "125 SW 39TH ST, Suite 100" (com base no comprimento padrão de ngrama de 2):

DICECOEFFICIENT(Endereço;"125 SW 39TH ST, Suite 100")

Exemplos avançados

DICECOEFFICIENT("John Smith";"Smith, John")

DICECOEFFICIENT("John Smith"; EXCLUDE("Smith, John"; ","); 1)

DEFINE FIELD Co_Dice COMPUTED DICECOEFFICIENT(Endereço;"125 SW 39TH ST, Suite 100")

SET FILTER TO DICECOEFFICIENT(Endereço;"125 SW 39TH ST; Suite 100") > 0,5

Observações

Quando usar DICECOEFFICIENT( )

Use a função DICECOEFFICIENT( ) para encontrar valores praticamente idênticos (duplicidades parciais). Você também pode usar DICECOEFFICIENT( ) para encontrar valores com conteúdo idêntico ou quase idêntico com elementos transpostos. Por exemplo:

• números de telefone ou números de previdência social com dígitos transpostos
• versões do mesmo endereço com formatações diferentes

Como funciona?

DICECOEFFICIENT( ) retorna o coeficiente de Dice das duas cadeias avaliadas, que é uma medida do grau de similaridade entre as cadeias em uma escala de 0,0000 a 1,0000. Quanto maior o valor retornado, maior a semelhança das duas cadeias:

• 1,0000 – indica que cada cadeia é composta por um conjunto de caracteres idêntico, embora os caracteres possam estar em ordem diferente ou serem caracteres maiúsculos em um conjunto de caracteres e caracteres minúsculos no outro conjunto de caracteres.
• 0,7500 – significa que os ngramas nas duas cadeias são 75% idênticos.
• 0,0000 – significa que as duas cadeias não têm ngramas compartilhados (explicado abaixo) ou que o comprimento especificado do ngrama usado no cálculo é maior que o comprimento da menor das duas cadeias comparadas.

Dicas de uso

• Filtragem ou ordenação A filtragem ou a ordenação dos valores em um campo com base em seu coeficiente de Dice identifica os valores mais semelhantes à cadeia de comparação.
• Diferenciação de maiúsculas e minúsculas A função não diferencia maiúsculas de minúsculas, portanto "SMITH" é equivalente a "smith."
• Brancos à esquerda e à direita A função elimina automaticamente brancos à esquerda ou à direita, eliminando, portanto, a necessidade de usar as funções TRIM( ) ou ALLTRIM( ) ao especificar um campo como parâmetro.
• Remoção de elementos genéricos As funções OMIT( ) e EXCLUDE( ) podem melhorar a eficácia da função DICECOEFFICIENT( ) removendo elementos genéricos, como "Companhia" ou "Inc." ou caracteres como vírgulas, pontos e E comercial (&) dos valores do campo.

  A remoção de elementos e pontuação genéricos concentra a comparação de cadeia DICECOEFFICIENT( ) somente na parte das cadeias onde pode ocorrer uma diferença significativa.

Como o coeficiente de Dice é calculado

O coeficiente de Dice representa a porcentagem do número total de ngramas em duas cadeias que são idênticos.

O coeficiente de Dice é calculado dividindo antes as cadeias sendo comparadas em ngramas. Os ngramas (também denominados qgramas) são subcadeias ou blocos de caracteres sobrepostos, com um comprimento de n. Você pode especificar o n usando o parâmetro ngrama ou aceitar o comprimento padrão de 2.

Dois nomes divididos em ngramas

Aqui estão os nomes "João Silva" e "Silva, João" divididos em ngramas com comprimento de 2 e ngramas com comprimento de 3. Os sublinhados indicam espaços. Os espaços internos e a pontuação são contados como caracteres.

Fórmula do coeficiente de Dice

Após estabelecer os ngramas para as duas cadeias sendo comparadas, o cálculo é concluído usando a fórmula a seguir:

• 2 x número de ngramas compartilhados / número total de ngramas nas duas cadeias

Ngramas compartilhados são ngramas que aparecem nas duas cadeias. Por exemplo, "ABC" e "BCD" compartilham o ngrama "BC", supondo um comprimento de ngrama de 2 (AB | BC e BC | CD).

Exemplos de cálculo do coeficiente de Dice

A tabela abaixo ilustra o cálculo do coeficiente de Dice para duas cadeias similares, "John Smith" e "Smith, John D.", usando comprimentos de ngrama diferentes.

Observe que à medida que o comprimento do ngrama aumenta para o mesmo par de cadeias, o valor do coeficiente de Dice diminui, indicando menos similaridade. Embora as cadeias sejam as mesmas, o critério de similaridade torna-se mais rigoroso porque a divisão das cadeias em ngramas-maiores significa que sequências mais longas de caracteres devem corresponder para que um ngrama se qualifique como compartilhado.

Outra maneira de pensa sobre esse ponto é que a ponderação da posição relativa dos caracteres aumenta em conjunto com o comprimento ngrama. Em contrapartida, a posição relativa dos caracteres não é considerada quando é usado um ngrama de comprimento 1. A posição relativa é a posição dos caracteres entre si, em vez da posição absoluta em uma cadeia.

DICECOEFFICIENT( ) comparado a ISFUZZYDUP( ) e a LEVDIST( )

Uma das principais diferenças entre a função DICECOEFFICIENT( ) e as funções ISFUZZYDUP( ) e LEVDIST( ), que usam a distância de Levenshtein, é que DICECOEFFICIENT( ) não prioriza ou ignora completamente a posição relativa dos caracteres ou blocos de caracteres nas duas cadeias sendo comparadas. A posição relativa é significativa nas funções baseadas na distância de Levenshtein.

Valores de comparação com transposição

Se você está comparando cadeias como endereços, em que elementos inteiros podem ser transpostos, DICECOEFFICIENT( ) pode ser uma escolha melhor. Por exemplo, o mesmo endereço, com o elemento "Suite" transposto, é identificado como altamente similar por DICECOEFFICIENT( ), mas como altamente diferente por LEVDIST( ):

Valores de comparação sem transposição

Se a transposição não é um problema, LEVDIST( ) pode oferecer resultados mais úteis. Por exemplo, o mesmo nome de empresa com pontuação diferente é identificado como altamente diferente por DICECOEFFICIENT( ), mas como altamente similar por LEVDIST( ):