Fonction DICECOEFFICIENT( )

Renvoie le coefficient de Dice de deux chaînes de caractères spécifiées : il s'agit de la mesure de la similarité entre deux chaînes.

Syntaxe

DICECOEFFICIENT(chaîne_de_caractères1; chaîne_de_caractères2 <;ngram>)

Paramètres

Sortie

Numérique. La valeur est le coefficient de Dice des deux chaînes de caractères, qui représente le pourcentage du nombre total de n-grammes dans les deux chaînes de caractères qui sont identiques. La plage s'étend de 0,0000 à 1,0000 compris.

Exemples

Exemples basiques

Incidence de la longueur en n-grammes sur le résultat

Les trois exemples ci-après comparent les mêmes deux chaînes. Le degré de similarité renvoyé varie selon la longueur en n-grammes spécifiée.

Renvoie 0,9167 (en utilisant la longueur en n-grammes par défaut (2), les n-grammes dans les deux chaînes de caractères sont identiques à 92 %) :

DICECOEFFICIENT("125 SW 39TH ST, Suite 100";"Suite 100, 125 SW 39TH ST")

Renvoie 1,0000 (en utilisant une longueur en n-grammes de 1, les n-grammes dans les deux chaînes de caractères sont identiques à 100 %) :

DICECOEFFICIENT("125 SW 39TH ST, Suite 100";"Suite 100, 125 SW 39TH ST"; 1)

Renvoie 0,8261 (en utilisant une longueur en n-grammes de 3, les n-grammes dans les deux chaînes de caractères sont identiques à 83 %) :

DICECOEFFICIENT("125 SW 39TH ST, Suite 100";"Suite 100, 125 SW 39TH ST"; 3)

Entrée de champ

Renvoie le coefficient de Dice de chaque valeur du champ Adresse lors de la comparaison avec la chaîne de caractères "125 SW 39TH ST, Suite 100" (basé sur la longueur en n-grammes par défaut de 2) :

DICECOEFFICIENT(Adresse;"125 SW 39TH ST, Suite 100")

Exemples avancés

DICECOEFFICIENT("John Smith";"Smith, John")

DICECOEFFICIENT("John Smith"; EXCLUDE("Smith, John"; ","); 1)

DEFINE FIELD Co_Dice COMPUTED DICECOEFFICIENT(Adresse;"125 SW 39TH ST; Suite 100")

SET FILTER TO DICECOEFFICIENT(Adresse;"125 SW 39TH ST, Suite 100") > 0,5

Remarques

Quand utiliser DICECOEFFICIENT( )

Utilisez la fonction DICECOEFFICIENT( ) pour rechercher des valeurs presque identiques (des doublons approximatifs). DICECOEFFICIENT() sert aussi à rechercher les valeurs ayant des contenus identiques ou presque identiques, à l'exception des éléments transposés. Par exemple :

• des numéros de téléphone ou des numéros de sécurité sociale, avec des chiffres transposés
• des versions de la même adresse, mise en forme différemment

Fonctionnement

DICECOEFFICIENT( ) renvoie le coefficient de Dice des deux chaînes de caractères évaluées. Le coefficient de Dice mesure le degré de similarité entre les chaînes, sur une échelle de 0,0000 à 1,0000. Plus la valeur renvoyée est grande, plus les deux chaînes sont similaires :

• 1,0000 : signifie que chaque chaîne de caractères est composée d'un jeu de caractères identique, bien que les caractères puissent être présentés dans un ordre différent et utiliser une casse différente.
• 0,7500 : signifie que les n-grammes dans les deux chaînes de caractères sont identiques à 75 %.
• 0,0000 : signifie que les deux chaînes de caractères n'ont aucun n-gramme (expliqué ci-dessous) en commun ou que la longueur spécifiée du n-gramme utilisé dans le calcul est plus longue que la plus courte des deux chaînes comparées.

Conseils d'utilisation

• Filtre ou tri Filtrer ou trier les valeurs d'un champ en fonction de leur coefficient de Dice identifie les valeurs ressemblant le plus à la chaîne de comparaison.
• Sensibilité à la casse Cette fonction n'est pas sensible à la casse (par ex., « MARTIN » est équivalent à « martin ».
• Espaces de début et de fin La fonction tronque également les espaces de début et de fin dans les champs de manière automatique. Vous n'avez donc pas besoin d'utiliser la fonction TRIM( ) ou ALLTRIM( ) lorsque vous renseignez un champ comme paramètre.

Mode de calcul du coefficient de Dice

Le coefficient de Dice représente le pourcentage du nombre total de n-grammes dans les deux chaînes de caractères qui sont identiques.

Le coefficient de Dice est calculé en divisant d'abord les chaînes de caractères à comparer en n-grammes. Les N-grammes (aussi appelés q-grammes) sont des sous-chaînes ou des blocs de caractères qui se chevauchent, d'une longueur de n. Il est possible de spécifier la longueur de n à l'aide du paramètre ngram ou d'accepter la longueur par défaut de 2.

Deux noms divisés en n-grammes

Ci-dessous les noms « John Smith » et « John D. Smith » sont divisés en n-grammes d'une longueur de 2 et en n-grammes d'une longueur de 3. Les caractères de soulignement indiquent les espaces. Les espaces internes et la ponctuation comptent comme des caractères.

Formule du coefficient de Dice

Une fois que les n-grammes ont été définis pour les deux chaînes de caractères à comparer, le calcul est effectué à l'aide de la formule suivante :

• 2 x nombre de n-grammes en commun / nombre total des n-grammes dans les deux chaînes de caractères

Les n-grammes en commun sont les n-grammes qui apparaissent dans les deux chaînes de caractères. Par exemple, « ABC » et « BCD » ont en commun le n-gramme « BC », en supposant une longueur en n-gramme de 2 (AB | BC et BC | CD).

Exemples de calcul du coefficient de Dice

Le tableau ci-dessous illustre le calcul du coefficient de Dice pour les deux chaînes de caractères, « John Smith » et « John D. Smith », à l'aide de différentes longueurs en n-grammes.

Notez que lorsque la longueur en n-grammes augmente pour la même paire de chaînes de caractères, la valeur du coefficient de Dice diminue, ce qui indique une similarité moindre. Bien que les chaînes de caractères restent identiques, le critère de similarité est plus strict car diviser les chaînes en n-grammes plus longs implique que les séquences de caractères plus longues doivent correspondre à un n-gramme pour être considérées comme n-gramme en commun.

Une autre façon de voir les choses à ce stade serait que la position relative des caractères pèse davantage à mesure que vous augmentez la valeur des n-grammes. Par contraste, la position relative des caractères n'est pas prise en compte lors de l'utilisation d'une longueur en n-grammes de 1. La position relative des caractères renvoie à la position des caractères par rapport aux autres, plutôt qu'à leur position absolue au sein d'une chaîne.

DICECOEFFICIENT( ) comparée à ISFUZZYDUP( ) et LEVDIST( )

L'une des principales différences entre la fonction DICECOEFFICIENT( ), la fonction ISFUZZYDUP( ) et la fonction LEVDIST( ), qui utilisent la distance Levenshtein, c'est que la fonction DICECOEFFICIENT( ) ne met pas l'accent sur la position relative des caractères ou des blocs de caractères, voire les ignore, dans les deux chaînes comparées. La position relative est un critère important dans les fonctions basées sur la distance Levenshtein.

Comparaison des valeurs avec transposition

Si vous comparez des chaînes de caractères comme des adresses, dans lesquelles des éléments entiers peuvent être transposés, il se peut que la fonction DICECOEFFICIENT( ) soit un meilleur choix. Par exemple, la même adresse avec la transposition de l'élément "Suite" est identifiée comme très similaire par la fonction DICECOEFFICIENT( ), mais très différente avec la fonction LEVDIST( ) :

Comparaison des valeurs sans transposition

Si la transposition ne présente pas de problème, il se peut que la fonction LEVDIST( ) donne des résultats plus utiles. Par exemple, le même nom d'entreprise avec une ponctuation différente est identifié comme très différent par la fonction DICECOEFFICIENT( ), mais très similaire avec la fonction LEVDIST( ) :