Следует ли удалять дублирующие записи до запуска алгоритма EM Record Linkage?

Пример настройки

Я связываю набор данных, чтобы найти в нем повторяющиеся записи. Я не знаю, сколько раз дубликат может отображаться в моем наборе данных.

После моей блокировки я получаю следующий набор данных:

[Это примерный набор данных, а не мои настоящие данные]

1st Dataset: Region AB_1, df1 FName_1 SName_1 Area_1 Age_1 1a Ben Nevis AB 30 2a Ben Neviss AB 30 3a Andy Red AB 35 4a Andy Redd AB 35 2nd Dataset: Region AB_2, df2 FName_2 SName_2 Area_2 Age_2 1b Ben Nevis AB 30 2b Ben Neviss AB 30 3b Andy Red AB 35 4b Andy Redd AB 35 

Итак, я сравниваю записи в одном наборе данных друг с другом.

Я сравниваю приведенные выше наборы данных вместе с использованием алгоритма EM, основанного на алгоритме Fellegi Sunter, с переменными согласования «имя» и «фамилия».

Я создаю свое сравнительное пространство, сравнивая каждую запись в наборе данных 1 с каждой отдельной записью в наборе данных 2, то есть 4 * 4 = 16 возможных пар записей.

например

 Record 1 vs Record 2 1a 1b 1a 2b 1a 3b 1a 4b 2a 1b 2a 2b 2a 3b 2a 4b 3a 1b 3a 2b 3a 3b 3a 4b 4a 1b 4a 2b 4a 3b 4a 4b 

Проблема

Однако это означает, что одни и те же записи по сравнению с самим собой переходят в мой EM-алгоритм:

например

 1a 1b 2a 2b 3a 3b 4a 4b 

Они не требуются, они всего лишь остаток формирования пространства сравнения.

Поскольку алгоритм ЭМ является «алгоритмом обучения», который оптимизирует переменные весы согласования и несогласия на основе исходной информации, я по существу предоставляю ему больше информации о тренировках.

Это отражено в результатах;

Если я удалю эти записи, прежде чем запускать свой алгоритм, я получаю 3001 запись выше 0,9 (используя мой реальный набор данных).

Однако, если я удалю эти записи после запуска моего алгоритма, я получаю только 2486 записей выше 0,9 (используя мой реальный набор данных).

Т.е. более выборочно, если я включу эти повторяющиеся примеры.

В конце концов:

Для меня нет смысла включать их в EM, но я думаю, что удаление снижает точность моего алгоритма.

Должен ли я удалять эти известные дубликаты, прежде чем запускать EM?

• как найти высоту узла в двоичном дереве рекурсивно
• Как создать XML SignatureValue
• Поиск слов вокруг подстроки
• Эффективное битное использование в python3
• Как фильтровать номера, содержащие уникальные цифры?