Vo väčšine firiem, ktoré rástli niekoľko rokov, existuje tá istá firma v systéme viackrát. Raz ju založil obchodník po telefonáte, raz vznikla automaticky z objednávky v e-shope, raz ju priniesla fakturácia z inej firmy pri prevzatí zákazky. Každý záznam má trochu iný názov, iné IČO vyplnené alebo nevyplnené, iný kontakt. Nikto nevie s istotou povedať, ktorý z nich je aktuálny.
Toto nie je dôsledok nedbalosti. Je to prirodzený výsledok toho, že zákazník do firmy vstupuje viacerými kanálmi naraz, a každý z nich mal svoj vlastný spôsob, ako záznam založil.
Prečo duplicity vznikajú
- Rôzne kanály vstupu. Obchodník, e-shop, fakturačný systém, marketingový formulár — každý môže vytvoriť nový záznam, ak si nevšimne, že zákazník už existuje.
- Preklepy a varianty názvu. „ABC s.r.o.", „ABC, s. r. o." a „ABC spol. s r.o." sú pre systém tri rôzne reťazce, hoci ide o tú istú firmu.
- Zmena údajov v čase. Firma zmení sídlo, štatutára alebo sa premenuje po akvizícii — starý záznam ostáva a nový vznikne popri ňom.
- Chýbajúce jednoznačné pravidlo pri zakladaní. Ak systém nevynucuje kontrolu podľa IČO alebo iného jednoznačného identifikátora pred založením nového záznamu, duplicita vznikne pri prvej nepozornosti.
Čo sa dá čistiť automaticky
Nájdenie kandidátov na duplicitu. Porovnanie podľa IČO je jednoznačné a bezpečné — dve firmy s rovnakým IČO sú tá istá firma s istotou. Porovnanie podľa názvu a adresy je pravdepodobnostné: podobnosť textu, podobná adresa, rovnaké telefónne číslo. Toto vie systém navrhnúť ako pravdepodobný pár, nie potvrdiť.
Normalizácia formátu. Zjednotenie zápisu — veľkosť písmen, medzery, diakritika, formát telefónneho čísla. Toto je bezpečná automatizácia, lebo nemení význam dát, len ich tvar.
Doplnenie chýbajúcich údajov z verejných registrov. Ak má záznam IČO, ale chýba mu právna forma alebo aktuálna adresa, dá sa doplniť z verejne dostupného registra. Toto sme podrobnejšie rozobrali v prípadovej štúdii automatizovaného overovania údajov z verejných registrov, princíp je rovnaký aj pri jednoduchšom dopĺňaní záznamov.
Upozornenie na podozrivý duplicitný zápis pri zakladaní. Namiesto čistenia po fakte je účinnejšie zabrániť vzniku duplicity už pri zakladaní nového záznamu — systém upozorní obchodníka, že podobný záznam už existuje, skôr než sa založí ďalší.
Prečo automatické zlučovanie bez dohľadu je nebezpečné
Toto je miesto, kde sa automatizácia najčastejšie preženie. Zlúčenie dvoch záznamov znamená spojiť históriu objednávok, faktúr a komunikácie do jedného — a ak sa zlúčia dve rôzne firmy, ktoré si len podobajú (rovnaké meno v inom meste, franšízový partner s vlastným IČO), vznikne škoda, ktorú je ťažké rozpliesť.
| Situácia | Automatizovať | Prečo |
|---|---|---|
| Zhoda podľa IČO | áno, automaticky zlúčiť | jednoznačný identifikátor |
| Zhoda názvu a adresy nad 90 % | navrhnúť na schválenie | pravdepodobné, nie isté |
| Podobný názov, iné mesto | neponúkať ako duplicitu | môže ísť o pobočku alebo inú firmu |
| Rovnaké telefónne číslo, iný názov | navrhnúť na schválenie | môže byť ten istý kontakt vo firme |
Kto je zdroj pravdy
Predtým než sa spustí čokoľvek automatické, musí byť jasné, ktorý systém je pre ktoré pole zdroj pravdy. Ak CRM aj fakturačný systém obsahujú adresu zákazníka a líšia sa, automat bez tohto pravidla nevie, ktorú prepísať a ktorú zachovať — len prenáša neistotu z jedného miesta na druhé.
Typické rozdelenie:
- Fakturačné a právne údaje (IČO, DIČ, sídlo) — zdroj pravdy je väčšinou účtovný alebo ERP systém, prípadne priamo verejný register.
- Kontaktné údaje pre obchod (osoba, telefón, e-mail) — zdroj pravdy je CRM, kde ich obchodník priebežne aktualizuje.
- Preferencie a história komunikácie — zdroj pravdy je systém, kde komunikácia reálne prebieha.
Toto rozdelenie súvisí s tým, ako sa systémy vôbec prepájajú — podobnú úvahu sme rozoberali pri prepojení ERP, CRM a e-shopu, kde jeden zdroj pravdy pre každý typ dát je podmienkou, nie voliteľnou vecou.
Prečo je to priebežný proces, nie projekt
Jednorazové vyčistenie databázy prinesie viditeľný efekt hneď, ale bez zmeny v tom, ako záznamy vznikajú, sa špina vracia rovnakým tempom. Za pol roka bude databáza opäť plná duplicít, pokiaľ sa nezmení proces zakladania nových záznamov — kontrola pri vstupe, jednotný formulár, povinné pole na IČO tam, kde je dostupné.
Účinný prístup kombinuje jednorazové vyčistenie existujúcich dát s trvalou zmenou procesu, ktorá zabráni vzniku nových duplicít. Bez druhej časti je prvá len dočasná kozmetika.
Zhrnutie
Duplicity v zákazníckych dátach vznikajú z viacerých vstupných kanálov, nie z nedbalosti, a čistenie má zmysel len vtedy, ak sa spojí s trvalou zmenou procesu zakladania záznamov. Zhodu podľa jednoznačného identifikátora ako IČO možno zlučovať automaticky, pravdepodobnostnú zhodu len navrhovať na schválenie. A predtým, než sa čokoľvek automatizuje, musí byť jasné, ktorý systém je zdroj pravdy pre ktoré pole.
Rozsah takéhoto projektu závisí od počtu systémov, ktoré dáta o zákazníkoch držia, a od toho, ako veľmi sa dnes líšia. Ak riešite podobnú situáciu, prejdeme si ju na nezáväznej konzultácii.