Referenssidata ja rikastus
34 miljoonaa riviä, yhtenä vaiheena
Maita, kieliä ja valuuttoja. 13,4 miljoonaa asuttua paikkaa ja maantieteellistä kohdetta. 19 miljoonaa nimivarianttia. Kaksi miljoonaa postinumeroa. Lentokentät, merisatamat, automerkit. 65 rajapintaa, ei autentikointia, ei hintalistaa, koska kyseessä on sama alusta, jolla työnkulkusi jo ajavat.
Miksi tämä on poikkeuksellista
Kaikissa muissa automaatiotyökaluissa ”tarkista tämä osoite” on maksullinen kolmannen osapuolen integraatio. Etsit toimittajan, avaat tilin, sovit hinnastosta, saat avaimen, tallennat avaimen, valvot kiintiötä ja neuvottelet uudelleen, kun volyymisi muuttuu. Itse haku kestää kaksikymmentä millisekuntia; hankinta kestää pari viikkoa.
Tässä se on yksi vaihe valitsimessa. Data on julkista referenssidataa — GeoNames, viralliset koodistot, julkaistut rekisterit — joka on puhdistettu, indeksoitu ja tarjoillaan castomAPI:n kautta. Se on olemassa, koska tusina tämän perheen tuotteista tarvitsi saman asian, ja sen rakentaminen kerran oli halvempaa kuin kahdestitoista kertaa.
Haku perustuu trigrammeihin ja vaatii vähintään kolme merkkiä, joten osittainen tai väärin kirjoitettu nimi löytää paikan siltä. Kolmen merkin minimi on tarkoituksellinen: kaksi merkkiä täsmää kaikkeen, ja haku, joka täsmää kaikkeen, on huonompi kuin ei hakua lainkaan.
Kolme asiaa, joita sillä tehdään
Tarkista — pysäytä huono data jo ovelle. Onko tämä oikea postinumero tälle kaupungille? Onko tämä maakoodi olemassa, vai onko se jonkun vuonna 2019 tekemä kirjoitusvirhe, joka on levinnyt siitä lähtien? Onko PLN valuutta, ja onko se se, jolla tämän asiakkaan pitäisi maksaa?
Normalisoi — ”Warsaw”, ”Warszawa”, ”Varsovie” ja ”Варшава” ovat yksi paikka yhdellä tunnisteella. Kahdeksantoista miljoonaa nimen varianttia on olemassa, jotta asiakastietokantasi ei tarvitse säilyttää neljää kirjoitusasua samasta kaupungista ja esittää niitä neljänä kaupunkina.
Rikasta — kaupungin nimestä tulee koordinaatit, aikavyöhyke, hallinnollinen alue ja väkiluku. Lentokenttäkoodista tulee nimi ja sijainti. Postinumerosta tulee kaikki, mikä on sitä hierarkiassa ylempänä. Kuusi kenttää, jotka ihminen muuten kirjoittaisi itse, täytettynä kahdessakymmenessä millisekunnissa ilmaiseksi.
Aikavyöhyke on se hiljainen
Paikan ratkaiseminen antaa sinulle sen aikavyöhykkeen, ja aikavyöhyke tekee siitä, että ”lähetä tämä kello yhdeksän aamulla” tarkoittaa yhdeksää aamulla vastaanottajalle etkä sinulle. Hiljaiset tunnit, aikataulut ja muistutukset muuttuvat oikeiksi kansainväliselle listalle ilman, että kukaan ylläpitää kartoitustaulukkoa.
- 1Syöte”ul. Powstańców Śląskich 5, 53-332 Wrocław, PL”
- 2Postinumero täsmäytetty53-332 → Wrocław, Dolnośląskie, PL.
- 3Paikka selvitetty51.0938 N, 17.0226 E · Europe/Warsaw · väkiluku 674 079.
- 4Kirjoitettu takaisinKuusi kenttää täytettynä, jotka ihminen muuten olisi näppäillyt.
- §HintaDeterministinen vaihe. Ei avainta, ei kiintiötä, ei maksua per haku.
Kulunut aika: 40 ms65 päätepistettä käytettävissä
Kolmekymmentäneljä miljoonaa riviä. Yksi vaihe.
Työesimerkkejä
Missä se ansaitsee paikkansa
Ennen kuin kuljetusliike näkee sen
Osoite tarkistettu ja normalisoitu ennen lähetystarran ostamista. Hylätty tarra maksaa kulun ja päivän; hylätty postinumero maksaa kaksikymmentä millisekuntia.
Ennen kuin kirjanpitäjä näkee sen
Valuuttakoodi ja maakoodi tarkistettu ennen laskun laatimista, mikä on huomattavasti halvempaa kuin niiden tarkistaminen sen jälkeen, kun lasku on lähetetty.
Listan deduplikointi
Kaksi tietuetta, joissa on sama asiakas saman kaupungin kahdella kirjoitusasulla, yhdistyvät oikein, kun molemmat kaupungit ratkeavat samaan tunnisteeseen.
Reititys maantieteen mukaan
Koordinaatit asiakkaalle ja koordinaatit varastoillesi, ja ajo valitsee lähimmän ilman, että kukaan ylläpitää postinumero–varasto-taulukkolaskentaa.
Kieli, oikein
Maa ratkeaa sen kieliksi, joten lähtevä viesti on kielellä, jota vastaanottaja todennäköisesti lukee — päätöksen tekee data, ei lipusta tehty oletus.
Kalusto ja logistiikka
Ajoneuvomerkit, lentokentät ja satamat kanonisten tietueina niille työnkuluille, joiden työhön kuuluu jotain fyysisesti liikkuvaakin.
Rehelliset rajat
Tämä on julkista referenssidataa, ei kaupallinen osoitteiden varmennuspalvelu. Se kertoo, että 53-332 on oikea postinumero Wrocławissa, ja antaa paikkakunnan koordinaatit. Se ei kerro, onko osoitteessa 5 olemassa asuntoa 212 tai asuuko siellä kukaan. Toimituspistetasoinen varmennus vaatii kansallisen postin operaattorin tuotteen, ja työnkulku voi kutsua sellaista HTTP:n kautta tämän rinnalla.
Tämä ei myöskään ole henkilötiedon lähde. Siinä ei ole ihmisiä. Se sisältää paikkoja, koodeja, rekistereitä ja julkisia faktoja — juuri siksi sen voi tarjota ilman tunnistautumista.
Tuoreudesta: referenssidata muuttuu hitaasti, ja tämä päivitetään aikataulussa eikä jatkuvasti. Äskettäin uudelleennimetty kylä ei ilmesty samana iltapäivänä. Kaikkeen, joka muuttuu tunneittain, tarvitset tapahtumasyötteen, joka on rakennettu juuri siihen.