A cikk tartalma
A nagy nyelvi modellek nagyon jók a fárasztó, mintázatokban gazdag munkában. Egy régi térinformatikai rendszer átvitele tiszta PostGIS adatbázisba tele van ilyennel. A kérdés az, hogyan használjuk őket úgy, hogy az adat feletti kontrollt ne adjuk ki a kezünkből.
Mit bízunk az MI-re
Ismeretlen források profilozására (attribútumok, értékmintázatok, geometriatípusok, koordináta-rendszerek), a célmodellre való leképezések javaslatára, GDAL, SQL és Python transzformációs kód vázlatára, valamint validációs szabályok és dokumentáció írására használjuk. Ez minden migráció lassú, kézi része.
Mit nem csinál soha
Nem fut felügyelet nélkül éles adaton, és nem ő dönti el végül, mit jelent egy mező. Minden leképezést és szabályt mérnök vizsgál át, az élesben futó pedig hagyományos, verziózott kód. Ugyanaz a bemenet mindig ugyanazt a kimenetet adja.
Nyomon követhetőség
Minden folyamat egyeztető jelentéssel zárul: hány rekordot olvastunk, írtunk és utasítottunk el, indoklással. Bármely forrásrekord követhető a célig vagy egy dokumentált elutasításig. Ettől bízhat az eredményben, és ezt fogja kérni egy auditor is.
Érzékeny adatok
Állami és infrastruktúra-adatoknál helyben üzemeltetett, nyílt súlyú modelleket használunk, így semmi sem hagyja el a környezetet. Gyakran elég egy minta maszkolt érzékeny értékekkel, hogy a modell lássa a mintázatokat.
Hol térül meg
Minél rendezetlenebbek és változatosabbak a források, annál nagyobb a nyereség: sok tulajdonostól összevont nyilvántartások, évtizedes CAD fájlok, szabad szöveges attribútumú táblázatok. Egy tiszta, egyetlen formátumú adathalmaznál egy egyszerű szkript is ugyanolyan jó, és ezt meg is mondjuk.