AI-funktsioonid võivad triivida viisidel, mida traditsiooniline tarkvara ei tee — teenusepakkuja tõstab vaikselt latentsust, mudel regresseerub teatud küsimuste klassis, kulud roomavad meetritabaval API-l. AI valvur on pind, kus juurutuse eest vastutaja näeb, mida AI organisatsioonis tegelikult teeb.
Iga AI-päring logitakse koos viiba teksti, vastuse teksti, funktsiooni nime, teenusepakkuja, mudeli, sisend- ja väljundmärkide arvu, kestuse, oleku, veateate ja USD-kuluga. Logi on filtreeritav kasutaja, paigalduse, funktsiooni, oleku, teenusepakkuja ja kuupäevavahemiku järgi — uurimine kitseneb kiiresti, kui midagi kahtlast paistab.
- Kululäbipaistvus. Hind päringu kohta, kokku kasutaja kohta, kokku paigalduse kohta, kokku funktsiooni kohta. Oma-võtit kasutavad kliendid näevad, kui palju teenusepakkuja oleks võtnud; RaulWalteri-võtit kasutavad kliendid näevad täpselt, kui palju meie võtsime.
- Ludwigi tõhusus. Korduspäringute tuvastus märgib vestlused, kus kasutaja sõnastas sama küsimuse viie minuti jooksul ümber — kõrge korduste määr tähendab, et Ludwig esimese korraga ei rahuldanud. Tehtud Jaccardi sarnasusega sisutõenditel (mitmekeelsete kõrvalsõnadega välja võetud), nii et kaks tõeliselt erinevat küsimust ei skoori kordustena.
- Küsimuste teemajaotus. Iga Ludwigi vestlus liigitatakse kasutatud tööriistade järgi: riskid, meetmed, poliitikad, varad, protsessid, intsidendid, ülesanded, audit, otsing, tegevused. Sa näed, mida tiim AI-lt küsib, mitte ainult kui sageli.
- Vigade nähtavus. Ebaõnnestunud päringud tulevad esile koos veateate, teenusepakkuja ja mudeliga — kiire tagasiside, kui tabab teenusekatkestus või kvoot.
Loetletud kataloogis, et funktsioon oleks leitav, kuid kunagi eraldi ei arveldata — iga Cybsis paigaldus sisaldab seda. Süsteemiadministraatori ulatus: AI juurutuse eest vastutavad inimesed näevad AI juurutust.