Kodulabori hindamisraamistik
Iga Kodulabori projekti hinnatakse üheksa mõõtme alusel. Tegemist ei ole samm-sammulise protsessiga — see on mõõtmisraamistik, mida rakendatakse reaalsele tööle kontrollitud tingimustes. Uurime probleemi, tehisintellekti lähenemisviisi, sellega seotud inimtöö mahtu, kuidas see võrdub traditsiooniliste meetoditega ja kas see võiks sobida ka kellelegi teisele. Iga mõõde annab osa tervikpildist. Koos näitavad need, kas tehisintellektist oli tegelikult abi.
Probleem
Mida tuli lahendada, kelle jaoks ja miks see oli oluline. Konkreetne töövoog, valupunkt ja milline oleks edu.
Tehisintellekti lähenemisviis
Millised tööriistad valiti, miks just need ja kuidas neid täpselt rakendati. Mudeli valik, prompt engineering, integratsioonipunktid ning kus lõpeb tehisintellekt ja algab inimese otsustusvõime.
Inimtöö
Projektile kulutatud tegelikud tunnid. Jaotatuna tehisintellekti abil tehtud töö ja käsitsi tehtud töö vahel. Siin on täpsus oluline.
Traditsiooniline võrdlusalus
Mida see ülesanne oleks maksnud või kui palju aega oleks võtnud ilma tehisintellektita. Kas ajalooliste andmete põhjal või hoolika hinnangu alusel, mis tugineb töö tegelikule kulgemisele.
Kiirendustegur
Traditsioonilise töö ja tehisintellekti abil tehtud töö suhe. Kui traditsiooniline töö võttis aega 100 tundi ja tehisintellekti abiga 30 tundi, on kiirendustegur 3,3x.
Kvaliteedi hindamine
Kuidas vastab tehisintellekti abil loodud tulemus traditsioonilistele kvaliteedistandarditele? Kas see on samaväärne, mõnes mõttes parem või teistes halvem? Mida tuli parandada?
Lõksud ja piirangud
Mis ei töötanud. Äärejuhtumid, kus tehisintellekt ebaõnnestus, hetked, mil oli vaja inimese poolt parandamist, piirangud, millega kokku puutusime, ja asjad, mis meid üllatasid.
Korratavus
Kas keegi teine suudaks sarnaste tööriistade ja sarnase tööga seda tulemust korrata? Hinnatakse skaalal 1–5. 5 tähendab, et lähenemisviis on lihtne ja üldine. 1 tähendab, et see oli kohandatud ja spetsiifiline.
Kokkuvõte
Üldine hinnang. Kas tehisintellekt aitas siin? Kui palju? Mida teeksime järgmine kord teisiti? Kes peaks ja kes ei peaks seda lähenemisviisi proovima?
Miks see raamistik on olemas
AI-hype on kõikjal. Väiteid on lihtne esitada. Andmed on haruldased. See raamistik on olemas, sest on vahe vahendil, mis tundub hetkel abiks olevat, ja vahendil, mis mõõdetavalt parandab seda, kuidas töö tegelikult tehtud saab. Mõõdame üheksat mõõdet — probleem, lähenemisviis, pingutus, võrdlusalus, kiirendus, kvaliteet, lõksud, korratavus ja kokkuvõte —, sest see on ainus viis teada saada, kas tehisintellekt tõesti aitas või lihtsalt tundus muljetavaldav. Dokumenteerime, mis läks valesti. Jagame numbreid. Nii valdkond areneb.
Märkus andmeallikate kohta
Kõik andmed pärinevad tegelikust tööst. Ajalogid tegelikest sessioonidest, tokenite arvud API-kõnedest, kvaliteedihinnangud töö tegijatelt ja dokumenteeritud hetked, mil tehisintellekt vajas inimese poolt parandamist. Ei mingeid patenteeritud mudeleid, ei mingeid sünteetilisi võrdlusaluseid. Iga mõõde — töömaht tundides, kiirendustegur, korratavuse skoor — pärineb mõõtmisest, mitte intuitsioonist. Kui soovite tulemusi korrata, on numbrid teie käsutuses.
Juhtumiuuringu mall
Iga juhtumiuuring järgib seda struktuuri. Saate kasutada sama ülesehitust oma tehisintellekti projektide dokumenteerimiseks. Iga pealkirja kõrval olev küsimus on suuniseks — vastake sellele ausalt, lisage numbreid ja ärge varjake keerulisi osi.
Probleem
Milline oli konkreetne ülesanne või töövoog? Kes seda tegi ja mis tegi selle raskeks? Kuidas nägi edu välja?
Tehisintellekti lähenemisviis
Milliseid AI-tööriistu kasutati? Miks just need tööriistad? Kuidas need seadistati — millised käsklused, millised parameetrid, millised integratsioonipunktid? Kus automatiseerimist teadlikult välditi?
Inimtöö
Kui palju aega see kokku võttis? Jagage see osadeks: kui palju oli tehisintellekti abil tehtud tööd võrreldes käsitsi tehtud tööga? Kaasa arvatud kõik lisakulud — seadistamine, iteratsioonid, parandused, ülevaatused.
Traditsiooniline võrdlusalus
Ilma tehisintellektita — ilma tööriistadeta, ainult inimtööga — kui kaua see oleks võtnud? Kasutage tegelikke andmeid, kui need on kättesaadavad, või hoolikat hinnangut varem tehtud sarnase töö põhjal.
Kiirendustegur
Jagage traditsiooniline töömaht tehisintellekti abil tehtud töömahuga. Kui traditsiooniline töö oleks võtnud 40 tundi ja tehisintellekti abil 12 tundi, on tegur 3,3x. Arvestage kaasa ka töö, mida ilma tehisintellektita üldse tehtud ei oleks.
Kvaliteedi hindamine
Kas tulemus on sama hea, kui see oleks olnud ilma tehisintellektita? Mõnes mõttes parem? Halvem? Mida tuli käsitsi parandada? Kas tehti kvaliteediga seotud kompromisse?
Lõksud ja piirangud
Mis läks valesti? Millal tehisintellekt ebaõnnestus? Milliste äärejuhtumitega kokku puututi? Mis vajas inimese sekkumist? Mille eest hoiataksite kedagi teist?
Korratavus
Kas keegi teine saaks teha täpselt sama, kasutades samu tööriistu, ja saada sarnaseid tulemusi? Hinnake 1–5. Selgitage hinnangut.
Kokkuvõte
Kokkuvõttes: kas tehisintellekt aitas? Kui palju? Kas teised peaksid seda lähenemisviisi proovima? Mida tehtaks teisiti? Kellele see sobib ja kes peaks seda vältima?
Andmete lisa
Loetlege kasutatud tööriistad, tokenite arvud, kulud, ajakulu jaotus, käsklused (kui neid saab jagada) ning muud toorandmed, mis toetavad juhtumiuuringut. Just see võimaldab lugejatel tulemusi kontrollida ja kordada.