Natrag na označavanje · English
Kako radi pouzdanost
Ova stranica objašnjava kako stranica {{app_host}} procjenjuje pouzdanost odgovora i kako iz njih nastaju oznake u skupu podataka. Služi kao informacija; ne tražimo da je prihvatite. Pravni opis te obrade, pravnu osnovu i Vaša prava navodi obavijest o privatnosti (odjeljak 9).
1. Ukratko
Svi se odgovori ne broje jednako. Za svakog sudionika i svaku vrstu zadatka (parovi riječi, leme, korijeni) aplikacija procjenjuje koliko su mu odgovori točni i prema tome im daje težinu. Primjer se smatra riješenim tek kada se na njemu slaže dovoljno pouzdanih odgovora. Procjene se ponovno izračunavaju otprilike svakih 10 minuta iz svih dotadašnjih odgovora, pa se novi odgovori u njima pokazuju s malim zakašnjenjem.
2. Primjeri s poznatim odgovorom
Među primjere su bez najave umiješani primjeri čiji je točan odgovor unaprijed poznat. Većina sudionika dobiva ih na otprilike svakom desetom prikazu, a etablirani sudionici na svakom dvadesetom. Otprilike četvrtina tih provjera su primjeri na kojima je prijedlog iz korpusa pogrešan. Odgovor na takav primjer uzima se u obzir tek od sljedećeg dana. Koji su od Vaših odgovora bili provjere na primjerima koji se još koriste ne pokazuju ni stranica ni datoteka s Vašim podacima, jer bi inače otkrile te primjere; na zahtjev poslan e-poštom te primjere povlačimo iz upotrebe i šaljemo Vam pojedinosti u roku od mjesec dana.
3. Primjeri bez prijedloga
Otprilike petina primjera parova riječi i lema prikazuje se bez prijedloga iz korpusa: redak s prijedlogom ne prikazuje se, a polje za lemu je prazno. Tako vidimo procjenjujete li sami ili samo potvrđujete prijedlog. Udio je isti za primjere s poznatim odgovorom i za ostale, pa se iz prikaza bez prijedloga ne može zaključiti koji je primjer provjera.
4. Provjera znanja
Prvih 12 primjera svake vrste zadatka najavljena je provjera znanja („Provjera znanja n/12”). Ti se primjeri uvijek prikazuju bez prijedloga. Broje se odgovori kojima ste se odlučili; „Nisam siguran/na” se ne broji. Ako točno odgovorite na najmanje 9 od 12, postajete kvalificirani za tu vrstu. Provjera se ne ponavlja. Ako je ne položite, sudjelujete dalje na razini „nova”, a etabliranu razinu i dalje možete doseći preko primjera s poznatim odgovorom.
5. Razine
Razina se određuje zasebno za svaku vrstu zadatka:
- nova: svatko na početku.
- kvalificirana: položena provjera znanja za tu vrstu.
- etablirana: najmanje 30 provjera s poznatim odgovorom koje razlikuju znanje od potvrđivanja prijedloga (primjeri prikazani bez prijedloga ili s pogrešnim prijedlogom; za korijene sve provjere), dovoljno visoka donja granica procjene točnosti iz tih provjera (0,75), najmanje 100 odgovora kojima ste se odlučili te najmanje 5 provjera na kojima je prijedlog pogrešan, od kojih je barem 60 % točno (za korijene: najmanje 5 provjera za svaki od dvaju mogućih odgovora, s barem 60 % točnih za svaki). Razina ostaje dok donja granica ne padne ispod 0,70 i dok na tim teškim primjerima imate barem 50 % točnih. Etablirana razina moguća je tek kada za tu vrstu postoji dovoljno primjera s poznatim odgovorom i barem jedan stručnjak. Slaganje s drugim sudionicima nikada ne donosi višu razinu.
- stručnjak: osobe s popisa pouzdanih stručnjaka koji vodi voditelj obrade.
Svaka razina ima gornju granicu procjene: nova 0,75, kvalificirana 0,80, etablirana 0,95, stručnjak 0,98. Koliko god netko točno odgovarao, njegova procjena ne može prijeći granicu njegove razine. Time je ograničeno koliko jedan račun može utjecati na rezultat. Donja granica je 0,50: odgovori vrlo nepouzdanog sudionika tada se jednostavno ne uzimaju u obzir, a ne broje se kao suprotni.
6. Kada je primjer riješen
Primjer je riješen kada je vjerojatnost jednog odgovora najmanje 95 %, kada su na njega odgovorile najmanje dvije različite osobe i kada za taj odgovor glasa barem jedna etablirana osoba ili stručnjak. Jedan odgovor stručnjaka nikada sam ne rješava primjer. Rješenje je privremeno dok se na uzorku od 30 primjera ne potvrdi da se tako riješeni primjeri slažu s odgovorom voditelja obrade (najmanje 29 od 30). Na primjerima koje voditelj obrade sam provjeri njegov je odgovor konačan.
7. Znakovi moguće zlouporabe i stanka za pregled
Svaki izračun traži ove znakove:
- vrlo brzo odgovaranje (medijan vremena zadnjih 30 odgovora kraći je od jedne sekunde ili od četvrtine medijana stručnjaka);
- najmanje 12 jednakih odgovora zaredom na parovima riječi ili korijenima;
- manje od 60 % točnih odgovora na zadnjih 20 primjera s poznatim odgovorom (nakon najmanje 12);
- odgovori koji ponavljaju pogrešan prijedlog: na najmanje 5 primjera s pogrešnim prijedlogom najviše 40 % točnih, dok je na ostalim provjerama barem 90 % točnih;
- na primjerima na koje je odgovorio i stručnjak, više od 30 % od najmanje 10 odgovora razlikuje se od odgovora stručnjaka;
- najmanje 400 odgovora u jednom satu, zajedno s vrlo brzim odgovaranjem.
Kada se u jednom izračunu pojave dva različita znaka, počinje automatska stanka za pregled (status „privremeno izdvojen”). Vaši se odgovori tada ne uzimaju u obzir i dobivate više primjera s poznatim odgovorom, ali i dalje možete označavati, preuzeti podatke i izbrisati profil. Stanka se na stranici ne najavljuje i ne prikazuje, jer je može izazvati i iskrena pogreška; vidi se, s razlozima i vrijednostima, u datoteci koju preuzimate na stranici „Moji podaci”. Voditelj obrade pregledava stanku u roku od 14 dana i odlučuje: ukinuti je, zadržati je ili blokirati profil. Ako nitko ne odluči, stanka prestaje automatski nakon 14 dana. Blokiranje nikada nije automatsko: odlučuje čovjek, uz razlog koji Vam se prikazuje. Stručnjaci nikada ne ulaze u stanku automatski. Ako izbrišete profil dok je u stanci ili blokiran, Vaši se odgovori brišu.
8. Prigovor i pitanja
Ako se ne slažete s procjenom ili s odlukom o svom profilu, pišite na {{controller_email}} i čovjek će je preispitati. Protiv same procjene možete uložiti prigovor istim putem. Bez procjene ne možemo koristiti Vaše odgovore, pa je posljedica prigovora da ih više ne koristimo: Vaš profil blokiramo s razlogom „prigovor” i tako Vam to i prikazujemo. Ponudit ćemo Vam i brisanje profila.
9. Što vidite na stranici „Moji podaci”
U odjeljku „Pouzdanost” za svaku vrstu zadatka vidite razinu i procjenu:
- visoka: procjena točnosti najmanje 0,85;
- dobra: najmanje 0,75;
- treba pažnje: ispod 0,75;
- nedovoljno podataka: manje od 12 provjera s poznatim odgovorom.
Broj provjera zaokružen je naniže na desetice, a slaganje s riješenim primjerima na 5 % (prikazuje se kada imate barem 20 riješenih primjera). Stanka za pregled tu se ne prikazuje; blokada se prikazuje, s razlogom. Ovaj odjeljak je pojednostavljen prikaz. Potpuni podaci nalaze se u datoteci (JSON) koju tamo preuzimate: svaki sačuvani izračun (30 dana) s razinom, procjenom, težinom, brojem provjera i znakovima moguće zlouporabe s vrijednostima, te sve promjene statusa i razine, uz objašnjenje svakog polja.
10. Što je javno
Javna izdanja skupa podataka, objavljena kao datoteke uz izdanja repozitorija croatian-stemmer na GitHubu, sadrže samo zbirne oznake primjera. Ne sadrže oznake sudionika, pojedinačne odgovore, razine, težine, procjene ni broj odgovora.
Dodatak: formule
w(θ, K) = ln(θ · (K − 1) / (1 − θ)) P(z = c | votes) ∝ π_c · exp(Σ w(θ_a, K) over the votes for c) θ⁽⁰⁾ = clip((α₀ + h) / (α₀ + β₀ + h + m)) s_a += λ · q(c(v)), u_a += λ · (1 − q(c(v))) s_a + u_a ≤ max(h + m, 12) θ⁽ᵗ⁾ = clip((α₀ + h + s) / (α₀ + β₀ + h + m + s + u)) θ_lb = μ − 1.645 · √(μ(1 − μ) / (α₀ + β₀ + n + 1)), μ = (α₀ + hits) / (α₀ + β₀ + n) priority = 1 − (p₁ − p₂)
- θ (θ_a): procjena točnosti osobe a za jednu vrstu zadatka, vjerojatnost da je njezin odgovor točan. clip je ograničava na raspon od 0,50 do gornje granice razine.
- w(θ, K): težina jednog odgovora; K je broj mogućih odgovora (2 za parove riječi i korijene; za leme broj različitih predloženih lema plus jedan, a najmanje 3); ln je prirodni logaritam.
- P(z = c | votes): vjerojatnost da je točan odgovor primjera c, s obzirom na dane odgovore (votes); π_c je početna vjerojatnost odgovora c; zbroj (Σ) ide preko težina svih odgovora za c; ∝ znači „razmjerno”, a vjerojatnosti se zatim svode na zbroj 1.
- θ⁽⁰⁾: početna procjena; α₀ i β₀ su početne vrijednosti (4 i 2; za stručnjake 18 i 2); h i m su broj točnih i netočnih odgovora na primjerima s poznatim odgovorom.
- s_a i u_a: očekivani broj točnih i netočnih odgovora osobe a izveden iz slaganja s drugima; λ = 0,5 (takav dokaz vrijedi upola manje od provjere); q(c(v)) je vjerojatnost odgovora c(v) koji je osoba dala u odgovoru v, izračunata samo iz tuđih odgovora na isti primjer.
- s_a + u_a ≤ max(h + m, 12): dokazi iz slaganja s drugima ne mogu nadmašiti dokaze iz provjera, koliko god se ljudi međusobno slagalo.
- θ⁽ᵗ⁾: procjena nakon t-tog prolaza (s = s_a, u = u_a); izračun ima 10 prolaza.
- θ_lb: donja granica procjene (približno 5. percentil) iz provjera koje razlikuju znanje od potvrđivanja prijedloga; n je broj takvih provjera, hits broj točnih; služi za napredovanje na etabliranu razinu.
- priority: prednost nerazriješenog primjera pri raspodjeli; p₁ i p₂ su dvije najveće vjerojatnosti odgovora, pa primjeri kod kojih je razlika manja dobivaju veću prednost.