Natrag na označavanje · English
Kako radi pouzdanost
Ova stranica objašnjava kako stranica {{app_host}} procjenjuje pouzdanost odgovora i kako iz njih nastaju oznake u skupu podataka. Služi kao informacija; ne tražimo da je prihvatite. Pravni opis te obrade, pravnu osnovu i Vaša prava navodi obavijest o privatnosti (odjeljak 9).
Stranica opisuje pravila koja se ne mijenjaju. Točni pragovi i postavke povremeno se podešavaju; njihove trenutačne vrijednosti navodi tehnički opis modela u repozitoriju croatian-stemmer na GitHubu (na engleskom).
1. Ukratko
Svi se odgovori ne broje jednako. Za svakog sudionika i svaku vrstu zadatka (parovi riječi, leme, korijeni) aplikacija procjenjuje koliko su mu odgovori točni i prema tome im daje težinu. Primjer se smatra riješenim tek kada se na njemu slaže dovoljno pouzdanih odgovora. Procjene se redovito ponovno izračunavaju iz svih dotadašnjih odgovora, pa se novi odgovori u njima pokazuju s malim zakašnjenjem.
Procjena utječe samo na tri stvari: koliko se Vaši odgovori broje, koje primjere dobivate i jesu li Vaši odgovori privremeno izdvojeni radi pregleda (odjeljak 7). Izvan ove stranice nema nikakav učinak, a o Vama kao sudioniku nikada se ništa ne objavljuje.
2. Primjeri s poznatim odgovorom
Među primjere su bez najave umiješani primjeri čiji je točan odgovor unaprijed poznat. Sudionici na nižim razinama i oni u stanci za pregled dobivaju ih češće, a etablirani sudionici rjeđe. Provjere mogu doći iz bilo kojeg objavljenog korpusa, a ne samo iz onoga koji ste odabrali. Neke od tih provjera su primjeri na kojima je prijedlog iz korpusa pogrešan. Odgovor na takav primjer uzima se u obzir tek od sljedećeg dana. Koji su od Vaših odgovora bili provjere na primjerima koji se još koriste ne pokazuju ni stranica ni datoteka s Vašim podacima, jer bi inače otkrile te primjere; na zahtjev poslan e-poštom te primjere povlačimo iz upotrebe i šaljemo Vam pojedinosti u roku od mjesec dana.
3. Primjeri bez prijedloga
Dio primjera parova riječi i lema prikazuje se bez prijedloga iz korpusa: redak s prijedlogom ne prikazuje se, a polje za lemu je prazno. Tako vidimo procjenjujete li sami ili samo potvrđujete prijedlog. Udio je isti za primjere s poznatim odgovorom i za ostale, pa se iz prikaza bez prijedloga ne može zaključiti koji je primjer provjera.
4. Provjera znanja
Prvi primjeri svake vrste zadatka čine najavljenu provjeru znanja; zaslon to navodi i pokazuje dokle ste stigli. Ti se primjeri uvijek prikazuju bez prijedloga. Broje se odgovori kojima ste se odlučili; „Nisam siguran/na” se ne broji. Ako na dovoljno njih odgovorite točno, postajete kvalificirani za tu vrstu. Provjera se ne ponavlja. Ako je ne položite, sudjelujete dalje na razini „nova”, a etabliranu razinu i dalje možete doseći preko primjera s poznatim odgovorom. Dok je provjera znanja za neku vrstu u upotrebi, primjere te vrste dobivate iz bilo kojeg korpusa; korpus možete sami odabrati od razine „kvalificirana” naviše.
5. Razine
Razina se određuje zasebno za svaku vrstu zadatka:
- nova: svatko na početku.
- kvalificirana: položena provjera znanja za tu vrstu.
- etablirana: dovoljno provjera s poznatim odgovorom koje razlikuju znanje od potvrđivanja prijedloga (primjeri prikazani bez prijedloga ili s pogrešnim prijedlogom; za korijene sve provjere), dovoljno visoka točnost na njima, dovoljno odgovora kojima ste se odlučili te dovoljno točnih odgovora na primjerima na kojima je prijedlog pogrešan. Razina ostaje dok je točnost na tim provjerama i dalje dovoljno dobra. Etablirana razina moguća je tek kada za tu vrstu postoji dovoljno primjera s poznatim odgovorom i barem jedan stručnjak. Slaganje s drugim sudionicima nikada ne donosi višu razinu.
- stručnjak: osobe s popisa pouzdanih stručnjaka koji vodi voditelj obrade.
Svaka razina ima gornju granicu procjene, višu za više razine. Koliko god netko točno odgovarao, njegova procjena ne može prijeći granicu njegove razine, čime je ograničeno koliko jedan račun može utjecati na rezultat. Donja granica je 0,50, razina nagađanja: odgovori vrlo nepouzdanog sudionika tada se jednostavno ne uzimaju u obzir, a ne broje se kao suprotni.
6. Kada je primjer riješen
Primjer je riješen kada je jedan odgovor vrlo vjerojatan, kada su ga odabrale najmanje dvije različite osobe s dovoljno dobrom procjenom točnosti i kada je među njima barem jedna etablirana osoba ili stručnjak. Jedan odgovor stručnjaka nikada sam ne rješava primjer. Rješenje je privremeno dok se na uzorku primjera ne potvrdi da se tako riješeni primjeri slažu s odgovorom voditelja obrade. Na primjerima koje voditelj obrade sam provjeri njegov je odgovor konačan.
7. Znakovi moguće zlouporabe i stanka za pregled
Svaki izračun traži ove znakove:
- vrlo brzo odgovaranje, brže nego što dopušta pažljivo čitanje;
- dug niz jednakih odgovora na parovima riječi ili korijenima;
- niska točnost na zadnjim primjerima s poznatim odgovorom;
- odgovori koji ponavljaju pogrešan prijedlog, dok su ostale provjere uglavnom točne;
- na primjerima na koje je odgovorio i stručnjak, često neslaganje s odgovorom stručnjaka;
- vrlo velik broj odgovora u kratkom vremenu, zajedno s vrlo brzim odgovaranjem.
Jedan znak sam po sebi ne pokreće ništa. Kada se u jednom izračunu pojave dva različita znaka, počinje automatska stanka za pregled (status „privremeno izdvojen”). Vaši se odgovori tada ne uzimaju u obzir i dobivate više primjera s poznatim odgovorom, ali i dalje možete označavati, preuzeti podatke i izbrisati profil. Stanka se na stranici ne najavljuje i ne prikazuje, jer je može izazvati i iskrena pogreška; vidi se, s razlozima i vrijednostima, u datoteci koju preuzimate na stranici „Moji podaci”. Voditelj obrade pregledava stanku u roku od 14 dana i odlučuje: ukinuti je, zadržati je ili blokirati profil. Ako nitko ne odluči, stanka prestaje automatski nakon 14 dana. Blokiranje nikada nije automatsko: odlučuje čovjek, uz razlog koji Vam se prikazuje. Stručnjaci nikada ne ulaze u stanku automatski. Ako izbrišete profil dok je u stanci ili blokiran, Vaši se odgovori brišu.
8. Prigovor i pitanja
Ako se ne slažete s procjenom ili s odlukom o svom profilu, pišite na {{controller_email}} i čovjek će je preispitati. Protiv same procjene možete uložiti prigovor istim putem. Bez procjene ne možemo koristiti Vaše odgovore, pa je posljedica prigovora da ih više ne koristimo: Vaš profil blokiramo s razlogom „prigovor” i tako Vam to i prikazujemo. Ponudit ćemo Vam i brisanje profila.
9. Što vidite na stranici „Moji podaci”
U odjeljku „Pouzdanost” za svaku vrstu zadatka vidite razinu i opisnu procjenu: visoka, dobra, treba pažnje ili nedovoljno podataka (još premalo provjera s poznatim odgovorom). Broj provjera i slaganje s riješenim primjerima prikazuju se zaokruženo. Stanka za pregled tu se ne prikazuje; blokada se prikazuje, s razlogom. Ovaj odjeljak je pojednostavljen prikaz. Potpuni podaci nalaze se u datoteci (JSON) koju tamo preuzimate: svaki sačuvani izračun (30 dana) s razinom, procjenom, težinom, brojem provjera i znakovima moguće zlouporabe s vrijednostima, te sve promjene statusa i razine, uz objašnjenje svakog polja.
10. Što je javno
Javna izdanja skupa podataka, objavljena kao datoteke uz izdanja repozitorija croatian-stemmer na GitHubu, sadrže samo zbirne oznake primjera. Ne sadrže oznake sudionika, pojedinačne odgovore, razine, težine, procjene ni broj odgovora. O pojedinom sudioniku ne objavljuje se ništa.
Dodatak: formule
w(θ, K) = ln(θ · (K − 1) / (1 − θ)) P(z = c | votes) ∝ π_c · exp(Σ w(θ_a, K) over the votes for c) θ⁽⁰⁾ = clip((α₀ + h) / (α₀ + β₀ + h + m)) s_a += λ · q(c(v)), u_a += λ · (1 − q(c(v))) s_a + u_a ≤ ρ · max(h + m, f) θ⁽ᵗ⁾ = clip((α₀ + h + s) / (α₀ + β₀ + h + m + s + u)) θ_lb = μ − 1.645 · √(μ(1 − μ) / (α₀ + β₀ + n + 1)), μ = (α₀ + hits) / (α₀ + β₀ + n) priority = 1 − (p₁ − p₂)
- θ (θ_a): procjena točnosti osobe a za jednu vrstu zadatka, vjerojatnost da je njezin odgovor točan. clip je ograničava na raspon od 0,50 do gornje granice razine.
- w(θ, K): težina jednog odgovora; K je broj mogućih odgovora (2 za parove riječi i korijene; za leme broj različitih predloženih lema plus jedan, uz najmanju vrijednost); ln je prirodni logaritam.
- P(z = c | votes): vjerojatnost da je točan odgovor primjera c, s obzirom na dane odgovore (votes); π_c je početna vjerojatnost odgovora c; zbroj (Σ) ide preko težina svih odgovora za c; ∝ znači „razmjerno”, a vjerojatnosti se zatim svode na zbroj 1.
- θ⁽⁰⁾: početna procjena; α₀ i β₀ su početne vrijednosti (više za stručnjake); h i m su broj točnih i netočnih odgovora na primjerima s poznatim odgovorom.
- s_a i u_a: očekivani broj točnih i netočnih odgovora osobe a izveden iz slaganja s drugima; λ je manji od 1, pa takav dokaz vrijedi manje od provjere; q(c(v)) je vjerojatnost odgovora c(v) koji je osoba dala u odgovoru v, izračunata samo iz tuđih odgovora na isti primjer.
- s_a + u_a ≤ ρ · max(h + m, f): dokazi iz slaganja s drugima ograničeni su dokazima iz provjera (ρ i f su stalne postavke), koliko god se ljudi međusobno slagalo.
- θ⁽ᵗ⁾: procjena nakon t-tog prolaza (s = s_a, u = u_a); izračun ima stalan broj prolaza.
- θ_lb: donja granica procjene (približno 5. percentil) iz provjera koje razlikuju znanje od potvrđivanja prijedloga; n je broj takvih provjera, hits broj točnih; služi za napredovanje na etabliranu razinu.
- priority: prednost nerazriješenog primjera pri raspodjeli; p₁ i p₂ su dvije najveće vjerojatnosti odgovora, pa primjeri kod kojih je razlika manja dobivaju veću prednost.
Trenutačne vrijednosti svih postavki navodi tehnički opis modela.