Ako vzniká poradie

Nikto nehlasuje za nápad. Ľudia porovnávajú dvojice — a z mnohých malých porovnaní vzniká poradie.

Tri pravidlá

Vždy len dvojica. Dostanete dva nápady a vyberiete ten, ktorý téme slúži lepšie. Vlastné nápady nikdy neposudzujete a tú istú dvojicu nevidíte dvakrát. Najprv dostávate dvojice, o ktorých sa vie najmenej — rozložené medzi členov: nikto nie je dokola pýtaný na ten istý nápad, kým ho ostatní nevideli.
Každý nápad má skóre. Začína na 1500 bodoch. Výhra skóre zvýši, prehra zníži — o toľko, nakoľko bol výsledok prekvapivý. Poraziť silný nápad prinesie veľa, prehrať so silným stojí málo. Nový nápad sa hýbe rýchlo, dobre posúdený už len pomaly. Súboje jedného člena s tým istým nápadom sa počítajú naplno dvakrát, tretí raz polovične a potom už vôbec, takže nápad nemôže vyniesť jediný človek.
Miesto si treba zaslúžiť. Nápad dostane miesto v poradí až po aspoň troch posúdeniach od troch rôznych členov (v malej téme po toľkých, koľko jeden človek vôbec môže dať). Dovtedy je uvedený zvlášť, bez poradového čísla — ani vysoko, ani nízko. Zaradené nápady sa radia podľa skóre mínus dvojnásobok toho, čo je o nich ešte neisté: nápad posúdený málo členmi stojí tam, kam zaň dôkazy ručia, a stúpa, keď ho posúdi viac členov.

Neskoré nápady

Nápad pridaný neskôr nie je znevýhodnený: dvojice sa vyberajú tak, aby prednostne išli nápady s najväčšou neistotou, takže nový nápad dostane každý, kto sa vráti, hneď v ďalších súbojoch. Kým nemá dosť posúdení, nemá miesto — nie je ticho zaradený do stredu.

Nerozhoduje jeden člen

Poradie má odrážať skupinu, nie toho, kto posudzuje najviac. Zaručujú to tri poistky:

Rozloženie. Najprv prichádzajú nápady, na ktoré ste ešte neboli pýtaní, takže tri dvojice vám ukážu šesť rôznych nápadov, kým ich je dosť; nápad, ktorý ste už videli, sa vráti, až keď prídu na rad ostatné. Nový nápad tak stretne veľa rôznych členov skôr, než niekoho stretne druhý raz.
Rôzni členovia. Tri posúdenia, ktoré nápad potrebuje na miesto v poradí, musia pochádzať od troch rôznych členov. Tri súboje od jedného človeka nie sú poradie.
Klesajúca váha. Vaše prvé dva súboje s tým istým nápadom sa počítajú naplno, tretí polovične, ďalšie už vôbec. Zaznamenajú sa aj tak, takže žiadnu dvojicu nevidíte dvakrát — len prestanú hýbať skóre.

Skóre sa nikdy neukladá ako pravda — ukladá sa každý súboj a skóre sa zo všetkých súbojov prepočíta po každom posúdení. Poradie, v akom ľudia posudzovali, preto nehrá žiadnu rolu, a zmena pravidiel sa rovnako uplatní aj na minulosť.

Vzorec

šanca, že A porazí B = 1 / (1 + 10^((skóre B − skóre A) / 400))

Skóre sú tie čísla, pri ktorých sú všetky súboje témy dohromady
najpravdepodobnejšie — prepočítané po každom posúdení, každé skóre
jemne ťahané k 1500, súboje jedného člena s tým istým nápadom
vážené 1, 1, ½, 0.

miesto = skóre − 2 × neistota   (to, za čo doterajšie súboje neručia)

Rozdiel 100 bodov znamená asi 64 % ku 36 %. Preskočenie dvojice nič nemení. Počítadlá, nie mená: kto ako posúdil, sa neukladá k osobe a nikomu sa nezobrazuje.

Príklad

Tri nápady, šesť súbojov: A dvakrát porazil B, B dvakrát porazil C a A s C sa porazili navzájom po jednom. Výsledok: A 1572, B 1500, C 1428 — čísla, pri ktorých je týchto šesť výsledkov najpravdepodobnejších; žiadna iná sada nie je lepšia. Keby C porazil A oba razy, vznikol by kruh a všetky tri by skončili na 1500: nikto nedostane body za výhru, ktorej ostatné súboje odporujú. Poradie, v akom sa súboje posúdili, nehrá žiadnu rolu.

Odkiaľ to pochádza

Porovnávanie po dvojiciach je stará, dobre preskúmaná metóda merania úsudku: Thurstoneov zákon porovnávacieho úsudku (1927), Zermelov model (1929) a model Bradleyho a Terryho (1952) opisujú, ako z párových súbojov odhadnúť silu každej položky. Elo (1978) ukázal, ako ten odhad priebežne aktualizovať po každom zápase, Glickman (1995) pridal neistotu, ktorá určuje, ako rýchlo sa skóre hýbe. Pri verejných nápadoch to isté používajú „wiki prieskumy“ (Salganik a Levy, 2015), napríklad pri plánovaní mesta New York. inocracy prispôsobuje Bradleyho–Terryho model všetkým súbojom témy naraz, ako wiki prieskumy, a neistota v štýle Glicko určuje, ktoré dvojice prídu na rad — presne vzorec zobrazený vyššie.