Így készül a rangsor

Senki nem szavaz egy ötletre. Az emberek párokat hasonlítanak össze — és sok kis összehasonlításból áll össze a rangsor.

Három szabály

1. Mindig csak egy pár. Két ötletet kapsz, és kiválasztod, amelyik jobban szolgálja a témát. A saját ötleteidet sosem bírálod, és ugyanazt a párt nem látod kétszer. Először azokat a párokat kapod, amelyekről a legkevesebbet tudni — a tagok között elosztva: senkit nem kérdeznek újra és újra ugyanarról az ötletről, amíg mások nem látták.
2. Minden ötletnek pontszáma van. 1500 pontról indul. A győzelem növeli, a vereség csökkenti — annyival, amennyire meglepő volt az eredmény. Egy erős ötletet legyőzni sokat ér, egy erőssel szemben veszíteni keveset. Az új ötlet gyorsan mozog, a sokszor elbírált már csak lassan. Egy tag párbajai ugyanazzal az ötlettel kétszer számítanak teljesen, harmadszor felerészben, utána egyáltalán nem, így egyetlen ember nem vihet fel egy ötletet.
3. A helyet ki kell érdemelni. Egy ötlet csak három különböző tag legalább három elbírálása után kap helyet a rangsorban (kis témában annyi után, amennyit egyetlen ember egyáltalán adhat). Addig külön szerepel, sorszám nélkül — se magasan, se alacsonyan. A besorolt ötletek a pontszámuk mínusz a még bizonytalan rész kétszerese szerint rendeződnek: a kevés tag által elbírált ötlet ott áll, ameddig a bizonyíték kezeskedik érte, és feljebb kerül, ahogy többen elbírálják.

Későn érkező ötletek

A később beküldött ötlet nincs hátrányban: a párok úgy kerülnek kiválasztásra, hogy a legbizonytalanabb ötletek jönnek előbb, így mindenki, aki visszatér, a következő párbajaiban az új ötletet kapja. Amíg nincs elég elbírálása, nincs helye — nem kerül csendben a középmezőnybe.

Egyetlen tag sem dönt egyedül

A rangsornak a csoportot kell tükröznie, nem azt, aki a legtöbbet bírál. Ezt három biztosíték garantálja:

• Elosztás. Először azok az ötletek jönnek, amelyekről még nem kérdeztek, így három pár hat különböző ötletet mutat, amíg van elég; egy már látott ötlet csak akkor tér vissza, ha a többi sorra került. Egy új ötlet így sok különböző taggal találkozik, mielőtt bárkivel másodszor is.
• Különböző tagok. A három elbírálásnak, amelyre egy ötletnek a helyéhez szüksége van, három különböző tagtól kell származnia. Egy ember három párbaja nem rangsor.
• Csökkenő súly. Az első két párbajod ugyanazzal az ötlettel teljesen számít, a harmadik felerészben, a továbbiak egyáltalán nem. Rögzítjük őket így is, tehát egy párt sosem látsz kétszer — csak nem mozdítják tovább a pontszámot.

A pontszámot sosem tároljuk igazságként — minden párbajt igen, és a pontszámot az összes párbajból minden elbírálás után újraszámoljuk. Ezért nem számít, milyen sorrendben bíráltak az emberek, és egy szabályváltozás ugyanígy érvényesül a múltra is.

A képlet

esély, hogy A legyőzi B-t = 1 / (1 + 10^((B pontja − A pontja) / 400))

A pontszámok azok a számok, amelyek mellett a téma összes párbaja
együtt a legvalószínűbb — minden elbírálás után újraszámolva, minden
pontszám enyhén 1500 felé húzva, egy tag párbajai ugyanazzal az
ötlettel 1, 1, ½, 0 súllyal.

hely = pontszám − 2 × bizonytalanság   (amiért az eddigi párbajok nem kezeskednek)

100 pont különbség nagyjából 64 % a 36 %-hoz. Egy pár kihagyása nem változtat semmin. Számok, nem nevek: hogy ki hogyan bírált, nem kerül a személyhez, és senkinek nem jelenik meg.

Példa

Három ötlet, hat párbaj: A kétszer legyőzte B-t, B kétszer C-t, A és C pedig egyszer-egyszer egymást. Az illesztés A 1572, B 1500, C 1428 értéken állapodik meg — ezek mellett a számok mellett a hat kimenetel a legvalószínűbb; más számsor nem jobb. Ha C mindkétszer legyőzte volna A-t, kör alakulna ki, és mindhárom 1500-on állna: senki nem kap pontot olyan győzelemért, amelynek a többi párbaj ellentmond. Hogy a hat párbajt milyen sorrendben bírálták el, nem számít.

Honnan ered

A páros összehasonlítás régi, alaposan kutatott módszere az ítéletek mérésének: Thurstone összehasonlító ítélet törvénye (1927), Zermelo modellje (1929) és a Bradley–Terry-modell (1952) írja le, hogyan becsülhető meg minden elem erőssége páros párbajokból. Elo (1978) megmutatta, hogyan frissíthető ez a becslés minden mérkőzés után, Glickman (1995) pedig hozzátette a bizonytalanságot, amely meghatározza, milyen gyorsan mozog a pontszám. Nyilvános ötleteknél ugyanezt használják a „wiki-felmérések” (Salganik és Levy, 2015), például New York város tervezésében. Az inocracy a Bradley–Terry-modellt a téma összes párbajára egyszerre illeszti, ahogy a wiki-felmérések teszik, Glicko-stílusú bizonytalansággal irányítva, mely párok jönnek legközelebb — pontosan a fent bemutatott képletet.