Måleregel med systemsvikt

Leserinnlegg fra Nils Melsom Kristensen

Når algoritmen trumfer virkeligheten – og ORC tåkelegger problemet

Weather Routing Scoring (WRS) kunne ha vært et av de viktigste fremskrittene for handicap-seiling på mange år. Dessverre ser det ut til at systemet i sin nåværende form ikke bare feiler teknisk, men at det også forsvares gjennom tåkelegging fra ORC.

Som seiler og forsker ved Meteorologisk institutt (MET), er jeg vant til å jobbe med værprognoser. Jeg vet bedre enn de fleste at vær er kaotisk. Meteorologimiljøet er helt åpent og transparent om at værvarsler aldri er perfekte. Vi gjør kontinuerlig verifikasjon av modellene våre, og fremskritt handler i stor grad om å identifisere og redusere feilkilder. Det er en åpen, vitenskapelig prosess, der alt arbeid gjennomgår grundig fagfellevurdering.

Men i debatten rundt resultatene fra årets Færderseilas, ser vi noe helt annet. Det er uheldig at en representant for ORC, som har en stor egeninteresse i at WRS skal fremstå som en suksess, nå setter dagsordenen ved å fokusere ensidig på værvarslingenes usikkerhet. Ved å fyre under påstanden om at «ratingen blir feil når værmodellene feiler», flyttes fokus effektivt bort fra de fundamentale, numeriske svakhetene i selve rutingalgoritmen. Det mest oppsiktsvekkende er at folkene i ORC selv innrømmer at de ikke vet hvordan rutene egentlig beregnes. At de likevel velger å stole blindt på systemet, er ikke bare underlig – det er faglig uforsvarlig.

Fire X-41 i Færderseilasen

Name	Certificate	APH ToT	% diff APH	WRS ToT	% diff WRS
BarX	Cert	1.1863	-0.8	1.0548	-8.8
Xanadu	Cert	1.1783	-1.5	1.1369	-1.7
Saillogic	Cert	1.1961	0.0	1.1567	0.0
Gottix	Cert	1.1901	-0.5	1.1337	-2.0

WRS skaper stor forskjell for nesten identiske båter.

Dobbel straff og APH-myten

Det sies mye feil om APH (All Purpose Handicap) i disse dager. APH er et vektet middel av alle mulige vindretninger og styrker. Nettopp derfor er det så godt egnet for regattaer med varierende og til dels uforutsigbare forhold; det er robust fordi det er basert på et bredt spekter av muligheter.

I WRS har man forsøkt å snu dette på hodet ved å vekte rutingen etter de faktiske forholdene. Men når algoritmen er feil, og varselet bommer, får man en «trippel straff»: Først vektes de varslede forholdene forskjellig mellom båter grunnet feil i rutingalgoritmen, og deretter kan de faktiske forholdene slå ut ekstra gunstig for noen båter fremfor andre. Man kan derfor i stor grad ende opp med et resultat som ikke reflekterer båtens reelle hastighetspotensial, hverken under de varslede eller faktiske forhold, men hvor godt den traff med algoritme-lotteriet.

ORC kunne gjort en veldig enkel test for å vise alle at WRS fungerer som det skal; de kunne prøvd å simulere APH-tallene. Simuler at båtene seiler rundt den omtalte øya, i de forholdene som APH er bygget på, og se om resultatet matcher APH. Dette ville vært det naturlige stedet å starte utviklingen og verifikasjonen av WRS dersom man fulgte normal vitenskapelig metode, men jeg kan ikke se at det er gjort noe sted.

Hva er egentlig «rettferdig»?

Respittseiling vil aldri bli «rettferdig» i absolutt forstand. Det er en matematisk umulighet å måle ulike båttyper perfekt mot hverandre i et dynamisk element som havet. Spørsmålet er derfor: Hva betyr rettferdig i denne sammenheng? For de fleste seilere handler det ikke om å ha en algoritme som treffer perfekt på hvert minste vindskift. Det handler om å seile med et system som over tid oppleves riktig, og som er forståelig og forutsigbart. Vi har i lange tider levd med at det noen ganger er «de små båters race», og andre ganger «de stores». Det har skapt debatt, ja, men ikke mistillit.

Når WRS nå beviselig skaper store resultatforskjeller for identiske båter som seiler samme bane, har vi passert grensen for hva som er akseptabelt i en rettferdig konkurranse. Problemet er ikke at været er uforutsigbart – problemet er at algoritmen som skal måle oss, håndterer denne uforutsigbarheten på en måte som forsterker feil fremfor å utjevne dem.

Hvis ORC ønsker å beholde tilliten fra seilmiljøet, må de slutte å bruke værvarselets natur som et skjold for egne systemsvikt. Den tekniske debatten om rutingsegmenter, aliasing-effekter og diskretisering må tas på alvor. Vi fortjener et system basert på ærlig matematikk, ikke på politisk omdømmebygging og tåkelegging av åpenbare svakheter.

Mitt høyst personlige råd til regatta-arrangører fremover er å fortsette å bruke rating basert på ORC, enkelt og greit fordi det er det beste målesystemet, men å gjøre resultatberegningen ved hjelp av APH. Fordi det er det som over tid vil oppleves som minst urettferdig, og mest forutsigbart for seilerne.

Nils Melsom Kristensen
Seiler og forsker ved Meteorologisk institutt

For dem som ønsker, og orker, å gå inn i detaljene rundt hvorfor WRS “blir som det blir”, vil jeg peke dere til min gjennomgang her

Les også

Plus

Plus

Et flertall var misfornøyd med målesystemet i Færderseilasen

Nesten like mange har svart på vår undersøkelse som det var båter påmeldt i Færderseilasen. Her er hva seilerne svarte.

Nilsson i ORC klargjør i kjølvannet av Færder'n

Årets Færderseilas endte i heftig debatt. For å forstå hvorfor det ble som det ble, har vi snakket med Thomas Nilsson, som sitter i ORC Management Committee.

Plus

Plus

Protesterte mot bruk av weatherrouting i Færderseilasen

Lars Helge Hatlevik fra Gjøvik mente at KNS burde valg APH fordi værprognosene både var usikre og unøyaktige. Protesten ble avvist, men Hatlevik gir seg ikke.