Modell teszt

Melyik numerikus modell jósolja legpontosabban a kürti (Strekov) időjárást — élő, folyamatosan gyűjtött mérés

Modell teszt — melyik előrejelzés a legpontosabb Kürtre?

Minden nap éjfél után rögzítjük mind a 6 modell aktuális előrejelzését Kürtre, óránkénti bontásban, majd ahogy telik az idő, összevetjük a saját Ecowitt állomás valós méréseivel. Így folyamatosan gyűlik a minta arról, melyik modell tévedett mennyit — ez idővel (hetek/hónapok alatt) statisztikailag egyre megbízhatóbban kirajzolódik. A MAINMIX a hat modell saját, óránkénti átlagszámítása, nem hivatalos előrejelzés. A visszamenőleges adatokat az Open-Meteo "előző futások" archívumából töltöttük fel, hogy a teszt ne nulláról induljon.

betöltés
Rangsor — átlagos hiba (MAE), minél kisebb annál jobb

Négy külön időtávra bontva, mert nem korrekt egy csak ~3-7 napig számoló regionális modellt (ALADIN, ICON-EU, UKMO) egy 10 napos globális modellel egy kalapban mérni - egy modell csak azokban a sávokban szerepel, amelyekre ténylegesen van már kiértékelt mintája.

túlbecsül (magasabbra/többre jósol a valósnál) alulbecsül (alacsonyabbra/kevesebbre jósol a valósnál)
Miért lehet más a MAE és az irány (bias) értéke ugyanannál a modellnél?

A MAE minden egyes minta hibáját előjel nélkül átlagolja — megmutatja, átlagosan mekkora eltérésre lehet számítani, függetlenül attól, hogy a modell épp fölfelé vagy lefelé tévedett. Az irány (bias) ezzel szemben az előjeles hibák átlaga: ha egy modell nagyjából ugyanannyiszor téved fölfelé, mint lefelé, a plusz és mínusz eltérések kioltják egymást, és a bias nullához közelít — még akkor is, ha a MAE közben jelentős.

Példa: ha egy modell az esetek felében +0,55°C-ot, másik felében −0,55°C-ot téved, a MAE 0,55°C lesz (minden hiba számít, előjel nélkül), a bias viszont ≈0 (a két irány kioltja egymást) — vagyis a modell egyenként elég sokat téved, de nincs rendszeres iránya, csak szór a valós érték körül.

Minél közelebb van a bias abszolút értéke a MAE-hez (azonos előjellel), annál inkább egy irányba, rendszeresen téved a modell — nem csak véletlenszerűen szór, hanem például tartósan túl melegre vagy túl hidegre jósol.

Adatok betöltése…
Pontosság az előrejelzési távolság függvényében

Minden modell annál bizonytalanabb, minél messzebbre néz előre — ez a grafikon mutatja, melyik modell mennyire "romlik" az idővel. Szándékosan pontok, nem összekötött vonalak — sok modell/lead-idő mellett a vonalak csak átláthatatlanná tennék a képet. A rövidebb horizontú modellek (ALADIN, ICON-EU, UKMO) pontjai a saját horizontjuk után egyszerűen elfogynak. A pontok idővel besűrűsödnek, ahogy a napi élő gyűjtés minden lead-időre gyűjt mintát (most még csak a visszamenőleg pótolt napi mintavétel miatt ritkásabbak egyes szakaszokon).

Mai nap — mért hőmérséklet vs. futás kora

A vastag, fehér vonal a valós mérést mutatja mára. A másik három vonal ugyanannak a kiválasztott modellnek HÁROM különböző napon indított futása ugyanerre a mai napra: a mai saját futása, a tegnapi futás (24 órával korábbi előrejelzés) és a tegnapelőtti futás (48 órával korábbi) — minél régebbi, annál halványabb a vonal. Alul, egy második sávban óránként külön oszlopként látszik mindhárom futás abszolút hibája is. Jelenleg csak a mai napra elérhető (a napi élő gyűjtés most indult, a korábbi napokra idővel ez is bővül).

Összegző táblázat

A MAE alatti kis szám az előjeles irányt mutatja: ▲narancs = a modell rendszerint többet/magasabbat jósol a valósnál (túlbecsül), ▼kék = kevesebbet/ alacsonyabbat (alulbecsül) — ez az összes időtáv-sávra vonatkozó átlag.

Adatok betöltése…