Rankingi: wyniki znane, zasady nie

W połowie marca w media poszła wieść o kolejnych sukcesach Krosna/Prezydenta w kolejnym rankingu. Tym razem kryteria oceny i punktacja są wyjątkowo tajemnicze. Właściwie nawet nie wiadomo co ten ranking w sumie ocenia.

W rankingu „THINKTANK” wyróżniono dziewięciu prezydentów miast. Prezydentów oceniano na podstawie wskaźników, takich jak np: „poziom bezrobocia (i jego zmiany), zadłużenie miasta, udział środków własnych oraz unijnych w budżecie jednostki, wydatki na edukację, transport oraz administrację, zrealizowane inwestycje, skuteczność w przyciąganiu kapitału czy działania podejmowane na rzecz rozwoju przedsiębiorczości w mieście”.

Niestety niewiele więcej można się dowiedzieć. W ostatnich tygodniach pytałem autorów o metodologię, czy punktację przyznaną w poszczególnych kategoriach. W tym czasie otrzymałem niewiele więcej, niż to co podawane jest w enigmatycznych informacjach prasowych. Metod czy zasad oceny nie ujawniają. Nawet punktacji nie ujawniają. – „Takich szczegółowych danych o rankingu nie podajemy” – przeczytałem w odpowiedzi na pytanie akie miasta były brane pod uwagę oraz jakie oceny otrzymały za poszczególne wskaźniki brane pod uwagę. W różnych wcześniejszych rankingach, którymi się interesowałem tego typu dane często były dostępne, a nawet szczegółowo przybliżane w mediach. Widać autorzy rankingów wyciągają wnioski. W sumie po co mają się ośmieszać podawaniem kryteriów i punktacji?

Wiemy zatem, że były trzy kategorie: miasta do 60 tys, do 120 tys. oraz powyżej 120 tys. mieszkańców.

Wybór „najlepszych liderów” opierał się na kilkunastu wskaźnikach: poziom bezrobocia i jego zmiany za rządów urzędującego lidera, zadłużenie, udział środków własnych oraz unijnych w budżecie, wydatki na edukację, transport oraz administrację, zrealizowane inwestycje, skuteczność w przyciąganiu kapitału, działania podejmowane na rzecz rozwoju przedsiębiorczości w mieście. Ponadto brano pod uwagę liczbę kadencji sprawowanych przez danego prezydenta lub burmistrza i poparcie uzyskiwane przez niego w wyborach, a także szereg innych wskaźników szczegółowych np. liczbę miejsc w żłobkach i przedszkolach. Teraz uwaga! Zwycięzców wyłoniono z grona kilkudziesięciu ośrodków miejskich (!!!), do których wysłano ankiety z pytaniami dotyczącymi poszczególnych zagadnień.

Piotr-Przytocki-o-rankingach
Wymiana zdań na fb w 2014 roku, na temat kryteriów jednego z rankingów.

Dane na temat rankingu są skromne, ale pozwalają zauważyć możliwe wady. Wymienię najpoważniejsze wątpliwości:

1. Wzięto pod uwagę kilkadziesiąt ośrodków z pośród ponad 900 miast w Polsce. Zatem ponad 90% miast po prostu nie uwzględniono w rankingu.
2. Oceniano na podstawie ankiet wypełnianych przez same miasta. Zatem istotny wpływ mogła mieć tu umiejętność autopromocji i wybiórczego prezentowania rzeczywistości. Możliwe, ze to dlatego w rankingu wyróżniono Krosno miedzy innymi za CDS, mniej więcej w tym samym czasie, gdy kontrola NIK wskazuje nieprawidłowości w tej spółce i jej finansowaniu. Taka hipoteza, wobec tajemniczych metod oceny.
3. Czy ranking faktycznie ocenia lidera, jeżeli brane są pod uwagę wskaźniki miasta? Nie znamy metodologii (która jest tajna) wiec nie wiemy. Powiedzmy, że mamy dwa miasta: A i B i oceniany wskaźnik X w skali 1-100 (im więcej tym lepiej). Miasta mają swoich liderów, w mieście A lider rządzi od 2010 roku, a w mieście B od 2014. Wskaźnik X dla miasta A wynosi 70, a w trakcie rządów obecnego lidera spadł o 10. W mieście B wskaźnik X wynosi 40, a w czasie rządów obecnego lidera wzrósł o 10. Twórcy rankingu nie ujawniają jak oceniają podobne sytuacje. Faktem jest, że A ma nadal lepszy wskaźnik, wiec pewnie więcej punktów w rankingu. Dodatkowo lider A rządzi o jedną kadencję dłużej (a za to też są punkty w ocenie!). Czyli pomimo, że za rządów lidera A wskaźniki się pogorszyły, to przy ocenie i tak może mieć więcej punktów niż lider B.
4. Wątpliwość budzą same trzy kategorie. Przyjęcie tylko trzech kategorii wielkościowych przy równoczesnym uwzględnianiu poziomów wydatków prawdopodobnie faworyzuje powiaty grodzkie, które jako takie mają większy zakres zadań, a przez to automatycznie większe wydatki np. na edukacje i inwestycje. Na dodatek większość miast grodzkich ma ponad 60 tysięcy mieszkańców. To oznacza, że w kategorii do 60 tysięcy mieszkańców Krosno mogło być wręcz bezkonkurencyjne, tym bardziej, że ponad 90% miast w ogóle nie uwzględniono w rankingu. No ale „takich szczegółowych danych nie udostępniamy”, czyli nie można się dowiedzieć jakie w ogóle miasta były oceniane, ani jak się różnią w poszczególnych ocenianych wskaźnikach.
5. Kryterium wydatków inwestycyjnych i uzyskiwanych środków. Rozumiem w pełni sens tego kryteriom, jednak z drugiej strony w polskich realiach jest ono dość mylące. Z jednej strony pogoń za programami, z których można uzyskać kasę prowadzi czasem do niedorzecznych wydatków, a w takim rankingu zostaną ocenione pozytywne za „pozyskanie środków” i „za inwestycję”. Po drugie powiedzmy sobie szczerze, że uzyskanie środków na inwestycje, zależy też od polityki realizowanej na wyższych szczeblach administracji, a czasem i od osobistej przychylności. I teraz konkretniej: Krosno dostało grube miliony na tzw. „obwodnicę” (i dobrze), więc w rankingu dzięki takim wydatkom inwestycyjnym powinno pokonać każdy przysłowiowy „Pcim” w kategorii do 60 tysięcy mieszkańców. Jednak w kolejnym roku Krosno już nie dostanie takich środków na  tzw. „obwodnicę”, bo ta już jest zbudowana. Za to swoją obwodnicę będzie realizował ten przysłowiowy „Pcim”. To przez jego budżet przejdzie dodatkowe 100 melonów i nagle w jakimś rankingu zostawi Krosno w tyle. Czy to będzie znaczyć, że „Pcim” jest „miastem przyszłości” bardziej niż Krosno? No jasne, że nie.
6. Wskaźnik kadencji (już wspomniany, ale raz jeszcze). Owszem, jest to jakiś wyznacznik, można intuicyjnie przyjąć, że jak ktoś rządzi od wielu kadencji, to pewnie rządzi dobrze. Nie ma to jednak nic wspólnego z obiektywną oceną wskaźników uzyskiwanych przez miasto. Ktoś może rządzić krótko, a w tym czasie ograniczyć patologie w spółkach komunalnych, wypracować oszczędności, zatrzymać zadłużanie itp, ale w rankingu będzie oceniony niżej, niż ktoś, kto w ostatnich latach zrobił mniej, ale za to rządził jeszcze w dwóch wcześniejszych kadencjach. Ujęcie w punktacji „ilości kadencji” zwyczajnie zaburza ocenę tych wskaźników, które naprawdę są ważne. Jak bardzo zaburza? Nie wiemy, bo metodologia i punktacja oceny jest tajna.

O rankingach pisałem już kilka razy, np o  kryterium „wydatkowym”. W efekcie np. już sam zakup bardzo drogich autobusów sprawia, że  jakimś rankingu miasto otrzyma dużo punktów za „inwestycje w transport publiczny”. A co mieszkańcowi z punktów, jeżeli drogi autobus jeździ w niedogodnych godzinach, albo okaże się awaryjny? Tego nie oceni żaden ranking. To musimy oceniać my: obywatele, wyborcy.

Przykładem absurdów rankingowych było też niedorzeczne „kryterium cen nieruchomości” przyjęte przez „Newsweek”. Pozornie myśl była słuszna: jeżeli ceny za zakup lub wynajem nieruchomości pod działalność nie są duże, to jest dobrze dla biznesu. Takie podejście nie bierze pod uwagę, że te niskie lub wysokie ceny są cenami rynkowymi. To znaczy, tam gdzie jest dobre miejsce na biznes rosną, a gdzie jest gorzej maleją. W efekcie miejsca mniej przyjazne dla biznesu były oceniane przez „Newsweeka” lepiej, „bo nieruchomości są tanie” i odwrotnie, tam gdzie biznes ma się dobrze w rankingu były „punkty karne”, bo drogo. Przedsiębiorcy dowiadując się o tym reagowali szyderczym śmiechem. Może dlatego teraz będzie moda na ukrywanie szczegółowych informacji o rankingach i punktacji?

Komentarze

komentarzy

2 Komentarze

  • Qbano 25 marca 2016 Odpowiedz

    Kolejny, bardzo rzeczowy tekst – gratuluję. Ale jeśli, tak jak autor, obserpana Piotra P.? Czyżby prognozy na przyszłość nie bjakiego tu mają dobrodzieja? Hehe, rankingi, sondaże, psycho manipulacja …

  • Qbano 25 marca 2016 Odpowiedz

    Coś poszło nie tak na androidzie, więc powtarzam komentarz:
    Kolejny, bardzo rzeczowy tekst – gratuluję. Ale jeśli, tak jak autor, obserwuje sie w Krośnie kolejne tego typu „koknkursy”, to można się zastanowić czemu służy takie pompowanie zasług i kolejnych laurek i dyplomów pana Piotra P.? Czyżby prognozy na przyszłość nie były już takie kolorowe? Czyżby trzeba było uzmysłowić mniej przekonanej w poglądach szarej masie, jakiego tu mają dobrodzieja? Hehe, rankingi, sondaże, psycho manipulacja …

  • admin 29 marca 2016 Odpowiedz Author

    Ranking to autopromocja i sposób zwrócenia uwagi na tego kto robi ranking. Jakaś gazeta czy tygodnik może się w ten sposób promować. Natomiast problemem jest zrobienie rzetelnego rankingu, jest zbyt wiele trudnych do oceny wskaźników, żeby traktować takie zabawy serio.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Facebook