Myth: To play Champions League weakens some teams in domestic leagues. FALSE!!

Authors: Julio del Corral and Carlos Gómez-González

In January, Javier Ares, who is a well-known Spanish sport journalist wrote a tweet saying: “Is it just a coincidence that Chelsea and Liverpool (first qualified teams in Premier League) are not playing European competitions? The idea behind this question is reasonable because the teams that do not play European competitions can focus on the domestic league and obtain better results. For instance, Celta de Vigo was relegated to the second division while playing Champions League in the 2003-2004 season. This article shows that although some examples can point in this direction, statistical analyses shows the opposite during the period 2005-2016: the teams playing Champions League have a better performance in La Liga. However, the improvement is marginal when using advanced statistical models.

The database includes the following leagues: Belgium, Germany, England, France, Greece, Italy, the Netherlands, Portugal, Scotland, Spain and Turkey. The seasons analyzed go from the 2005-2006 to the 2015-2016.

In order to include a measure of performance in the league, this analysis uses the measure of efficiency published in del Corral, Gallardo, and Maroto (2017) in the Journal of Sports Economics, which can be downloaded in this link. This measure is calculated as the inverse of the probability of obtaining more points than the actual ones using betting odds data. Thus, the teams having a performance above expectations, e.g., Leicester in the 2015-2016 season, show values close to 1. Leicester obtained a value of 0,9998 in that season. In contrast, the teams having a performance below expectations, e.g., Mourinho’s Chelsea in the 2015-2016 season, show values close to 0. Chelsea had a coefficient of 0.021 (Further explanations and applications of this methodology can be found in the following links for the Spanish football: and for the basketball league ACB)

A first step is to compare the efficiency of the teams playing European competitions (any), or Champions League (group phase), and the teams playing the domestic leagues only.

Observations Efficiency
Play Europe Champ. 1,385 0.50
Do not play Europe Champ. 717 0.58
Play Champions League 1,843 0.51
Do not play Champions League 259 0.63
Total 2,102 0.52

 

Please notice that the differences are statistically significant in both cases. The following box plots show graphically these differences, where the middle line is the median and the box represents the upper and lower quartiles.

A complementary approach is to analyze the number of observations that are above and below the mean (0.52). Regarding the teams playing Champions League, 167 teams obtained higher efficiency values than the mean, while 92 were below. However, regarding teams that do not play Champions League, 906 teams obtained an efficiency above the mean, while 937 were below.

Thus, this preliminary analysis shows that playing European competitions is not counterproductive for performance in domestic leagues, but rather beneficial.

Nevertheless, impact evaluation techniques are necessary to better understand the real effect that the participation in Champions League has on teams’ performance. Specifically, the most similar team that do not participate in Champions League is used to match the team participating in Champions League. This would be the most similar team in terms of quality (using Transfermarkt values) from the same domestic league. In this case, some teams will never have an appropriate match. For example, a team that is similar to Real Madrid in terms of quality and do not play Champions League cannot be found in La Liga in the season 2015-2016. The difference between Real Madrid and the first best team that do not play Champions League is too much. In order to avoid this problem, the observations of teams that have played too many times in Champions League (ECL) are omitted. The results are as follows:

Observations Ef. team ECL Ef. team no ECL
Complete sample 259 0,63 0,60
Omit team 11 ECL 215 0,63 0,60
Omit team >9 ECL 195 0,63 0,60
Omit team >8 ECL 177 0,61 0,59
Omit team >7 ECL 153 0,60 0,60

 

In fact, when the methodology of the most similar neighbor is implemented, the effect of the policy (to participate) in Champions League is 0.003. Therefore, participating in Champions League does not have neither a negative nor a positive effect on the efficiency in the domestic league.

In short, it is believed that participating in European competitions is counterproductive for the performance of teams in the domestic leagues. However, the evidence suggests that if any, the effect is positive. Therefore, supporters of teams qualified for Champions League (Sevilla, hopefully) can sleep peacefully as the participation in Champions League will not directly affect the performance in the league.

Mito: Jugar la Champions perjudica a algunos equipos para la Liga. FALSO!!

Autores: Julio del Corral y Carlos Gómez-González

En Enero uno de los mejores periodistas deportivos de España, Javier Ares, lanzaba un tuit que decía: ¿Será casualidad que Chelsea y Liverpool, los dos primeros de la Premier, no estén jugando competición europea? La idea que hay detrás de esta pregunta es razonable, los equipos que no juegan competición europea pueden centrarse en la liga doméstica y así pueden obtener mejores resultados. Otro ejemplo bien recordado es el del Celta de Vigo en la temporada 2003/2004 que descendió a Segunda División en una temporada que disputó la Champions League. En este artículo se muestra que a pesar de que se pueden encontrar ejemplos en esta dirección, la estadística indica, que entre las temporadas 2005-2006 y 2015-2016, la dirección es la opuesta: los equipos que juegan Champions tienen un mejor rendimiento en la liga, si bien cuando se usan modelos avanzados de estadística la mejora es marginal.

La base de datos se compone de las ligas belga, alemana, inglesa, francesa, griega, italiana, holandesa, portuguesa, escocesa, española y turca. Las temporadas analizadas van desde la 2005-2006 hasta la 2015-2016.

Para tener una medida de la actuación en la liga se usa la medida de eficiencia desarrollada en el artículo publicado en Journal of Sport Economics del Corral, Gallardo y Maroto (2017) y que puede descargarse en este enlace. Esta medida se construye como uno menos la probabilidad de obtener más puntos que los realmente obtenidos, según las casas de apuestas. Así, los equipos que tienen un rendimiento muy superior al esperado como el Leicester en la temporada 2015-2016 tienen un valor muy próximo a uno, el del Leicester en esa temporada fue 0,9998, mientras que los equipos que tienen un rendimiento muy inferior al esperado como el Chelsea de Mourinho en la temporada 2015-2016 tienen un valor muy próximo a cero, en ese caso fue 0,02.[1]

Una primera aproximación es comparar la eficiencia de los equipos que juegan competición europea (cualquiera) o Champions (la fase de grupos) con los que no la juegan.

Observaciones Eficiencia
No juega c. europea 1.385 0,50
Juega c. europea 717 0,58
No juega Champions 1.843 0,51
Juega Champions 259 0,63
Total 2.102 0,52

 

Es importante destacar que las diferencias son significativas estadísticamente en ambos casos. Estas diferencias pueden verse gráficamente en estos gráficos de cajas, donde la línea del medio representa la mediana y la caja representa los cuartiles inferiores y superiores.

Un análisis complementario es ver el número de observaciones que están por encima y por debajo de la media (0,52). De los equipos que jugaron Champions 167 obtuvieron una eficiencia mayor que la media mientras que fueron 92 los que obtuvieron una media inferior. Sin embargo, de los equipos que no jugaron Champions 906 obtuvieron una eficiencia por encima de la media mientras que 937 la obtuvieron inferior.

Así, en un primer análisis se ve como jugar competiciones europeas no sólo no es perjudicial para el rendimiento en liga, sino que es muy beneficioso.

Sin embargo, para conocer el efecto real de la participación en Champions para los equipos una forma más adecuada es utilizar las que se llaman técnicas de evaluación del impacto de políticas. En concreto, para cada participante en Champions puede buscarse al individuo más parecido que no participa, que sería el equipo de su misma liga con la calidad de equipo medida como valor en Transfermarkt más parecida. Así, puede verse el efecto de participar en Champions. Como algunos equipos no van a tener un buen contrafactual como por ejemplo el Real Madrid para la temporada 2015-2016 en la diferencia de calidad entre el Real Madrid y el mejor equipo que no juega Champions es tan grande que no sería un buen contrafactual. Una forma de evitar este problema es ir quitando observaciones de los equipos que participan muchas veces en Champions (ECL). Los resultados son los siguientes:

Observaciones Ef. eq. Champions Ef. Eq. no ECL
Toda la muestra 259 0,63 0,60
Quitar eq. 11 ECL 215 0,63 0,60
Quitar eq. >9 ECL 195 0,63 0,60
Quitar eq. >8 ECL 177 0,61 0,59
Quitar eq. >7 ECL 153 0,60 0,60

De hecho cuando se implementa la metodología del vecino más parecido el efecto de la política (participar) en Champions es 0,003. Así el participar en Champions no tiene efecto ni positivo ni negativo sobre la eficiencia en la liga.

Resumiendo, hay una creencia que participar en competiciones europeas perjudica al rendimiento de los equipos en las ligas nacionales. Sin embargo, la evidencia empírica sugiere que de haber efecto éste es positivo, es decir que participar en competiciones europeas no sólo no perjudica sino que beneficia al rendimiento en liga. Así, los aficionados al Sevilla si se clasifica para la Champions pueden estar tranquilos, su rendimiento en liga no va a ser peor por el mero hecho de jugar Champions.

[1] En estos enlaces puede verse aplicada y explicada dicha metodología para el fútbol español: enlace1, enlace2, enlace3 y en estos otros para la liga ACB: enlace4, enlace5.

¿Fue tan mala la actuación española en los Mundiales de atletismo de Londres 2017?

Hace unos días se publicaba un artículo de mi cosecha (junto con Carlos Gómez-González y José Manuel Santos-Sánchez) titulado “A country-level efficiency analysis of the 2016 Summer Olympic Games in Rio: A complete picture”, aquí el enlace a la revista y aquí el enlace a una versión completa de acceso no restringido. Las tres contribuciones principales de dicho artículo son considerar el número de deportistas en los JJ.OO. como uno de los outputs para calcular la eficiencia de los países, una metodología para calcular la ineficiencia de los países que no obtienen ninguna medalla así como resaltar la importancia de estimar las funciones entre similares (e.g., países del mismo continente). España, en los Mundiales de Londres 2017, no ha conseguido ningún metal por primera vez en la historia de los Mundiales de Atletismo. Desde luego es un retroceso, pero a continuación voy a presentar los resultados replicando la metodología de dicho artículo.

Una de los argumentos que se ha usado en contra de la Federación Española, es que si el atleta cumplía los (duros)requisitos impuestos por la IAAF y el atleta demostraba encontrarse en forma el atleta sería seleccionado. Así, para quitar el sesgo de selección de atletas por parte de los países, también incluyo en el análisis un cuarto output: atletas con mínima y potencialmente participantes.[1]

En competiciones como los Juegos Olímpicos o Mundiales de atletismo es habitual usar como input (o predictor en función del objetivo) el PIB de los países. A continuación se muestran las correlaciones entre las medallas de los países en los Mundiales de Atletismo 2017, la puntuación obtenida según la IAAF (8 puntos por victoria, 7 punto segundo puesto, …, 1 punto octavo puesto), los atletas  y el PIB de los países.

Medallas Puntos Participantes Atletas con mínima
Medallas
Puntos 0.94
Participantes 0.60 0.76
Atletas con mínima 0.77 0.85 0.95
PIB 0.22 0.32 0.63 0.70

 

Como puede verse la correlación entre las medallas y el PIB es positiva pero no muy alta, relativamente normal pues el atletismo es dominado en varias disciplinas por países de renta baja como Jamaica, Kenia, Etiopía. Sin embargo, la correlación entre el número de participantes y el PIB es mucho más alta, y aún mayor respecto a los atletas con mínima. Los países que tengan una cantidad superior de medallas o participantes a los esperados dado su PIB serán considerados como más eficientes mientras que los países que tengan menos medallas de las esperadas. El nivel de eficiencia se encuentra entre 0 y 1, así cuanto más cerca a uno más eficiente. Más detalles técnicos sobre el cómputo de la eficiencia pueden verse en el citado artículo.

Antes de analizar los resultados de las funciones de producción que se estiman usando los datos de los países europeos, se muestra el gráfico que relaciona atletas con mínima para Londres 2017 y el PIB. Como puede verse España es uno de los países que más atletas con mínima tiene. En concreto se sitúa en sexto lugar detrás de Estados Unidos, Reino Unido, Alemania, Francia y Polonia. Si bien la distancia con Francia es nimia. Así España parece que tiene un sistema atlético capaz de generar muchos atletas con mínima. Buena señal.

A continuación se presentan los gráficos que relacionan los cuatro outputs: medallas, puntuación IAAF, número de participantes, y atletas con mínima con el PIB para los países europeos mostrando la función de producción que indica la máxima cantidad de output que se puede producir dado el PIB. Como la frontera es estocástica es posible que algún país se sitúe por encima de la frontera.

El país más eficiente en cuanto al número de medallas es Polonia con una diferencia bastante notable respecto al siguiente país que sería la República Checa. Para ver cual es la probabilidad que dado el PIB España no saque medalla, esta probabilidad puede interpretarse como eficiencia de los países con cero medallas. Esta cifra es de 0,13, lo cual sugiere que España debería sacar al menos una medalla y que desde luego hay que intentar salir de este bache en medallas.

Como se ha podido ver antes la correlación entre el número de medallas y la puntuación IAAF es muy alta. La ventaja es que hay muchos más países con puntuación que con medallas así se pueden ver todos juntos. España nuevamente resulta muy ineficiente, con una eficiencia de 0,22. Al igual que en medallas España debería ver como mejorar en el número de atletas que se sitúen entre los 8 mejores de un mundial.

Sin embargo, España tanto en atletas en Londres como en atletas con mínima para Londres se sitúa como segundo país más eficiente dentro de los 15 países con mayor renta europeos sólo por detrás de Polonia. En este sentido, puede verse como un éxito. Para poder tener muchos atletas con medallas en eventos futuros es importante tener muchos atletas del nivel suficiente como para clasificarse para un mundial.

 

País y1 y2 y3 y4 Ef. y1

(probit)

Ef. y1

(SF)

Ef. y2 Ef. y3 Ef. y4
Alemania 5 78 76 76 0.72 0.59 0.65 0.69
Reino Unido 6 105 92 77 0.76 0.70 0.69 0.71
Francia 5 68 55 51 0.73 0.59 0.63 0.64
Italia 1 9 37 32 0.37 0.12 0.59 0.55
España 0 14 59 49 0.13 0.22 0.70 0.71
Países Bajos 4 40 28 30 0.75 0.62 0.63 0.65
Turquía 2 21 27 24 0.61 0.40 0.63 0.60
Suiza 0 9 19 18 0.40 0.19 0.58 0.53
Suecia 1 8 32 26 0.46 0.20 0.69 0.67
Polonia 8 86 51 52 0.85 0.83 0.75 0.79
Bélgica 1 13 18 14 0.47 0.32 0.61 0.51
Noruega 2 14 13 16 0.65 0.37 0.57 0.57
Austria 0 3 5 5 0.60 0.09 0.38 0.28
Dinamarca 0 0 4 4 0.65 0.37 0.26
Irlanda 0 1 12 12 0.68 0.04 0.60 0.56
Finlandia 0 4 12 10 0.69 0.15 0.61 0.51
Portugal 2 17 21 24 0.69 0.55 0.71 0.74
Grecia 1 11 20 16 0.53 0.40 0.70 0.66
República Checa 3 37 27 24 0.77 0.78 0.74 0.75
Rumanía 0 0 15 10 0.72 0.67 0.55
Hungría 2 16 16 15 0.72 0.62 0.71 0.70
Ucrania 1 15 48 42 0.58 0.64 0.83 0.85
Eslovaquía 0 0 5 3 0.77 0.56 0.32
Luxemburgo 0 0 1 0 0.78 0.30
Bielorrusia 0 8 16 23 0.78 0.52 0.77 0.82
Azerbayán 0 8 4 4 0.78 0.52 0.57 0.46
Bulgaria 0 2 8 8 0.79 0.16 0.69 0.66
Croacia 2 19 9 7 0.76 0.78 0.71 0.63
Eslovenia 0 0 7 6 0.79 0.68 0.60
Lituania 1 10 15 14 0.64 0.64 0.78 0.78
Serbia 0 5 8 8 0.79 0.42 0.72 0.69
Letonia 0 0 12 8 0.80 0.78 0.72
Estonia 0 5 14 5 0.80 0.51 0.80 0.64
Chipre 0 0 5 4 0.80 0.70 0.60
Islanda 0 0 3 3 0.80 0.64 0.54
Bosnia-Herzegovina 0 0 3 4 0.80 0.65 0.62
Georgia 0 0 1 1 0.80 0.46 0.28
Albania 0 0 1 1 0.80 0.48 0.30
Armenia 0 0 1 0 0.80 0.49
Macedonia 0 0 1 0 0.80 0.50
Moldavia 0 1 5 5 0.81 0.22 0.78 0.76
Kosovo 0 0 1 0 0.81 0.55
Monaco 0 0 1 0 0.81 0.56
Montenegro 0 0 1 0 0.81 0.60
Andorra 0 0 1 0 0.81 0.62
San Marino  0  0  0 0 0.81  —  —  —

y1-medallas, y2-puntuación IAFF, y3-atletas participantes en Londres 2017, y4-atletas con mínima para Londres 2017

 

En resumen, la actuación de España en cuanto a número de medallas y puntuación IAAF fue mala siendo uno de los países más ineficientes, sin embargo en cuanto a participación tanto en participación efectiva como en atletas con mínima España es uno de los países más eficientes. Yo, que modestamente creo que algo de deporte sé, un buen sistema organizativo genera una gran cantidad de buenos atletas, que esos buenos atletas se conviertan en atletas excelentes (posibles ganadores de medalla) depende de muchos factores donde la suerte, en forma de atletas

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

[1] Para obtener el número de atletas con mínima se ha consultado el ranking de la IAAF 2017. Si un país tenía más de tres atletas con mínima se consideraban sólo 3. Además, no se incluyen los relevos. Así puede haber pequeñas diferencias entre las cifras de atletas con mínima y la cifra de atletas potencialmente participantes.

Detrás de la mala prensa de la universidad española se esconde un buen sistema universitario: Ranking de Shangái 2017

Hoy se ha publicado los resultados de uno de los rankings globales de universidades más influyentes, el ARWU (Academic Ranking of World University) más conocido como ranking de Shanghái. Este es el enlace: www.shanghairanking.com/ARWU2017.html.

Como es habitual la prensa del día está llena de titulares negativos hacia el sistema universitario español. Y no les falta razón, el sistema universitario español no es capaz de tener universidades entre las mejores de las mejores. No hay ninguna universidad española entre las 50 primeras, ni entre las 100, hay que llegar al rango 201-300 para encontrar a las primeras universidades españolas: la Universidad de Barcelona, que según mis cálculos a partir de la información que proporciona el ranking, estaría en la posición 201, la Pompeu Fabra en la 262 mientras que la Universidad de Granada se situaría en la posición 252.

Sin embargo, con un análisis más completo se ve que el sistema universitario español a pesar de no ser capaz de generar universidades excelentes sí es capaz de generar un buen número de universidades muy buenas (top-500) y universidades buenas (top-800) es más es uno de los pocos países eficientes en el número de universidades Top-800.

La correlación que hay entre el PIB de los países y el número de universidades entre las 800 primeras según el ranking de Shanghái es 0,89 y de 0,84 entre el PIB y el número de universidades.[1] Es decir, el número de universidades entre las mejores del mundo está muy correlacionado con el PIB. La pregunta que surge, es ¿cómo se sitúa España en número de universidades dado el PIB?

 

Es habitual que para responder a esta pregunta se calcule lo que se conoce producto medio, que consiste en dividir el output, número de universidades en Top-500 o Top-800, entre el input, el PIB. Sin embargo, esto sólo sería adecuado si la función de producción presentase lo que los economistas conocemos como rendimientos constantes a escala, en caso contrario como ocurre en este caso se pueden obtener resultados incorrectos, como que Estados Unidos es uno de los peores países. Una forma más adecuada es calcular la eficiencia de los países a través de una función frontera como por ejemplo a través del Análisis Envolvente de Datos.

España cuenta con 26 universidades (todas públicas) en el Top-800 y 11 en el Top-500. Un primer indicio positivo del sistema universitario español es que los Países Bajos es el único país que con un menor PIB supera a España en el número de universidades Top-500. Un segundo es que España se sitúa en novena posición en cuanto a número de universidades en Top-800, teniendo una cifra similar a países como Francia, Cánada, Corea del Sur y Australia, todos ellos países con renta superior a la española.

A continuación puede verse la tabla con estos datos así como los niveles de eficiencia de los países en un modelo DEA de rendimientos variables orientado al output usando como input el PIB del país y como outputs el número de universidades en Top-500 y en Top-800. Así mismo pueden verse los gráficos que relacionan estas variables teniendo color rojo los países que delimitan la frontera según el modelo DEA. En el modelo Top-800 España es uno de los seis países eficientes junto con Islandia, Nueva Zelanda, España, Italia, Reino Unido y Estados Unidos. Sin embargo, España presenta un índice de eficiencia medio en el modelo Top-500.

Nota: Estados Unidos se ha eliminado del gráfico para que sea más claro.

Nota: Estados Unidos se ha eliminado del gráfico para que sea más claro.

 

País PIB (millones $) Nº univ.

Top 800

Nº univ.

Top 500

Eficiencia

Top 800

Eficiencia

Top-500

EE.UU. 17,947,000 190 135 1.00 1.00
China 10,866,400 91 45 0.73 0.50
Japón 4,123,260 36 17 0.58 0.37
Alemania 3,355,770 46 37 0.84 0.90
Reino Unido 2,848,760 50 38 1.00 1.00
Francia 2,421,680 30 20 0.67 0.59
India 2,073,540 7 1 0.17 0.03
Italia 1,814,760 37 16 1.00 0.58
Brasil 1,774,720 13 6 0.36 0.22
Cánada 1,550,540 26 19 0.81 0.76
Corea Sur 1,377,870 28 12 0.96 0.51
Australia 1,339,540 27 23 0.95 1.00
Rusia 1,326,020 4 3 0.14 0.13
España 1,199,060 26 11 1.00 0.52
China Taipei 1,156,440 13 7 0.52 0.34
Méjico 1,144,330 2 1 0.08 0.05
Países Bajos 752,547 13 12 0.73 0.82
Turquía 718,221 7 1 0.41 0.07
Suiza 664,738 10 8 0.62 0.60
Arabia Saudí 646,002 4 4 0.25 0.30
Argentina 548,055 3 1 0.22 0.08
Suecia 492,618 11 11 0.85 1.00
Polonia 474,783 6 2 0.48 0.19
Bélgica 454,039 7 7 0.57 0.69
Irán 425,326 8 2 0.69 0.21
Tailandia 395,282 3 1 0.27 0.11
Noruega 388,315 4 3 0.36 0.34
Austria 374,056 8 4 0.75 0.47
Egipto 330,779 3 1 0.30 0.13
Sudáfrica 312,798 8 5 0.84 0.68
Hong Kong 309,929 6 5 0.63 0.69
Malasia 296,218 5 2 0.54 0.29
Israel 296,075 7 6 0.76 0.86
Dinamarca 295,164 6 5 0.65 0.72
Singapur 292,739 2 2 0.22 0.29
Chile 240,216 4 2 0.49 0.34
Irlanda 238,020 5 3 0.61 0.52
Finlandia 229,810 7 5 0.87 0.89
Portugal 198,931 6 5 0.80 1.00
Grecia 195,212 3 3 0.41 0.61
Rep. Checa 181,811 4 1 0.56 0.22
Nueva Zelanda 173,754 7 4 1.00 0.90
Eslovenia 42,747 1 1 0.50 0.64
Serbia 36,513 1 1 0.57 0.70
Estonia 22,692 1 1 0.81 0.88
Islandia 16,599 1 1 1.00 1.00

 

En resumen, España no tiene universidades excelentes por lo que debe mejorar en este aspecto. Sin embargo, España cuenta con un número adecuado de universidades en el Top-800 si bien es mejorable en el Top-500. Así, si España quiere que sus universidades pasen de ser buenas a excelentes en los rankings internacionales la primera medida a adoptar es apostar por la universidad y la investigación y esto implica entre otras muchas cosas más recursos. Si las universidades españolas con recursos comparables a las que aparecen en los primeros puestos España no consigue colocar a ninguna entre los primeros puestos entonces dígase y bien alto: LA UNIVERSIDAD ESPAÑOLA ES UN DESASTRE, hasta entonces, si bien mejorable, la universidad española desde luego no es ningún desastre pues consigue que la mayoría de sus universidades públicas sean reconocidas en los principales rankings internacionales de universidades.

[1] Se quita Estados Unidos y China pues con su inclusión aumenta la correlación de forma algo ficticia.