Capítulo 14 Resumiendo y relacionado los datos

Ahora que ya sabemos depurar y transformar los datos con pocas líneas de código, así como extraer la información que nos interese, en esta sección vamos a aprender dos cosas básicas a la hora de trabajar con datos:

  • Realizar resúmenes numéricos de los datos, de forma general pero también cuando queremos calcular estadísticas desagregadas por grupos.
  • Relacionar tablas entre sí (los famosos join).

14.1 Tablas de frecuencias

Una de las primeras cosas que uno aprende en la asignatura de estadística descriptiva es saber resumir nuestros datos cuando tenemos muchos, y además muchos valores repetidos. Vamos a construir la tabla de frecuencias de la variable n_films de nuestro ya conocido conjunto starwars (una variable que vamos a crear contando en cuántas películas aparece cada personaje)

library(purrr)
library(tidyverse)
starwars_nueva <- starwars %>%
  mutate(n_films = map_int(films, length))

Y lo primero es contar: ¿cuántos registros hay de cada una de las clases? Para ello usaremos la función count()

starwars_nueva %>% count()
## # A tibble: 1 × 1
##       n
##   <int>
## 1    87

Como ves si aplicamos la función directamente simplemente nos cuenta el número de filas de la tabla, así que vamos a usar la misma función pero indicándole la variable.

tabla_freq <- starwars_nueva %>% count(n_films)
tabla_freq
## # A tibble: 7 × 2
##   n_films     n
##     <int> <int>
## 1       1    46
## 2       2    18
## 3       3    13
## 4       4     2
## 5       5     5
## 6       6     2
## 7       7     1

Esa columna n es lo que conocemos como frecuencias absolutas, el número de veces que la variable toma dicha valor. También es posible calcular las frecuencias absolutas por varias variables a la vez.

starwars_nueva %>% count(sex, gender)
## # A tibble: 6 × 3
##   sex            gender        n
##   <chr>          <chr>     <int>
## 1 female         feminine     16
## 2 hermaphroditic masculine     1
## 3 male           masculine    60
## 4 none           feminine      1
## 5 none           masculine     5
## 6 <NA>           <NA>          4

Podemos también añadir una columna N_i de frecuencia absoluta acumulada, una columna que nos diga el número de personajes que han hecho un número de películas igual o menor que el indicado.

# Construimos de cero
tabla_freq <-
  starwars_nueva %>%
  # n: frecuencia absoluta
  count(n_films) %>%
  # N_i: frecuencia absoluta acumulada
  mutate(N_i = cumsum(n)) # cumsum calcula la suma acumulada
tabla_freq
## # A tibble: 7 × 3
##   n_films     n   N_i
##     <int> <int> <int>
## 1       1    46    46
## 2       2    18    64
## 3       3    13    77
## 4       4     2    79
## 5       5     5    84
## 6       6     2    86
## 7       7     1    87

Y ambas columnas podemos pasarlas a porcentaje o proporción, las columnas f_i y F_i o frecuencias relativas (no acumulada y acumulada, respectivamente).

# Construimos de cero
tabla_freq <- starwars_nueva %>%
  # n: frecuencia absoluta
  count(n_films) %>%
  # N_i: frecuencia absoluta acumulada
  mutate(N_i = cumsum(n)) %>% # cumsum calcula la suma acumulada
  mutate(f_i = prop.table(n), # prop.table nos devuelve proporciones
         F_i = cumsum(f_i))
tabla_freq
## # A tibble: 7 × 5
##   n_films     n   N_i    f_i   F_i
##     <int> <int> <int>  <dbl> <dbl>
## 1       1    46    46 0.529  0.529
## 2       2    18    64 0.207  0.736
## 3       3    13    77 0.149  0.885
## 4       4     2    79 0.0230 0.908
## 5       5     5    84 0.0575 0.966
## 6       6     2    86 0.0230 0.989
## 7       7     1    87 0.0115 1

Esas frecuencias relativas quizás querramos tenerlas expresadas en porcentajes en lugar de en proporciones.

# Pasamos frecuencias relativas a porcentajes
tabla_freq %>% mutate(f_i = f_i * 100,
                      F_i = F_i * 100)
## # A tibble: 7 × 5
##   n_films     n   N_i   f_i   F_i
##     <int> <int> <int> <dbl> <dbl>
## 1       1    46    46 52.9   52.9
## 2       2    18    64 20.7   73.6
## 3       3    13    77 14.9   88.5
## 4       4     2    79  2.30  90.8
## 5       5     5    84  5.75  96.6
## 6       6     2    86  2.30  98.9
## 7       7     1    87  1.15 100

Por último, con la tabla tabla_freq expresando las frecuencias relativas en proporciones, vamos a cambiar el nombre de las columnas para que tengan los típicos nombres de una tabla de frecuencias.

# Renombramos
tabla_freq <- tabla_freq %>%
  rename(n_i = n, x_i = n_films)
tabla_freq
## # A tibble: 7 × 5
##     x_i   n_i   N_i    f_i   F_i
##   <int> <int> <int>  <dbl> <dbl>
## 1     1    46    46 0.529  0.529
## 2     2    18    64 0.207  0.736
## 3     3    13    77 0.149  0.885
## 4     4     2    79 0.0230 0.908
## 5     5     5    84 0.0575 0.966
## 6     6     2    86 0.0230 0.989
## 7     7     1    87 0.0115 1

¿Cómo construir una tabla similar para variables continuas? La metodología sería la misma solo que antes debemos agrupar los datos (por ejemplo, de la variable height) en subintervalos.

# Construimos de cero
tabla_freq_continua <-
  starwars %>%
  # agrupamos los datos en tramos de 20 en 20
  mutate(intervalo = cut(height, breaks = seq(65, 265, by = 20))) %>%
  count(intervalo) %>%
  mutate(N_i = cumsum(n)) %>% # cumsum calcula la suma acumulada
  mutate(f_i = prop.table(n), # prop.table nos devuelve proporciones
         F_i = cumsum(f_i))
tabla_freq_continua
## # A tibble: 11 × 5
##    intervalo     n   N_i    f_i    F_i
##    <fct>     <int> <int>  <dbl>  <dbl>
##  1 (65,85]       2     2 0.0230 0.0230
##  2 (85,105]      5     7 0.0575 0.0805
##  3 (105,125]     2     9 0.0230 0.103 
##  4 (125,145]     1    10 0.0115 0.115 
##  5 (145,165]     9    19 0.103  0.218 
##  6 (165,185]    34    53 0.391  0.609 
##  7 (185,205]    19    72 0.218  0.828 
##  8 (205,225]     5    77 0.0575 0.885 
##  9 (225,245]     3    80 0.0345 0.920 
## 10 (245,265]     1    81 0.0115 0.931 
## 11 <NA>          6    87 0.0690 1

El problema es que cuando agrupamos los datos de una variable continua en subintervalos, aunque nos sirva como resumen para tener una idea de como se comporta nuestra variable (y sea algo necesario para, por ejemplo, construir un «histograma discretizado»), a la hora de calcular sus estadísticas perdemos información ya que todos los elementos que cae en un intervalo se les imputará un único valor: la marca de clase, que normalmente es el punto medio del intervalo.

Vamos a calcular resúmenes numéricos de las variables sin agrupar aprovechando que R el trabajo por nosotros/as.

14.2 Resúmenes numéricos (summarise y skimr) y por grupos (group_by)

Antes de pasar a ver cómo generar nuestras propias estadísticas de los datos, veamos la funcionalidad de un maravilloso paquete llamado skimr, que nos permite tener en un vistazo un resumen numérico muy completo de nuestros datos, con histograma/diagrama de barras incluido.

library(skimr)
starwars %>% skim()
Tabla 14.1: Data summary
Name Piped data
Number of rows 87
Number of columns 14
_______________________
Column type frequency:
character 8
list 3
numeric 3
________________________
Group variables None

Variable type: character

skim_variable n_missing complete_rate min max empty n_unique whitespace
name 0 1.00 3 21 0 87 0
hair_color 5 0.94 4 13 0 12 0
skin_color 0 1.00 3 19 0 31 0
eye_color 0 1.00 3 13 0 15 0
sex 4 0.95 4 14 0 4 0
gender 4 0.95 8 9 0 2 0
homeworld 10 0.89 4 14 0 48 0
species 4 0.95 3 14 0 37 0

Variable type: list

skim_variable n_missing complete_rate n_unique min_length max_length
films 0 1 24 1 7
vehicles 0 1 11 0 2
starships 0 1 17 0 5

Variable type: numeric

skim_variable n_missing complete_rate mean sd p0 p25 p50 p75 p100 hist
height 6 0.93 174.36 34.77 66 167.0 180 191.0 264 ▁▁▇▅▁
mass 28 0.68 97.31 169.46 15 55.6 79 84.5 1358 ▇▁▁▁▁
birth_year 44 0.49 87.57 154.69 8 35.0 52 72.0 896 ▇▁▁▁▁

Dicho resumen nos proporciona:

  • Variables de tipo caracter: n_missing (número de ausentes), complete_rate (proporción de datos sin ausentes), min/max y n_unique (número de valores únicos).

  • Variables de tipo lista: n_missing (número de ausentes), complete_rate (proporción de datos sin ausentes), n_unique (número de valores únicos) y min_length/max_length (longitud mínimo/máxima de las listas).

  • Variables de tipo numérico: n_missing (número de ausentes), complete_rate (proporción de datos sin ausentes), mean/sd (media y cuasidesviación típica), p0/p25/p50/p75/p100 (cuartiles, percentiles 0%-25%-50%-75%-100%, valores que nos dividen nuestro conjunto en 4 trozos) e hist (una especie de histograma/barras sencillo).

Este resumen no solo podemos visualizarlo sino que podemos guardarlo para exportarlo por ejemplo en un .csv.

library(skimr)
resumen_skim <- starwars %>% skim()

Sin embargo, aunque el resumen es bastante completo, muchas veces querremos generar nuestras propias estadísticas o resúmenes numéricos, y para eso vamos a aplicar summarise(), que nos calculará estadísticas de nuestros datos. Por ejemplo, vamos a calcular las medidas de centralización (media-mediana-moda). Para las dos primeras basta con aplicar las funciones correspondientes.

starwars %>% summarise(media = mean(mass),
                       mediana = median(mass))
## # A tibble: 1 × 2
##   media mediana
##   <dbl>   <dbl>
## 1    NA      NA

Como ves nos devuelve un dato ausente ya que al existir datos ausentes en la variables, la media también lo es. Para evitar ese problema podemos hacer dos cosas: eliminar antes los ausentes, o indicarle en la propia media y mediana que haga el cálculo ignorando los valores NA.

# Primero eliminamos NA
starwars %>% drop_na(mass) %>%
  summarise(media = mean(mass), mediana = median(mass))
## # A tibble: 1 × 2
##   media mediana
##   <dbl>   <dbl>
## 1  97.3      79
# Al realizar el cálculo los ignora
starwars %>%
  summarise(media = mean(mass, na.rm = TRUE),
            mediana = median(mass, na.rm = TRUE))
## # A tibble: 1 × 2
##   media mediana
##   <dbl>   <dbl>
## 1  97.3      79

La media es una medida de centralización basada en el valor que nos minimiza el promedio de desviaciones al cuadrado (varianza) y solo se puede calcular para variables cuantitativas (discretas o continuas).

# Media de todas las cuantitativas
starwars_nueva %>%
  summarise(media = across(where(is.numeric), mean, na.rm = TRUE))
## # A tibble: 1 × 1
##   media$height $mass $birth_year $n_films
##          <dbl> <dbl>       <dbl>    <dbl>
## 1         174.  97.3        87.6     1.99

La mediana se define como el valor que ocupa el centro de los datos CUANDO LOS ORDENAMOS de menor a mayor, un valor que nos deja por debajo al menos el 50% y por encima al menos el 50%.

# Media y mediana de todas las cuantitativas
starwars_nueva %>%
  summarise(media = across(where(is.numeric), mean, na.rm = TRUE),
            mediana = across(where(is.numeric), median, na.rm = TRUE))
## # A tibble: 1 × 2
##   media$height $mass $birth_year $n_films mediana$height $mass $birth_year
##          <dbl> <dbl>       <dbl>    <dbl>          <int> <dbl>       <dbl>
## 1         174.  97.3        87.6     1.99            180    79          52

La mediana también se puede calcular para variables cualitativas ordinales (categorías que se puedan ordenar). Vamos a construir una variable que sea «muy bajo-bajo-medio-alto-muy alto» según la estatura, y calcular la mediana para dichas categorías.

categorias <- c("muy bajo", "bajo", "medio", "alto", "muy alto")
starwars_talla <- 
  starwars %>%
  mutate(talla =
           cut(height, breaks = c(-Inf, 80, 120, 160, 190, Inf),
               labels = categorias))

# Mediana (hay que pasárselo como número)
starwars_talla %>%
  summarise(mediana =
              categorias[median(as.numeric(talla), na.rm = TRUE)])
## # A tibble: 1 × 1
##   mediana
##   <chr>  
## 1 alto

Para la moda tenemos algún problema mayor ya que no hay un función en los paquetes {base} para su cálculo, así que para ello usaremos el paquete modeest: la función mfv() nos calcula la moda exacta de una variable numérica discreta o cuantitativa (busca los valores más repetidos), la función mlv() nos calcula la moda estimada de una variable numérica continua.

library(modeest)

# Media y mediana y moda de mass y n_films
resumen <- 
  starwars_nueva %>%
  summarise(media = across(c(mass, n_films), mean, na.rm = TRUE),
            mediana = across(c(mass, n_films), median, na.rm = TRUE),
            moda_n_films = mfv(n_films, na_rm = TRUE),
            moda_mass = mlv(mass, na.rm = TRUE))
resumen
## # A tibble: 1 × 4
##   media$mass $n_films mediana$mass $n_films moda_n_films moda_mass
##        <dbl>    <dbl>        <dbl>    <int>        <int>     <dbl>
## 1       97.3     1.99           79        1            1      80.3

Fíjate que el resumen ha agrupado todas las modas y medianas que hemos calculado a la vez: la salida de nuestro resumen es una lista, con tablas a su vez dentro.

De la misma manera podemos pedirle que nos calcule medidas de dispersión (varianza, desv. típica y cv), de cómo de dispersos están los datos respecto a un centro, normalmente la media, y medidas de localización (percentiles).

starwars %>%
  summarise(media = mean(mass, na.rm = TRUE),
            mediana = median(mass, na.rm = TRUE),
            moda = mlv(mass, na.rm = TRUE),
            var = var(mass, na.rm = TRUE),
            sd = sd(mass, na.rm = TRUE),
            cv = sd / abs(media),
            p13 = quantile(mass, probs = c(0.13), na.rm = TRUE),
            p87 = quantile(mass, probs = c(0.87), na.rm = TRUE))
## # A tibble: 1 × 8
##   media mediana  moda    var    sd    cv   p13   p87
##   <dbl>   <dbl> <dbl>  <dbl> <dbl> <dbl> <dbl> <dbl>
## 1  97.3      79  80.3 28716.  169.  1.74  46.6  111.

Haciendo uso de cosas ya vistas podemos, por ejemplo, calcular el coeficiente de variación (CV) de todas las variables numéricas para poder decidir cual es más o menos dispersa.

resumen <- 
  starwars %>%
  summarise(media = across(where(is.numeric), mean, na.rm = TRUE),
            var = across(where(is.numeric), var, na.rm = TRUE),
            cv = sqrt(var) / abs(media))
resumen$media
## # A tibble: 1 × 3
##   height  mass birth_year
##    <dbl> <dbl>      <dbl>
## 1   174.  97.3       87.6
resumen$var
## # A tibble: 1 × 3
##   height   mass birth_year
##    <dbl>  <dbl>      <dbl>
## 1  1209. 28716.     23929.
resumen$cv # más homogénea la altura por tener menos CV.
##      height     mass birth_year
## 1 0.1994197 1.741382   1.766587

14.2.1 Agrupando datos: group_by

Una de las funcionalidades más potentes es la opción de añadir antes una agrupación con group_by(). Esta función per se no cambia los datos sino que cambia la forma en la que se aplicarán las funciones posteriores, realizándose por desagregadas grupos.

Imagina que queremos calcular la media de altura y peso de cada personaje PERO desagregada por cada una de las clases que tenemos en la variable sex.

starwars %>% group_by(sex) %>%
  summarise(media_altura = mean(height, na.rm = TRUE),
            media_peso = mean(mass, na.rm = TRUE)) %>%
  ungroup()
## # A tibble: 5 × 3
##   sex            media_altura media_peso
##   <chr>                 <dbl>      <dbl>
## 1 female                 169.       54.7
## 2 hermaphroditic         175      1358  
## 3 male                   179.       81.0
## 4 none                   131.       69.8
## 5 <NA>                   181.       48

Lo que obtenemos no es la media de todos los personajes sino la media desagregada por grupo, grupo marcado por la variable sex. Las agrupaciones pueden estar en función de varias variables a la vez.

starwars %>% group_by(sex, gender) %>%
  summarise(media_altura = mean(height, na.rm = TRUE),
            media_peso = mean(mass, na.rm = TRUE)) %>%
  ungroup()
## # A tibble: 6 × 4
##   sex            gender    media_altura media_peso
##   <chr>          <chr>            <dbl>      <dbl>
## 1 female         feminine          169.       54.7
## 2 hermaphroditic masculine         175      1358  
## 3 male           masculine         179.       81.0
## 4 none           feminine           96       NaN  
## 5 none           masculine         140        69.8
## 6 <NA>           <NA>              181.       48

Dicha función también es muy útil cuando queremos realizar un filtro de registros en base al número de cada clase: por ejemplo, vamos a filtrar los registros que pertenezcan a una clase de sex que tenga al menos 10 individuos dentro de dicho grupo.

starwars %>%
  group_by(sex) %>%
  count() %>%
  ungroup()
## # A tibble: 5 × 2
##   sex                n
##   <chr>          <int>
## 1 female            16
## 2 hermaphroditic     1
## 3 male              60
## 4 none               6
## 5 <NA>               4

Si te fijas solo deberíamos filtrar los registros que sean female y male. Vamos a hacerlo de forma automática en base a dicho umbral.

# Podemos filtrar por grupos solo aquellos que superen un
# un umbral mínimo
starwars %>% 
  group_by(sex) %>% 
  filter(n() > 10) %>%
  ungroup()
## # A tibble: 76 × 14
##    name    height  mass hair_color  skin_color eye_color birth_year sex   gender
##    <chr>    <int> <dbl> <chr>       <chr>      <chr>          <dbl> <chr> <chr> 
##  1 Luke S…    172    77 blond       fair       blue            19   male  mascu…
##  2 Darth …    202   136 none        white      yellow          41.9 male  mascu…
##  3 Leia O…    150    49 brown       light      brown           19   fema… femin…
##  4 Owen L…    178   120 brown, grey light      blue            52   male  mascu…
##  5 Beru W…    165    75 brown       light      blue            47   fema… femin…
##  6 Biggs …    183    84 black       light      brown           24   male  mascu…
##  7 Obi-Wa…    182    77 auburn, wh… fair       blue-gray       57   male  mascu…
##  8 Anakin…    188    84 blond       fair       blue            41.9 male  mascu…
##  9 Wilhuf…    180    NA auburn, gr… fair       blue            64   male  mascu…
## 10 Chewba…    228   112 brown       unknown    blue           200   male  mascu…
## # … with 66 more rows, and 5 more variables: homeworld <chr>, species <chr>,
## #   films <list>, vehicles <list>, starships <list>

Para comprobar rápidamente que efectivamente solo ha filtrado aquellos grupos con más de 10 elementos en ellos podemos añadir count().

starwars %>% 
  group_by(sex) %>% 
  filter(n() > 10) %>%
  count() %>%
  ungroup()
## # A tibble: 2 × 2
##   sex        n
##   <chr>  <int>
## 1 female    16
## 2 male      60

Los resúmenes y las agrupaciones podemos combinarlas de todas las formas que nos imaginemos, por ejemplo, calculando la media desagregada por sexo y género pero solo de las variables numéricas.

starwars %>% # doble agrupación
  group_by(sex, gender) %>%
  summarise(across(where(is.numeric), mean, na.rm = TRUE)) %>%
  ungroup()
## # A tibble: 6 × 5
##   sex            gender    height   mass birth_year
##   <chr>          <chr>      <dbl>  <dbl>      <dbl>
## 1 female         feminine    169.   54.7       47.2
## 2 hermaphroditic masculine   175  1358        600  
## 3 male           masculine   179.   81.0       85.5
## 4 none           feminine     96   NaN        NaN  
## 5 none           masculine   140    69.8       53.3
## 6 <NA>           <NA>        181.   48         62

14.2.2 Rowwise: operaciones por filas

Por último veamos un ejemplo de una opción muy útil usada antes de una operación que es rowwise(): toda operación que venga después se aplicará en cada fila por separado. Para el ejemplo vamos a definir un fichero dummy de notas en mates, lengua y dibujo de 50 alumnos. Para ello usamos la función sample(): le decimos que seleccione aleatoriamente size = 50 notas de un conjunto de notas posibles (0:10), y que lo haga con reemplazamiento (replace = TRUE, es decir, que dos alumnos puedan tener la misma nota)

notas <- tibble("mates" = sample(0:10, size = 50, replace = TRUE),
                "lengua" = sample(0:10, size = 50, replace = TRUE),
                "dibujo" = sample(0:10, size = 50, replace = TRUE))
notas
## # A tibble: 50 × 3
##    mates lengua dibujo
##    <int>  <int>  <int>
##  1     2      4      5
##  2     1      4     10
##  3     8      5      9
##  4     4      5      8
##  5     2      1      1
##  6     6      0      6
##  7     2      1      4
##  8     2      9      0
##  9     0      3      9
## 10     9      9      8
## # … with 40 more rows

Una vez que tenemos 3 notas aleatorias por cada uno de los 50 alumnos, ¿qué sucede si yo quiero calcular la nota media del curso?

notas %>% mutate(media_curso = mean(c(mates, lengua, dibujo)))
## # A tibble: 50 × 4
##    mates lengua dibujo media_curso
##    <int>  <int>  <int>       <dbl>
##  1     2      4      5        4.95
##  2     1      4     10        4.95
##  3     8      5      9        4.95
##  4     4      5      8        4.95
##  5     2      1      1        4.95
##  6     6      0      6        4.95
##  7     2      1      4        4.95
##  8     2      9      0        4.95
##  9     0      3      9        4.95
## 10     9      9      8        4.95
## # … with 40 more rows

Como ves si aplicamos la media de las tres variables, en cada fila el valor de media_curso es idéntico ya que nos ha hecho la media global: ha tomado las 50 filas, las 3 columnas, y ha hecho la media de 150 datos. Cuando en realidad a nosotros nos gustaría sacar una media por registro, que para cada alumno tengamos la media de las asignaturas.

# Aplicado por fila
notas %>% rowwise() %>%
  mutate(media_curso = mean(c(mates, lengua, dibujo)))
## # A tibble: 50 × 4
## # Rowwise: 
##    mates lengua dibujo media_curso
##    <int>  <int>  <int>       <dbl>
##  1     2      4      5        3.67
##  2     1      4     10        5   
##  3     8      5      9        7.33
##  4     4      5      8        5.67
##  5     2      1      1        1.33
##  6     6      0      6        4   
##  7     2      1      4        2.33
##  8     2      9      0        3.67
##  9     0      3      9        4   
## 10     9      9      8        8.67
## # … with 40 more rows

Solos nos falta poner la guinda a lo aprendido a esta introducción: vamos a ver como podemos relacionar dos conjuntos de datos distintos entre sí.

14.3 Relacionar datos (joins)

Una de las opciones más comunes para trabajar con datos es tener a nuestra disposición diversas tablas, con alguno o varios de los campos en común, y nos interesa a veces cruzar datos de ambos para tener una información más completa con el conjunto de las tablas. Es lo que se conoce en ciencia de datos e informática como hacer un join de tablas. Para ese cruce será indispensable que haya uno o varios campos clave, campos que sirvan para identificar unívocamente cada registro (por ejemplo, DNI).

Esquema con los principales tipos de join, extraído de <https://estradawebgroup.com/Post/-Que-es-y-para-que-sirve-SQL-Joins-/4278>

Imagen/gráfica 14.1: Esquema con los principales tipos de join, extraído de https://estradawebgroup.com/Post/-Que-es-y-para-que-sirve-SQL-Joins-/4278

Existen principalmente cuatro tipos de cruces si pensamos en cruzar un conjunto A con otro conjunto B:

  • Inner join: solo nos quedamos con las filas que tengan correspondencia en ambas tablas (personas cuyo DNI aparezca en ambas tablas, por ejemplo).

  • Left (outer) join: nos quedamos con todas las filas de A, buscando que registros de dicha tabla están también en B, completando los datos de esta tabla para esos registros.

  • Right (outer) join: nos quedamos con todas las filas de B, buscando que registros de dicha tabla están también en A, completando los datos de esta tabla para esos registros.

  • Full join: nos quedamos con todas las filas de A y B, tengan o no correspondencia en la otra tabla (si no está en una de ellas, las columnas correspondientes quedarán como campo ausente).

Esos campos clave (keys) serán las columnas que usaremos para definir los cruces. Para los ejemplos usaremos las tablas del paquete nycflights13.

Dicho paquete cuenta con las siguientes tablas:

  • airlines: nombre de la aerolínea (con su abreviatura).
  • airports: datos de aeropuertos (nombres, longitud, latitud, altitud, etc).
  • flights: datos de vuelos (con tailnum como marca de idenfiticación).
  • planes: datos de los aviones.
  • weather: datos meteorológicos horarios de las estaciones LGA, JFK y EWR.

Veamos un ejemplo: imagina que queremos completar en la tabla de vuelos los datos de cada una de las aerolíneas que operan dichos vuelos. Vamos a seleccionar unas pocas columnas para que sea más fácil de visualizar.

# Seleccionamos antes columnas para que sea más corto
flights_filtrada <- flights %>%
  select(year:day, arr_time, carrier:dest)
flights_filtrada
## # A tibble: 336,776 × 9
##     year month   day arr_time carrier flight tailnum origin dest 
##    <int> <int> <int>    <int> <chr>    <int> <chr>   <chr>  <chr>
##  1  2013     1     1      830 UA        1545 N14228  EWR    IAH  
##  2  2013     1     1      850 UA        1714 N24211  LGA    IAH  
##  3  2013     1     1      923 AA        1141 N619AA  JFK    MIA  
##  4  2013     1     1     1004 B6         725 N804JB  JFK    BQN  
##  5  2013     1     1      812 DL         461 N668DN  LGA    ATL  
##  6  2013     1     1      740 UA        1696 N39463  EWR    ORD  
##  7  2013     1     1      913 B6         507 N516JB  EWR    FLL  
##  8  2013     1     1      709 EV        5708 N829AS  LGA    IAD  
##  9  2013     1     1      838 B6          79 N593JB  JFK    MCO  
## 10  2013     1     1      753 AA         301 N3ALAA  LGA    ORD  
## # … with 336,766 more rows

Queremos TODAS las filas de los vuelos, todos sus registros, pero añadiendo la información que tenemos de la aerolínea que opere los vuelos, así que haremos un LEFT JOIN de flights vs airlines. El campo común que nos permite cruzarla, la clave (key) es el código abreviado de las aerolíneas (variable carrier).

# Mismas filas pero con una nueva columna: siempre que sea
# posible el cruce tendrá la info de la aerolínea
l_join_flights_airlines <-
  flights_filtrada %>% left_join(airlines, by = "carrier")
l_join_flights_airlines
## # A tibble: 336,776 × 10
##     year month   day arr_time carrier flight tailnum origin dest  name          
##    <int> <int> <int>    <int> <chr>    <int> <chr>   <chr>  <chr> <chr>         
##  1  2013     1     1      830 UA        1545 N14228  EWR    IAH   United Air Li…
##  2  2013     1     1      850 UA        1714 N24211  LGA    IAH   United Air Li…
##  3  2013     1     1      923 AA        1141 N619AA  JFK    MIA   American Airl…
##  4  2013     1     1     1004 B6         725 N804JB  JFK    BQN   JetBlue Airwa…
##  5  2013     1     1      812 DL         461 N668DN  LGA    ATL   Delta Air Lin…
##  6  2013     1     1      740 UA        1696 N39463  EWR    ORD   United Air Li…
##  7  2013     1     1      913 B6         507 N516JB  EWR    FLL   JetBlue Airwa…
##  8  2013     1     1      709 EV        5708 N829AS  LGA    IAD   ExpressJet Ai…
##  9  2013     1     1      838 B6          79 N593JB  JFK    MCO   JetBlue Airwa…
## 10  2013     1     1      753 AA         301 N3ALAA  LGA    ORD   American Airl…
## # … with 336,766 more rows

Si te fijas ahora tenemos en l_join_flights_airlines las mismas 336776 filas pero con una columna más: la tabla airlines tenía 2 columnas, una la común con flights y en otra la nueva que se ha incorporado a la tabla. ¿Y si en flights había algún vuelo operado por alguna aerolínea que no estuviese en airlines?

# Filtramos
l_join_flights_airlines %>% filter(is.na(name))
## # A tibble: 0 × 10
## # … with 10 variables: year <int>, month <int>, day <int>, arr_time <int>,
## #   carrier <chr>, flight <int>, tailnum <chr>, origin <chr>, dest <chr>,
## #   name <chr>

En este caso todos los registros de la primera tabla tenían su correspondencia en la segunda tabla. Veamos un ejemplo donde suceda eso, quitándole algunas filas a airlines, quitando las aerolíneas con códigos "B6".

airlines_filtrada <- airlines %>% 
  filter(!(carrier %in% c("B6")))
l_join <- flights_filtrada %>% left_join(airlines_filtrada, by = "carrier")
dim(l_join %>% filter(is.na(name)))
## [1] 54635    10

En el anterior ejemplo tenemos 54 635 filas que cuyo nombre está ausente, es decir, 54 635 filas de flights que no tienen correspondencia en la tabla filtrada airlines_filtrada. Ahora las filas que no han encontrado su match en la segunda tabla están como campo ausente.

l_join
## # A tibble: 336,776 × 10
##     year month   day arr_time carrier flight tailnum origin dest  name          
##    <int> <int> <int>    <int> <chr>    <int> <chr>   <chr>  <chr> <chr>         
##  1  2013     1     1      830 UA        1545 N14228  EWR    IAH   United Air Li…
##  2  2013     1     1      850 UA        1714 N24211  LGA    IAH   United Air Li…
##  3  2013     1     1      923 AA        1141 N619AA  JFK    MIA   American Airl…
##  4  2013     1     1     1004 B6         725 N804JB  JFK    BQN   <NA>          
##  5  2013     1     1      812 DL         461 N668DN  LGA    ATL   Delta Air Lin…
##  6  2013     1     1      740 UA        1696 N39463  EWR    ORD   United Air Li…
##  7  2013     1     1      913 B6         507 N516JB  EWR    FLL   <NA>          
##  8  2013     1     1      709 EV        5708 N829AS  LGA    IAD   ExpressJet Ai…
##  9  2013     1     1      838 B6          79 N593JB  JFK    MCO   <NA>          
## 10  2013     1     1      753 AA         301 N3ALAA  LGA    ORD   American Airl…
## # … with 336,766 more rows
Esquema del left join, extraído de <https://r4ds.had.co.nz/relational-data.html#mutating-joins>

Imagen/gráfica 14.2: Esquema del left join, extraído de https://r4ds.had.co.nz/relational-data.html#mutating-joins

La misma lógica para los RIGHT JOIN y los FULL JOIN. En este último tendremos bastantes datos ausentes, ya que todos los registros que no estén en ambas tablas tendrán una parte de sus variables como NA

tabla1 <- tibble("key_1" = 1:7, "valor_1" = paste0("x", 1:7))
tabla2 <- tibble("key_2" = c(0, 1, 2, 5, 6, 9, 10),
                 "valor_2" = paste0("x", c(0, 1, 2, 5, 6, 9, 10)))

# Left
tabla1 %>% left_join(tabla2, by = c("key_1" = "key_2"))
## # A tibble: 7 × 3
##   key_1 valor_1 valor_2
##   <dbl> <chr>   <chr>  
## 1     1 x1      x1     
## 2     2 x2      x2     
## 3     3 x3      <NA>   
## 4     4 x4      <NA>   
## 5     5 x5      x5     
## 6     6 x6      x6     
## 7     7 x7      <NA>
# Right
tabla1 %>% right_join(tabla2, by = c("key_1" = "key_2"))
## # A tibble: 7 × 3
##   key_1 valor_1 valor_2
##   <dbl> <chr>   <chr>  
## 1     1 x1      x1     
## 2     2 x2      x2     
## 3     5 x5      x5     
## 4     6 x6      x6     
## 5     0 <NA>    x0     
## 6     9 <NA>    x9     
## 7    10 <NA>    x10
# Full
tabla1 %>% full_join(tabla2, by = c("key_1" = "key_2"))
## # A tibble: 10 × 3
##    key_1 valor_1 valor_2
##    <dbl> <chr>   <chr>  
##  1     1 x1      x1     
##  2     2 x2      x2     
##  3     3 x3      <NA>   
##  4     4 x4      <NA>   
##  5     5 x5      x5     
##  6     6 x6      x6     
##  7     7 x7      <NA>   
##  8     0 <NA>    x0     
##  9     9 <NA>    x9     
## 10    10 <NA>    x10
Esquema del right join, extraído de <https://r4ds.had.co.nz/relational-data.html#mutating-joins>

Imagen/gráfica 14.3: Esquema del right join, extraído de https://r4ds.had.co.nz/relational-data.html#mutating-joins

Esquema del full join, extraído de <https://r4ds.had.co.nz/relational-data.html#mutating-joins>

Imagen/gráfica 14.4: Esquema del full join, extraído de https://r4ds.had.co.nz/relational-data.html#mutating-joins

Un tipo de join especial son los INNER JOIN. Hasta ahora la tabla resultante tenía al menos tantas filas como tuviese la tabla más pequeña en el cruce. En el caso de los INNER JOIN vamos a reducir el tamaño ya que solo nos quedaremos con aquellos registros que podamos encontrar en ambas, de forma que el cruce nunca generará datos ausentes.

# Inner
tabla1 %>% inner_join(tabla2, by = c("key_1" = "key_2"))
## # A tibble: 4 × 3
##   key_1 valor_1 valor_2
##   <dbl> <chr>   <chr>  
## 1     1 x1      x1     
## 2     2 x2      x2     
## 3     5 x5      x5     
## 4     6 x6      x6
Esquema del inner join, extraído de <https://r4ds.had.co.nz/relational-data.html#mutating-joins>

Imagen/gráfica 14.5: Esquema del inner join, extraído de https://r4ds.had.co.nz/relational-data.html#mutating-joins

14.4 📝 Ejercicios

en breve