Manipulación avanzada de dataframes

Cambiar los nombres de filas y columnas

Los dataframes también pueden tener un atributo names que indica los nombres de sus columnas (si los tiene). En general, entendemos las columnas como variables

names(mtcars)

##  [1] "mpg"  "cyl"  "disp" "hp"   "drat" "wt"   "qsec" "vs"   "am"   "gear"
## [11] "carb"

Es un vector de caracteres que incluye los nombres del conjunto de datos mtcars.

Este vector es modificable. Cambia el nombre de la segunda columna por su equivalente en español (cilindrada).

names(mtcars)...

names(mtcars)[2] <- "cilindrada"

De la misma naturaleza son los nombres de las columnas:

rownames(mtcars)

##  [1] "Mazda RX4"           "Mazda RX4 Wag"       "Datsun 710"         
##  [4] "Hornet 4 Drive"      "Hornet Sportabout"   "Valiant"            
##  [7] "Duster 360"          "Merc 240D"           "Merc 230"           
## [10] "Merc 280"            "Merc 280C"           "Merc 450SE"         
## [13] "Merc 450SL"          "Merc 450SLC"         "Cadillac Fleetwood" 
## [16] "Lincoln Continental" "Chrysler Imperial"   "Fiat 128"           
## [19] "Honda Civic"         "Toyota Corolla"      "Toyota Corona"      
## [22] "Dodge Challenger"    "AMC Javelin"         "Camaro Z28"         
## [25] "Pontiac Firebird"    "Fiat X1-9"           "Porsche 914-2"      
## [28] "Lotus Europa"        "Ford Pantera L"      "Ferrari Dino"       
## [31] "Maserati Bora"       "Volvo 142E"

Valores faltantes

¿Cómo tratamos a los valores faltantes? Son uno de los quebraderos de cabeza de los investigadores ya que pueden alterar el resultado de los experimentos. R nos apoya en la tarea de detectarlos, inputarlos o borrarlos con las siguientes funciones.

Para comprobar si hay valores faltantes se puede utilizar la (a estas alturas ya famosa) función summary().

coches <- read.table("http://gauss.inf.um.es/datos/coches.csv", sep=";", head=T)
summary(coches)

¿Cómo podemos combinar las funciones colSums() y is.na() para obtener una tabla que indique el número de valores faltantes por columna?

... is.na(coches) ..

colSums(is.na(coches))

Utiliza las funciones which() y is.na() para encontrar las filas en las que la varible hp tiene los valores faltantes.

...

which(is.na(coches$hp))

Si queremos imputar los valores faltantes con un valor fijo solo tenemos que seleccionarlos y asignar dicho valor a la selección como sigue:

cochesI <- coches
cochesI[is.na(cochesI)] <- 10

Calcula la mediana de la columna 2 (cyl o cilindrada) e imputa los valores faltantes de esa columna con ella.

mediana <- median(...)
... <- mediana

mediana <- median(coches$cilindrada, na.rm=T)
coches$cilindrada[is.na(coches$cilindrada)] <- mediana
colSums(is.na(coches)) # esta parte no es necesaria, solo para comprobar que se han imputado

La función complete.cases() devuelve un valor lógico indicando qué filas del conjunto de datos están completas, es decir, no tienen valores faltantes.

complete.cases(coches)

##  [1] FALSE  TRUE  TRUE  TRUE FALSE  TRUE  TRUE FALSE  TRUE  TRUE  TRUE  TRUE
## [13]  TRUE FALSE  TRUE  TRUE FALSE  TRUE  TRUE FALSE  TRUE  TRUE  TRUE  TRUE
## [25]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE  TRUE  TRUE

Utiliza la función complete.cases() para crear un nuevo dataframe, basado en coches pero que se haya deshecho de las filas donde hubiera algún valor faltante. Comprueba que ya no hay ningún valor faltante en el nuevo dataframe.

cochesLimpio <- ...complete.cases(coches)..
...

cochesLimpio <- coches[complete.cases(coches),]
colSums(is.na(cochesLimpio))

Combinar dataframes

Ahora vamos a aprender a unir dataframes. Trabajaremos con estos conjuntos de datos:

paises1 <- read.table("http://gauss.inf.um.es/datos/countries_sub1.csv", sep=";", head=T)
paises2 <- read.table("http://gauss.inf.um.es/datos/countries_sub2.csv", sep=";", head=T)
paises3 <- read.table("http://gauss.inf.um.es/datos/countries_sub3.csv", sep=";", head=T)
paises4 <- read.table("http://gauss.inf.um.es/datos/countries_sub4.csv", sep=";", head=T)

Cuando trabajamos con datos que proceden de diversas fuentes, nos puede interesar unirlos. Los datos a unir deben tener una estructura común: mismas variables (incluyendo nombre y tipo) o misma longitud.

• Añadir más filas: rbind() (row bind) sirve para anexar las filas de 2 dataframes.

paises <- rbind(paises1, paises2)

Une ahora el conjunto anterior paises con paises3. ¿Qué sucede? ¿Puedes solucionarlo?

# Si hacemos rbind(paises, paises3) los nombres de las columnas no son los mismos
names(paises3)[1] <- "Country" # o aún mejor: names(paises3)[1] <- names(paises)[1]
rbind(paises, paises3)

• Añadir más columnas cbind() (column bind) y merge() sirven para anexar las columnas de 2 dataframes que tienen las mismas variables.

paises5 <- cbind(paises2, paises4)

En este caso, cbind devuelve una tabla que no sigue los principios tidy ya que la variable Country aparece repetida.

Para evitar este problema al combinar 2 dataframes se utiliza la función merge(). Esta función cuenta con un argumento by donde se indica la variable (o clave) por la que unir los dataframes.

En este caso, la clave por la que se desea unir los dataframes es la variable Country y los dataframes solo tienen dos sujetos en común: España y Rusia.

merge(paises2,paises4,by="Country")

Recordamos que

Utiliza R o deduce las siguientes preguntas:

La familia apply()

La familia apply() pertenece al paquete base de R y se utiliza para manipular porciones de los datos de una forma repetitiva. Estas funciones permiten cruzar los datos de diversas formas evitando utilizar bucles, que son menos eficientes y el código es más engorroso.

Si no sabes lo que son los bucles en programación, no son necesarios para seguir el curso pero quizás eres curios@. En ese caso puedes completar la información con https://www.datacamp.com/community/tutorials/tutorial-on-loops-in-r.

La familia incluye las fuciones apply(), lapply() , sapply(), vapply(), mapply(), rapply(), y tapply().

¿Cuándo y cómo utilizar cada una de ellas?

Depende de la estructura de los datos que se quieran manipular y del formato de salida que se necesite.

apply

apply() opera en vectores y matrices. Sus argumentos básicos son apply(X, MARGIN, FUN)

donde

• X es un vector o una matriz

• MARGIN es una variable que define cómo se aplica la función:

  - MARGIN = 1 --> por filas
  - MARGIN = 2 --> por columnas
  - MARGIN = c(1,2) por filas y columnas

• FUN es la función que se desea aplicar a los datos

Como todas las filas o todas las columnas se van a ver afectadas por la misma función, éstas tienen que ser del mismo tipo. Para ello crearemos un dataframe muy simple:

df<- matrix(c(1:10, 1:10, 1:10), nrow = 10, ncol = 3)
df

##       [,1] [,2] [,3]
##  [1,]    1    1    1
##  [2,]    2    2    2
##  [3,]    3    3    3
##  [4,]    4    4    4
##  [5,]    5    5    5
##  [6,]    6    6    6
##  [7,]    7    7    7
##  [8,]    8    8    8
##  [9,]    9    9    9
## [10,]   10   10   10

Y, a continuación mostramos la suma por filas y por columnas respectivamente utilizando la función apply

apply(df, 1, sum)

##  [1]  3  6  9 12 15 18 21 24 27 30

apply(df, 2, sum)

## [1] 55 55 55

La función sum ya existe en R, pero en algunas ocasiones será útil definir nuestrar propias funciones. Utiliza la función st.err definida a continuación para calcular el error estándard por columnas de df:

st.err <- function(x){
  sd(x)/sqrt(length(x))
}

apply(df, ... , ...)

st.err <- function(x){
  sd(x)/sqrt(length(x))
}

apply(df,2, st.err)

Utiliza la función apply para calcular el rango de las variables numéricas del dataset CO2

apply (CO2[...], ..., range)

apply (CO2[ , 4:5], 2, range)

lapply()

Veamos el funcionamiento de la función lapply() con este simple ejemplo:

lapply(1:3, function(x) x^2)

## [[1]]
## [1] 1
## 
## [[2]]
## [1] 4
## 
## [[3]]
## [1] 9

Lapply devuelve una lista de la misma longitud de su argumento de entrada.

Los dataframes son listas de vectores del mismo tamaño, por lo tanto, lapply() resulta muy útil para aplicar para aplicar una función a las columnas de un dataframe.

El conjunto de datos starwarsjuguetes presenta la siguiente codificación:

starwars <- read.table("starwarsjuguetes.csv", sep=";", head=T)
summary(starwars)

##     nombre              genero          altura           peso       
##  Length:8           Min.   :1.000   Min.   :0.660   Min.   : 17.00  
##  Class :character   1st Qu.:2.000   1st Qu.:1.365   1st Qu.: 44.75  
##  Mode  :character   Median :2.000   Median :1.695   Median : 76.00  
##                     Mean   :1.875   Mean   :1.551   Mean   : 64.88  
##                     3rd Qu.:2.000   3rd Qu.:1.805   3rd Qu.: 77.75  
##                     Max.   :2.000   Max.   :2.280   Max.   :112.00  
##       jedi          especie           arma      
##  Min.   :1.000   Min.   :1.000   Min.   :1.000  
##  1st Qu.:1.000   1st Qu.:1.000   1st Qu.:1.750  
##  Median :2.000   Median :1.500   Median :3.000  
##  Mean   :1.625   Mean   :1.875   Mean   :2.625  
##  3rd Qu.:2.000   3rd Qu.:2.250   3rd Qu.:3.250  
##  Max.   :2.000   Max.   :4.000   Max.   :4.000

Las variables género, jedi, especie y arma son categóricas, sin embargo, se tratan como numéricas ya que no lo hemos especificado. Además de convertirlas de forma individual en factores, podemos hacerlo de forma más inteligente, esto es, utilizando la función lapply() en las columnas seleccionadas:

starwars[c(2,5:7)] <- lapply(starwars[c(2,5:7)], as.factor)
summary(starwars)

##     nombre          genero     altura           peso        jedi  especie arma 
##  Length:8           1:1    Min.   :0.660   Min.   : 17.00   1:3   1:4     1:2  
##  Class :character   2:7    1st Qu.:1.365   1st Qu.: 44.75   2:5   2:2     2:1  
##  Mode  :character          Median :1.695   Median : 76.00         3:1     3:3  
##                            Mean   :1.551   Mean   : 64.88         4:1     4:2  
##                            3rd Qu.:1.805   3rd Qu.: 77.75                      
##                            Max.   :2.280   Max.   :112.00

starwars[c(2,5:7)] <- lapply(starwars[c(2,5:7)], as.factor)

Utiliza la función levels() para renombrar los niveles de una de las variables categóricas de acuerdo a la tabla de codificación anterior y muestra un gráfico de barras de ella:

levels()...

barplot(...)

levels(starwars$genero) <- c("fem", "masc")
barplot(table(starwars$genero))

tapply()

La función tapply es útil cuando necesitamos partir un vector por grupos, realizar cálculos en cada uno de esos grupos y devolver los resultados en forma de tabla. Se pueden utilizar más de un factor para definir los grupos.

tapply(CO2$uptake, CO2$Type, mean)

##      Quebec Mississippi 
##    33.54286    20.88333