Относительные частоты / пропорции с dplyr

Предположим, я хочу рассчитать долю различных значений в каждой группе. Например, используя данные mtcars, как рассчитать относительную частоту количества передач по утра (автоматически / вручную) за один раз. с dplyr?

library(dplyr)
data(mtcars)
mtcars <- tbl_df(mtcars)

# count frequency
mtcars %>%
  group_by(am, gear) %>%
  summarise(n = n())

# am gear  n
#  0    3 15 
#  0    4  4 
#  1    4  8  
#  1    5  5 

Чего бы я хотел добиться:

am gear  n rel.freq
 0    3 15      0.7894737
 0    4  4      0.2105263
 1    4  8      0.6153846
 1    5  5      0.3846154

person jenswirf    schedule 04.07.2014    source источник
comment
Это те проценты, которые вам нужны? Откуда они берутся с алгебраической точки зрения? Ах, 79% - это 15 / (15 + 4), 21% - это 4 / (15 + 4), а затем для am == 1 62% равно 8 / (8 + 5) и т. Д. Понятно.   -  person Spacedman    schedule 04.07.2014
comment
@Spacedman Да, это именно то число, которое я хочу, и Фрэнк прав, они в сумме составляют 100% по переменной am (79 + 21) и (62 + 38) ..   -  person jenswirf    schedule 04.07.2014
comment
Кажется, это действительно ищет родную реализацию dplyr _1 _ / _ 2_. Кроме того, в других вопросах некоторые люди просят возможность включения нулевого счета для переменных или взаимодействий переменных   -  person smci    schedule 27.04.2016


Ответы (10)


Попробуй это:

mtcars %>%
  group_by(am, gear) %>%
  summarise(n = n()) %>%
  mutate(freq = n / sum(n))

#   am gear  n      freq
# 1  0    3 15 0.7894737
# 2  0    4  4 0.2105263
# 3  1    4  8 0.6153846
# 4  1    5  5 0.3846154

Из виньетки dplyr :

Когда вы группируете по нескольким переменным, каждая сводка отделяется от одного уровня группировки. Это упрощает постепенное свертывание набора данных.

Таким образом, после summarise отключается последняя группирующая переменная, указанная в group_by, 'gear'. На шаге mutate данные группируются по оставшимся группирующим переменным, здесь «am». Вы можете проверить группировку на каждом шаге с помощью groups.

Результат очистки, конечно, зависит от порядка группирующих переменных в вызове group_by. Вы можете сделать следующий group_by(am), чтобы сделать ваш код более ясным.

Для округления и предварительного определения см. Хороший ответ @Tyler Rinker.

person Henrik    schedule 04.07.2014
comment
Я только что обнаружил это решение, но я не знаю, почему sum(n) работает с группой am, а не с группой gear ... - person Spacedman; 04.07.2014
comment
См. виньетку: при группировке по нескольким переменным каждая Резюме отслаивает один уровень группировки. - person Henrik; 04.07.2014
comment
Хорошо - если вы просто остановитесь после summarise, он действительно скажет, какие группы остались. Ой дплыр скалы ... - person Spacedman; 04.07.2014
comment
Просто и понятно. Я никогда раньше не знал теории отслаивания, спасибо! - person Shixiang Wang; 07.07.2019
comment
отлично. просто и эффективно. отличная работа! - person user2550228; 06.07.2020

Вы можете использовать функцию count(), которая, однако, имеет разное поведение в зависимости от версии dplyr:

  • dplyr 0.7.1: возвращает разгруппированную таблицу: вам нужно снова сгруппировать по am

  • dplyr ‹0.7.1: возвращает сгруппированную таблицу, поэтому нет необходимости снова группировать, хотя вы можете захотеть ungroup() для последующих манипуляций

dplyr 0.7.1

mtcars %>%
  count(am, gear) %>%
  group_by(am) %>%
  mutate(freq = n / sum(n))

dplyr ‹0,7.1

mtcars %>%
  count(am, gear) %>%
  mutate(freq = n / sum(n))

В результате получается сгруппированная таблица. Если вы хотите использовать ее для дальнейшего анализа, может быть полезно удалить атрибут grouped с помощью ungroup().

person Matifou    schedule 08.08.2016
comment
Это кажется неверным ответом на dplyr 0.7.1. Он вычисляет частоту в целом на снаряжении, а не на каждом уровне am. - person Edwin; 19.07.2017

@ Henrik's лучше для удобства использования, так как в этом случае символ столбца больше не будет числовым, а будет соответствовать тому, что вы просили ...

mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n()) %>%
  mutate(rel.freq = paste0(round(100 * n/sum(n), 0), "%"))

##   am gear  n rel.freq
## 1  0    3 15      79%
## 2  0    4  4      21%
## 3  1    4  8      62%
## 4  1    5  5      38%

ИЗМЕНИТЬ, потому что Spacedman попросил об этом :-)

as.rel_freq <- function(x, rel_freq_col = "rel.freq", ...) {
    class(x) <- c("rel_freq", class(x))
    attributes(x)[["rel_freq_col"]] <- rel_freq_col
    x
}

print.rel_freq <- function(x, ...) {
    freq_col <- attributes(x)[["rel_freq_col"]]
    x[[freq_col]] <- paste0(round(100 * x[[freq_col]], 0), "%")   
    class(x) <- class(x)[!class(x)%in% "rel_freq"]
    print(x)
}

mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n()) %>%
  mutate(rel.freq = n/sum(n)) %>%
  as.rel_freq()

## Source: local data frame [4 x 4]
## Groups: am
## 
##   am gear  n rel.freq
## 1  0    3 15      79%
## 2  0    4  4      21%
## 3  1    4  8      62%
## 4  1    5  5      38%
person Tyler Rinker    schedule 04.07.2014
comment
Вы всегда можете создать процентный класс S3 с помощью метода format, который добавляет знак процента ... #overkill - person Spacedman; 04.07.2014
comment
Реализация этого тоже может быть интересной: stackoverflow.com/questions/13483430/ - person Spacedman; 04.07.2014
comment
Что, если бы можно было вычислить среднее значение, SD и SE в этом примере? - person user3655531; 16.01.2017

Я написал небольшую функцию для этой повторяющейся задачи:

count_pct <- function(df) {
  return(
    df %>%
      tally %>% 
      mutate(n_pct = 100*n/sum(n))
  )
}

Затем я могу использовать это как:

mtcars %>% 
  group_by(cyl) %>% 
  count_pct

Он возвращает:

# A tibble: 3 x 3
    cyl     n n_pct
  <dbl> <int> <dbl>
1     4    11  34.4
2     6     7  21.9
3     8    14  43.8
person slhck    schedule 18.03.2019

Несмотря на множество ответов, есть еще один подход, который использует prop.table в сочетании с dplyr или data.table.

library("dplyr")
mtcars %>%
    group_by(am, gear) %>%
    summarise(n = n()) %>%
    mutate(freq = prop.table(n))

library("data.table")
cars_dt <- as.data.table(mtcars)
cars_dt[, .(n = .N), keyby = .(am, gear)][, freq := prop.table(n) , by = "am"]
person TimTeaFan    schedule 30.07.2019
comment
Безусловно, самый простой подход - person Parseltongue; 25.01.2020

Вот общая функция, реализующая решение Хенрика на dplyr 0.7.1.

freq_table <- function(x, 
                       group_var, 
                       prop_var) {
  group_var <- enquo(group_var)
  prop_var  <- enquo(prop_var)
  x %>% 
    group_by(!!group_var, !!prop_var) %>% 
    summarise(n = n()) %>% 
    mutate(freq = n /sum(n)) %>% 
    ungroup
}
person Edwin    schedule 19.07.2017
comment
Error in bind_rows_(x, .id) : Column am` нельзя преобразовать из числа в символ` - person f0nzie; 07.08.2018

Вот базовый ответ R с использованием aggregate и ave:

df1 <- with(mtcars, aggregate(list(n = mpg), list(am = am, gear = gear), length))
df1$prop <- with(df1, n/ave(n, am, FUN = sum))
#Also with prop.table
#df1$prop <- with(df1, ave(n, am, FUN = prop.table))
df1

#  am gear  n      prop
#1  0    3 15 0.7894737
#2  0    4  4 0.2105263
#3  1    4  8 0.6153846
#4  1    5  5 0.3846154 

Мы также можем использовать prop.table, но результат отображается иначе.

prop.table(table(mtcars$am, mtcars$gear), 1)
   
#            3         4         5
#  0 0.7894737 0.2105263 0.0000000
#  1 0.0000000 0.6153846 0.3846154
person Ronak Shah    schedule 19.09.2020

Для полноты этого популярного вопроса, начиная с версии 1.0.0 для dplyr, параметр .groups управляет структурой группировки функции summarise после group_by краткая справка.

С .groups = "drop_last", summarise отбрасывает последний уровень группировки. Это был единственный результат, полученный до версии 1.0.0.

library(dplyr)
library(scales)

original <- mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n()) %>%
  mutate(rel.freq =  scales::percent(n/sum(n), accuracy = 0.1))
#> `summarise()` regrouping output by 'am' (override with `.groups` argument)

original
#> # A tibble: 4 x 4
#> # Groups:   am [2]
#>      am  gear     n rel.freq
#>   <dbl> <dbl> <int> <chr>   
#> 1     0     3    15 78.9%   
#> 2     0     4     4 21.1%   
#> 3     1     4     8 61.5%   
#> 4     1     5     5 38.5%

new_drop_last <- mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n(), .groups = "drop_last") %>%
  mutate(rel.freq =  scales::percent(n/sum(n), accuracy = 0.1))

dplyr::all_equal(original, new_drop_last)
#> [1] TRUE

С .groups = "drop" отбрасываются все уровни группировки. Результат превращается в независимый тибет без следов предыдущего group_by

# .groups = "drop"
new_drop <- mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n(), .groups = "drop") %>%
  mutate(rel.freq =  scales::percent(n/sum(n), accuracy = 0.1))

new_drop
#> # A tibble: 4 x 4
#>      am  gear     n rel.freq
#>   <dbl> <dbl> <int> <chr>   
#> 1     0     3    15 46.9%   
#> 2     0     4     4 12.5%   
#> 3     1     4     8 25.0%   
#> 4     1     5     5 15.6%

Если .groups = "keep", та же структура группировки, что и .data (в данном случае mtcars). summarise не отслаивает никакую переменную, используемую в group_by.

Наконец, с .groups = "rowwise" каждая строка представляет собой отдельную группу. Это равносильно удержанию в этой ситуации

# .groups = "keep"
new_keep <- mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n(), .groups = "keep") %>%
  mutate(rel.freq =  scales::percent(n/sum(n), accuracy = 0.1))

new_keep
#> # A tibble: 4 x 4
#> # Groups:   am, gear [4]
#>      am  gear     n rel.freq
#>   <dbl> <dbl> <int> <chr>   
#> 1     0     3    15 100.0%  
#> 2     0     4     4 100.0%  
#> 3     1     4     8 100.0%  
#> 4     1     5     5 100.0%

# .groups = "rowwise"
new_rowwise <- mtcars %>%
  group_by (am, gear) %>%
  summarise (n=n(), .groups = "rowwise") %>%
  mutate(rel.freq =  scales::percent(n/sum(n), accuracy = 0.1))

dplyr::all_equal(new_keep, new_rowwise)
#> [1] TRUE

Другой момент, который может представлять интерес, заключается в том, что иногда после применения group_by и summarise может помочь итоговая строка.

# create a subtotal line to help readability
subtotal_am <- mtcars %>%
  group_by (am) %>% 
  summarise (n=n()) %>%
  mutate(gear = NA, rel.freq = 1)
#> `summarise()` ungrouping output (override with `.groups` argument)

mtcars %>% group_by (am, gear) %>%
  summarise (n=n()) %>% 
  mutate(rel.freq = n/sum(n)) %>%
  bind_rows(subtotal_am) %>%
  arrange(am, gear) %>%
  mutate(rel.freq =  scales::percent(rel.freq, accuracy = 0.1))
#> `summarise()` regrouping output by 'am' (override with `.groups` argument)
#> # A tibble: 6 x 4
#> # Groups:   am [2]
#>      am  gear     n rel.freq
#>   <dbl> <dbl> <int> <chr>   
#> 1     0     3    15 78.9%   
#> 2     0     4     4 21.1%   
#> 3     0    NA    19 100.0%  
#> 4     1     4     8 61.5%   
#> 5     1     5     5 38.5%   
#> 6     1    NA    13 100.0%

Создано 09.11.2020 с помощью пакета REPEX (v0.3.0)

Надеюсь, вы найдете этот ответ полезным.

person josep maria porrà    schedule 09.11.2020

Этот ответ основан на ответе Матифу.

Сначала я изменил его, чтобы гарантировать, что столбец freq не будет возвращен как столбец научной записи с помощью параметра scipen.

Затем я умножаю ответ на 100, чтобы получить процент, а не десятичную дробь, чтобы столбец freq было легче читать в процентах.

getOption("scipen") 
options("scipen"=10) 
mtcars %>%
count(am, gear) %>% 
mutate(freq = (n / sum(n)) * 100)
person Jazzmine    schedule 22.12.2016

Также попробуйте add_count() (чтобы обойти надоедливую group_by .groups)

`mtcars %>% 
  count(am, gear) %>% 
  add_count(am, wt = n) %>% 
  mutate(pct = n / nn)`
person Dan Gustafsson    schedule 04.03.2021