неправильные результаты gprof с gcc -Ofast -pg

Я вижу странные результаты профилирования с gcc -pg и gprof.

Я не могу найти лучший / меньший способ воспроизведения, поэтому я связываю фактический код, в котором я вижу проблему.

Я использую код здесь, создавая результаты профилирования gprof с make prof

Замечаю несколько ошибок, в основном:

  1. Показано, что функция shape_stream_test, которую никогда не следует вызывать, активно вызывается ai_best_move_rec и занимает 15% от общего времени выполнения самостоятельно.
  2. Другие функции, законно вызываемые ai_best_move_rec, такие как grid_block_remove, grid_cpy, grid_new, даже не отображаются как дочерние

Актуальная статистика проф:

Flat profile:

Each sample counts as 0.01 seconds.
  %   cumulative   self              self     total           
 time   seconds   seconds    calls  ms/call  ms/call  name    
 53.92      4.00     4.00  4231936     0.00     0.00  grid_eval
 13.62      5.01     1.01  4467368     0.00     0.00  shape_stream_test
  6.88      5.52     0.51  4690742     0.00     0.00  grid_block_center_top
  6.07      5.97     0.45  4521016     0.00     0.00  grid_block_valid
  5.80      6.40     0.43  4467368     0.00     0.00  grid_block_add
  3.37      6.65     0.25  4467368     0.00     0.00  grid_block_drop
  2.02      6.80     0.15       35     4.29   209.20  ai_best_move_rec
  1.95      6.95     0.15   235469     0.00     0.00  grid_init
  1.75      7.08     0.13  9212461     0.00     0.00  block_extreme
  1.48      7.19     0.11  4467402     0.00     0.00  block_move
  0.94      7.26     0.07  1654899     0.00     0.00  block_get
  0.54      7.30     0.04                             block_crust_get
  0.40      7.33     0.03                             grid_block_set_color
  0.27      7.35     0.02  4467368     0.00     0.00  grid_block_remove
  0.27      7.37     0.02   235501     0.00     0.00  block_new
  0.27      7.39     0.02                             grid_block_intersects
  0.20      7.40     0.02   235469     0.00     0.00  grid_new
  0.13      7.41     0.01   235467     0.00     0.00  shape_stream_peek
  0.13      7.42     0.01                             drop_amount
  0.00      7.42     0.00      621     0.00     0.00  grid_clear_lines
  0.00      7.42     0.00      587     0.00     0.00  grid_cpy
  0.00      7.42     0.00       35     0.00     0.00  grid_print
  0.00      7.42     0.00       34     0.00     0.00  block_init
  0.00      7.42     0.00       34     0.00     0.00  block_print
  0.00      7.42     0.00       34     0.00     0.00  game_move_print
  0.00      7.42     0.00       34     0.00     0.00  grid_apply_moves
  0.00      7.42     0.00       34     0.00     0.00  shape_stream_pop
  0.00      7.42     0.00        7     0.00     0.00  shape_new
  0.00      7.42     0.00        1     0.00     0.00  shape_stream_new

 %         the percentage of the total running time of the
time       program used by this function.

cumulative a running sum of the number of seconds accounted
 seconds   for by this function and those listed above it.

 self      the number of seconds accounted for by this
seconds    function alone.  This is the major sort for this
           listing.

calls      the number of times this function was invoked, if
           this function is profiled, else blank.

 self      the average number of milliseconds spent in this
ms/call    function per call, if this function is profiled,
       else blank.

 total     the average number of milliseconds spent in this
ms/call    function and its descendents per call, if this 
       function is profiled, else blank.

name       the name of the function.  This is the minor sort
           for this listing. The index shows the location of
       the function in the gprof listing. If the index is
       in parenthesis it shows where it would appear in
       the gprof listing if it were to be printed.

Copyright (C) 2012-2014 Free Software Foundation, Inc.

Copying and distribution of this file, with or without modification,
are permitted in any medium without royalty provided the copyright
notice and this notice are preserved.

             Call graph (explanation follows)


granularity: each sample hit covers 2 byte(s) for 0.13% of 7.42 seconds

index % time    self  children    called     name
                                                 <spontaneous>
[1]     98.7    0.00    7.32                 ai_test [1]
                0.15    7.17      35/35          ai_best_move_rec [2]
                0.00    0.00      34/34          grid_apply_moves [21]
                0.00    0.00       2/235469      grid_new [9]
                0.00    0.00      35/35          grid_print [24]
                0.00    0.00      34/34          game_move_print [27]
                0.00    0.00      34/34          shape_stream_pop [28]
                0.00    0.00       1/1           shape_stream_new [30]
-----------------------------------------------
                              235432             ai_best_move_rec [2]
                0.15    7.17      35/35          ai_test [1]
[2]     98.7    0.15    7.17      35+235432  ai_best_move_rec [2]
                4.00    0.00 4231936/4231936     grid_eval [3]
                1.01    0.00 4467368/4467368     shape_stream_test [4]
                0.51    0.11 4690742/4690742     grid_block_center_top [5]
                0.45    0.09 4521016/4521016     grid_block_valid [6]
                0.43    0.00 4467368/4467368     grid_block_add [7]
                0.25    0.00 4467368/4467368     grid_block_drop [8]
                0.02    0.15  235467/235469      grid_new [9]
                0.11    0.00 4467368/4467402     block_move [12]
                0.02    0.00 4467368/4467368     grid_block_remove [16]
                0.02    0.00  235467/235501      block_new [17]
                0.01    0.00  235467/235467      shape_stream_peek [19]
                0.00    0.00     587/587         grid_cpy [23]
                0.00    0.00     587/621         grid_clear_lines [22]
                              235432             ai_best_move_rec [2]
-----------------------------------------------
                4.00    0.00 4231936/4231936     ai_best_move_rec [2]
[3]     53.9    4.00    0.00 4231936         grid_eval [3]
-----------------------------------------------
                1.01    0.00 4467368/4467368     ai_best_move_rec [2]
[4]     13.6    1.01    0.00 4467368         shape_stream_test [4]
-----------------------------------------------
                0.51    0.11 4690742/4690742     ai_best_move_rec [2]
[5]      8.4    0.51    0.11 4690742         grid_block_center_top [5]
                0.07    0.00 4690742/9212461     block_extreme [11]
                0.04    0.00 1056160/1654899     block_get [13]
-----------------------------------------------
                0.45    0.09 4521016/4521016     ai_best_move_rec [2]
[6]      7.3    0.45    0.09 4521016         grid_block_valid [6]
                0.06    0.00 4521016/9212461     block_extreme [11]
                0.03    0.00  598739/1654899     block_get [13]
-----------------------------------------------
                0.43    0.00 4467368/4467368     ai_best_move_rec [2]
[7]      5.8    0.43    0.00 4467368         grid_block_add [7]
-----------------------------------------------
                0.25    0.00 4467368/4467368     ai_best_move_rec [2]
[8]      3.4    0.25    0.00 4467368         grid_block_drop [8]
                0.00    0.00     635/9212461     block_extreme [11]
-----------------------------------------------
                0.00    0.00       2/235469      ai_test [1]
                0.02    0.15  235467/235469      ai_best_move_rec [2]
[9]      2.2    0.02    0.15  235469         grid_new [9]
                0.15    0.00  235469/235469      grid_init [10]
-----------------------------------------------
                0.15    0.00  235469/235469      grid_new [9]
[10]     2.0    0.15    0.00  235469         grid_init [10]
-----------------------------------------------
                0.00    0.00      68/9212461     grid_apply_moves [21]
                0.00    0.00     635/9212461     grid_block_drop [8]
                0.06    0.00 4521016/9212461     grid_block_valid [6]
                0.07    0.00 4690742/9212461     grid_block_center_top [5]
[11]     1.8    0.13    0.00 9212461         block_extreme [11]
-----------------------------------------------
                0.00    0.00      34/4467402     grid_apply_moves [21]
                0.11    0.00 4467368/4467402     ai_best_move_rec [2]
[12]     1.5    0.11    0.00 4467402         block_move [12]
-----------------------------------------------
                0.03    0.00  598739/1654899     grid_block_valid [6]
                0.04    0.00 1056160/1654899     grid_block_center_top [5]
[13]     0.9    0.07    0.00 1654899         block_get [13]
-----------------------------------------------
                                                 <spontaneous>
[14]     0.5    0.04    0.00                 block_crust_get [14]
-----------------------------------------------
                                                 <spontaneous>
[15]     0.4    0.03    0.00                 grid_block_set_color [15]
-----------------------------------------------
                0.02    0.00 4467368/4467368     ai_best_move_rec [2]
[16]     0.3    0.02    0.00 4467368         grid_block_remove [16]
-----------------------------------------------
                0.00    0.00      34/235501      grid_apply_moves [21]
                0.02    0.00  235467/235501      ai_best_move_rec [2]
[17]     0.3    0.02    0.00  235501         block_new [17]
-----------------------------------------------
                                                 <spontaneous>
[18]     0.3    0.02    0.00                 grid_block_intersects [18]
-----------------------------------------------
                0.01    0.00  235467/235467      ai_best_move_rec [2]
[19]     0.1    0.01    0.00  235467         shape_stream_peek [19]
-----------------------------------------------
                                                 <spontaneous>
[20]     0.1    0.01    0.00                 drop_amount [20]
-----------------------------------------------
                0.00    0.00      34/34          ai_test [1]
[21]     0.0    0.00    0.00      34         grid_apply_moves [21]
                0.00    0.00      34/235501      block_new [17]
                0.00    0.00      68/9212461     block_extreme [11]
                0.00    0.00      34/4467402     block_move [12]
                0.00    0.00      34/34          block_init [25]
                0.00    0.00      34/621         grid_clear_lines [22]
-----------------------------------------------
                0.00    0.00      34/621         grid_apply_moves [21]
                0.00    0.00     587/621         ai_best_move_rec [2]
[22]     0.0    0.00    0.00     621         grid_clear_lines [22]
-----------------------------------------------
                0.00    0.00     587/587         ai_best_move_rec [2]
[23]     0.0    0.00    0.00     587         grid_cpy [23]
-----------------------------------------------
                0.00    0.00      35/35          ai_test [1]
[24]     0.0    0.00    0.00      35         grid_print [24]
-----------------------------------------------
                0.00    0.00      34/34          grid_apply_moves [21]
[25]     0.0    0.00    0.00      34         block_init [25]
-----------------------------------------------
                0.00    0.00      34/34          game_move_print [27]
[26]     0.0    0.00    0.00      34         block_print [26]
-----------------------------------------------
                0.00    0.00      34/34          ai_test [1]
[27]     0.0    0.00    0.00      34         game_move_print [27]
                0.00    0.00      34/34          block_print [26]
-----------------------------------------------
                0.00    0.00      34/34          ai_test [1]
[28]     0.0    0.00    0.00      34         shape_stream_pop [28]
-----------------------------------------------
                0.00    0.00       7/7           shapes_read [68]
[29]     0.0    0.00    0.00       7         shape_new [29]
-----------------------------------------------
                0.00    0.00       1/1           ai_test [1]
[30]     0.0    0.00    0.00       1         shape_stream_new [30]
-----------------------------------------------

 This table describes the call tree of the program, and was sorted by
 the total amount of time spent in each function and its children.

 Each entry in this table consists of several lines.  The line with the
 index number at the left hand margin lists the current function.
 The lines above it list the functions that called this function,
 and the lines below it list the functions this one called.
 This line lists:
     index  A unique number given to each element of the table.
        Index numbers are sorted numerically.
        The index number is printed next to every function name so
        it is easier to look up where the function is in the table.

     % time This is the percentage of the `total' time that was spent
        in this function and its children.  Note that due to
        different viewpoints, functions excluded by options, etc,
        these numbers will NOT add up to 100%.

     self   This is the total amount of time spent in this function.

     children   This is the total amount of time propagated into this
        function by its children.

     called This is the number of times the function was called.
        If the function called itself recursively, the number
        only includes non-recursive calls, and is followed by
        a `+' and the number of recursive calls.

     name   The name of the current function.  The index number is
        printed after it.  If the function is a member of a
        cycle, the cycle number is printed between the
        function's name and the index number.


 For the function's parents, the fields have the following meanings:

     self   This is the amount of time that was propagated directly
        from the function into this parent.

     children   This is the amount of time that was propagated from
        the function's children into this parent.

     called This is the number of times this parent called the
        function `/' the total number of times the function
        was called.  Recursive calls to the function are not
        included in the number after the `/'.

     name   This is the name of the parent.  The parent's index
        number is printed after it.  If the parent is a
        member of a cycle, the cycle number is printed between
        the name and the index number.

 If the parents of the function cannot be determined, the word
 `<spontaneous>' is printed in the `name' field, and all the other
 fields are blank.

 For the function's children, the fields have the following meanings:

     self   This is the amount of time that was propagated directly
        from the child into the function.

     children   This is the amount of time that was propagated from the
        child's children to the function.

     called This is the number of times the function called
        this child `/' the total number of times the child
        was called.  Recursive calls by the child are not
        listed in the number after the `/'.

     name   This is the name of the child.  The child's index
        number is printed after it.  If the child is a
        member of a cycle, the cycle number is printed
        between the name and the index number.

 If there are any cycles (circles) in the call graph, there is an
 entry for the cycle-as-a-whole.  This entry shows who called the
 cycle (as parents) and the members of the cycle (as children.)
 The `+' recursive calls entry shows the number of function calls that
 were internal to the cycle, and the calls entry for each member shows,
 for that member, how many times it was called from other members of
 the cycle.

Copyright (C) 2012-2014 Free Software Foundation, Inc.

Copying and distribution of this file, with or without modification,
are permitted in any medium without royalty provided the copyright
notice and this notice are preserved.

Index by function name

   [2] ai_best_move_rec       [21] grid_apply_moves        [3] grid_eval
  [14] block_crust_get         [7] grid_block_add         [10] grid_init
  [11] block_extreme           [5] grid_block_center_top   [9] grid_new
  [13] block_get               [8] grid_block_drop        [24] grid_print
  [25] block_init             [18] grid_block_intersects  [29] shape_new
  [12] block_move             [16] grid_block_remove      [30] shape_stream_new
  [17] block_new              [15] grid_block_set_color   [19] shape_stream_peek
  [26] block_print             [6] grid_block_valid       [28] shape_stream_pop
  [20] drop_amount            [22] grid_clear_lines        [4] shape_stream_test
  [27] game_move_print        [23] grid_cpy

неправильный график вызовов с -Ofast Позже я обнаружил, что комбинирую флаги -Ofast и -pg, и удаление -Ofast устраняет эти проблемы, указанные выше.

введите описание изображения здесь

Мои вопросы:

  1. Эти два флага несовместимы? Я не нашел такого предупреждения в документации

  2. Если они несовместимы, это ошибка gcc?

  3. Как я могу обойти это, чтобы увидеть результаты профилирования, соответствующие наиболее агрессивным оптимизациям, чтобы я не тратил время на оптимизацию неправильного кода?


person ealfonso    schedule 16.08.2016    source источник


Ответы (1)


Вам ведь нужна скорость? -Ofast имеет значение только в нижней части стека вызовов. Он не может исправить то, что можете исправить только вы. Это может только затруднить их поиск. Сначала выключите оптимизатор и исправьте то, что вы можете исправить. Вот пример того, как некоторые люди это делают. Когда вы зашли как можно дальше с этим включите оптимизатор и позвольте ему творить чудеса.

Small Flame :) Многие люди говорят, что профилировать неоптимизированный код - пустая трата времени, но они никогда не говорят почему. Они слышали его в лекционном зале, читали в блоге или из stackoverflow, от кого-то, чей четкий авторитет в этой теме избавляет от необходимости объяснять причину.

Я думаю, что это случай принятия желаемого за действительное: мой код в основном идеален, поэтому единственный способ его ускорить - запустить оптимизатор компилятора. Потом, когда профилировщик не показывает возможности его ускорить - это, очевидно, правильно и ура для меня!

Добавлено в ответ на комментарии: Позвольте мне немного отвлечься (извините). Я понимаю, что можно внимательно просмотреть код, вложить усилия в представление данных, встроить некоторые функции, выполнить другие высокоуровневые оптимизации и измерить ускорение от этого. Здорово. Но если ваша причина для каждого изменения кода заключается в том, чтобы просто смотреть на код и просто думать о нем, то, как бы вы ни были образованы, это все еще предположение. Предположение может быть правильным, но вам следует задать вопрос: «Что я пропустил?» и "Как мне его найти?"

Многие люди и я использую метод случайной паузы. Единственный инструмент, который ему нужен, - это отладчик, такой как GDB или любая IDE. Он отличается от профилирования тем, что определяет местонахождение ненужных вычислений напрямую, вместо того, чтобы проводить измерения и рассчитывать на то, что вы расшифруете их, отфильтруете шум, изучите определенные процедуры и начнете искать их внутри. Он сообщает вам, вплоть до конкретных строк кода и конкретных данных, что делает программа и почему она это делает. Затем вы можете спросить, есть ли менее расточительный способ сделать это, и, скорее всего, он есть. Он не сообщает вам точную долю времени - вы получаете только очень грубые измерения. Он делает определяет проблему. Вы можете подумать, что определенно не можете полагаться на такой неточный метод, и это правда, если вы видите проблему только в одном образце. Но если вы видите его на более чем одном образце, значит, он большой, и чем меньше общих образцов вы взяли, чтобы увидеть его более одного раза, тем он больше. Вот статистика, стоящая за этим. И вот что самое интересное: это поможет найти любую проблему любой профайлер найдет и многое другое.

Затем, когда вы найдете и исправите одну проблему, вы можете сделать все это снова, потому что удаление одной проблемы увеличивает количество оставшихся проблем. Таким образом, вы можете "поднимать" ускорения до тех пор, пока больше не сможете. Вот как вы получаете максимальную скорость как в этом примере. Тогда непременно используйте -Ofast.

person Mike Dunlavey    schedule 16.08.2016
comment
Я думаю, что с помощью вещей, которые можно исправить, вы имеете в виду оптимизацию более высокого уровня. Но в данном случае меня интересует выполнение низкоуровневых оптимизаций вручную. Вот почему без -Ofast я не думаю, что получаю точное представление о том, какие части кода заслуживают моего внимания. Мне также очень интересно понять, почему эта несвязанная, не вызываемая функция появляется в статистике, несовместимы ли флаги или это ошибка. - person ealfonso; 17.08.2016
comment
@erjoalgo: Боже, несколько баллов. Во-первых, даже если в gprof нет ошибок, у него много проблем, люди могут задаться вопросом, почему вы пытаетесь с этим бороться. Во-вторых, если ваша цель - скорость, почему высокоуровневые оптимизации не заслуживают вашего внимания? В-третьих, все, что вы можете сделать для ускорения низкоуровневого кода, очевидно в неоптимизированном коде. Если компилятор оптимизирует какой-то низкоуровневый код, это не делает вещи, которые вы могли бы сделать более очевидными (даже если он действительно показывал все функции). Если хотите, я постараюсь объяснить это поподробнее. - person Mike Dunlavey; 17.08.2016
comment
В этом конкретном проекте я вложил достаточно усилий в представление данных и алгоритмы, чтобы минимизировать сложность. Итак, я уже потратил много усилий на оптимизацию высокого уровня, и я хотел бы поймать низко висящие плоды. Например, я уже получил значительное ускорение за счет ручного встраивания некоторых вычислений, отказа от библиотеки сортировки и т. Д. - person ealfonso; 18.08.2016
comment
Я согласен с тем, что все, что вы могли бы сделать для ускорения низкоуровневого кода, очевидно в неоптимизированном коде, но я не думаю, что обратное верно, профилировщик в оптимизированном коде может заявить, что функция X заслуживает большого внимания, когда она действительно быть оптимизированным и не заслуживающим внимания. Например, grid_block_add на графике неоптимизированной программы занимает почти вдвое больше общего времени программы, чем в оптимизированной версии (7% против 13%). - person ealfonso; 18.08.2016
comment
Я хочу принять ваш ответ, чтобы продолжить. Не могли бы вы добавить то, что вы бы использовали вместо gprof для профилирования агрессивно оптимизированного кода? - person ealfonso; 18.08.2016
comment
Мне нравится идея случайной выборки, я еще не пробовал, но буду. Но я подозреваю, что увижу много примеров, скажем, для grid_eval (из приведенного выше примера), который занимает 50% моей программы, но сейчас меня не интересует оптимизация. - person ealfonso; 29.08.2016
comment
@erjoalgo: Если вы сделаете паузу 10 раз, вы сможете подтвердить свое подозрение, если grid_eval появляется примерно в 5-6 образцах. Тогда посмотрите на другие образцы. Все, что вы видите, независимо от того, как вы это описываете, если вы видите это более чем на одном образце, дорого обходится вам. Если вы видите что-то улучшаемое на одном образце, это должно укрепить ваши надежды, но если вы увидите это дважды, это существенно, гарантировано. Его стоимость соответствует бета-версии. - person Mike Dunlavey; 29.08.2016