проблема с обратным итератором boost multi_index

У меня есть следующий (упрощенный) код:

#include <boost/multi_index_container.hpp>
#include <boost/multi_index/ordered_index.hpp>
namespace bmi = boost::multi_index;

#include <string>
#include <iostream>
#include <cassert>

using Container = boost::multi_index_container<
    std::string,
    bmi::indexed_by< bmi::ordered_non_unique< bmi::identity<std::string> > >
>;

/// Get the base of a non-reverse iterator. It's the iterator itself.
inline
Container::iterator const&
iter_base(Container::iterator const& it)
{
    return it;
}

/** Get a non-reverse iterator that points at the same element as the given reverse_iterator.
 *
 * @param rit reverse_iterator
 * @return a (non-reverse) iterator that points to the same element.
 * @pre @p rit is dereferenceable (not equal to @c rend() of whatever container @p rit came from)
 */
inline
Container::iterator
iter_base(Container::reverse_iterator const& rit)
{
    auto bit = rit.base();
    // if 'rit' is a reverse iterator: &*(rit.base() - 1) == &*rit
    return --bit;
}

template <typename IT>
void evict(Container& c, IT rb, IT fin)
{
    std::vector<std::string> result;
    for (; rb != fin; ) {
        if (rb->size() == 3) {
            auto victim = rb;
            ++rb;
            std::cout << "victim->" << *victim << ", next->" << (rb==fin ? std::string{"THE END"} : *rb) << "\n";
            auto next = c.erase(iter_base(victim));
            std::cout << "size=" << c.size() << "\n";
            for (auto const& s : c) {
                std::cout << "remain: " << s << "\n"; // bar - baz - foo
            }

            rb = IT(next);
            (void)next;
        }
        else {
            result.push_back(*rb);
        }
    }
}

int main(int argc, char**)
{
    bool forward = (argc == 1);

    Container c;
    c.insert("foo"); // will be last
    c.insert("bar");
    c.insert("baz");

    if (forward) {
        auto b = c.lower_bound("baz");

        std::cout << ">> " << *b << "\n"; // prints baz

        auto rb = (b);
        std::cout << "<< " << *rb            << "\n"; // prints baz
        std::cout << "<< " << *iter_base(rb) << "\n"; // prints baz

        evict(c, rb, c.end());
    }
    else {
        auto b = c.upper_bound("baz");

        std::cout << ">> " << *b << "\n"; // prints foo

        auto rb = Container::reverse_iterator(b);
        std::cout << "<< " << *rb            << "\n"; // prints baz
        std::cout << "<< " << *iter_base(rb) << "\n"; // prints baz

        evict(c, rb, c.rend());
    }
}

Настоящий код делает больше, чем просто стирает, но этого достаточно, чтобы проиллюстрировать поведение.

EDITED, чтобы показать, что в цикле не происходит простого удаления. Предполагается, что элементы добавляются в result в прямом или обратном порядке в зависимости от того, какой тип итератора использовался.

При запуске без аргументов forward==true и вывод будет таким, как ожидалось:

>> baz
<< baz
<< baz
victim->baz, next->foo
size=2
remain: bar
remain: foo
victim->foo, next->THE END
size=1
remain: bar

При запуске с аргументом forward==false вывод:

>> foo
<< baz
<< baz
victim->baz, next->bar
size=2
remain: bar
remain: foo
segmentation fault (core dumped)

(не так, как ожидалось)

Компиляция с дезинфицирующим средством адреса показывает использование кучи после освобождения в строке 42 (строка ++rb).

Кажется, что вызов erase(victim) каким-то образом сделал недействительным rb, даже несмотря на то, что Erase не должен делать недействительным любой другой итератор.

Любая идея, что я делаю неправильно?


person Bulletmagnet    schedule 14.10.2016    source источник


Ответы (2)


Второй ответ, с дополнительным запросом от OP, чтобы обход выполнялся в прямом или обратном порядке в зависимости от характера итератора. С небольшой осторожностью это можно сделать так:

template <typename IT>
void evict(Container& c, IT rb, IT fin)
{
    std::vector<std::string> result;
    if(rb != fin) for(;;) {
        IT next = rb;
        ++next;
        bool finished  = (next == fin);
        if (rb->size() == 3) {
            c.erase(iter_base(rb));
            std::cout << "size=" << c.size() << "\n";
            for (auto const& s : c) {
                std::cout << "remain: " << s << "\n"; // bar - baz - foo
            }
        }
        else {
            result.push_back(*rb);
        }
        if(finished) break;
        rb = next;
    }
}

Плохо, перечеркнутый код все еще запускался в UB. Пожалуйста, попробуйте это:

template <typename IT>
void evict(Container& c, IT rb, IT fin)
{
    std::vector<std::string> result;
    if(rb != fin) for(;;) {
        bool finished  = (std::next(rb) == fin);
        if (rb->size() == 3) {
            rb = IT{c.erase(iter_base(rb))};
            std::cout << "size=" << c.size() << "\n";
            for (auto const& s : c) {
                std::cout << "remain: " << s << "\n"; // bar - baz - foo
            }

        }
        else {
            result.push_back(*rb);
        }
        if(finished) break;
    }
}
person Joaquín M López Muñoz    schedule 15.10.2016
comment
К сожалению, это не помогает. Остается heap-use-after-free (в строке ++next). - person Bulletmagnet; 15.10.2016
comment
Вы напрямую скопировали предлагаемый код дословно? Обратите внимание, например, на часть if(rb != fin) for(;;). - person Joaquín M López Muñoz; 15.10.2016
comment
Извините, предложенное решение действительно ошибочно. Отредактировано с, надеюсь, правильной альтернативой. - person Joaquín M López Muñoz; 15.10.2016

Хорошо, иметь дело с обратными итераторами — головная боль. Давайте проанализируем работу указателя во время выполнения этой части кода evict:

auto victim = rb;
++rb;
auto next = c.erase(iter_base(victim));

когда внутри вызова evict(c, Container::reverse_iterator(c.upper_bound("baz")), c.rend()). Под «указывает на» я имею в виду «внутренний итератор указывает на». Пошагово имеем:

  1. Перед вводом кода: rb указывает на "foo", victim еще не существует.

    auto victim = rb;

  2. rb указывает на "foo", victim указывает на "foo".

    ++rb;

  3. rb указывает на "baz", victim указывает на "foo".

    auto next = c.erase(iter_base(victim));

  4. "baz" стерто, rb указывает на удалено "baz", victim указывает на "foo". Любая дальнейшая операция разыменования, сравнения или (де/инкрементирования) с rb является неопределенным поведением.

Насколько я понимаю, вы пытаетесь написать функцию evict, которая работает как с итераторами, так и с обратными итераторами. Один из возможных способов сделать это выглядит следующим образом:

template<typename Container>
std::pair<typename Container::iterator,typename Container::iterator>
direct_range(
  typename Container::iterator first,
  typename Container::iterator last)
{
  return {first,last};
}

template<typename Container>
std::pair<typename Container::iterator,typename Container::iterator>
direct_range(
  typename Container::reverse_iterator first,
  typename Container::reverse_iterator last)
{
  return {last.base(),first.base()};
}

template <typename IT>
void evict(Container& c, IT rb, IT fin)
{
  auto p=direct_range<Container>(rb,fin);
  c.erase(p.first,p.second);

  for(auto const& s:c){
    std::cout<<"remain: "<<s<<"\n"; // bar - baz - foo
  }
}
person Joaquín M López Muñoz    schedule 14.10.2016
comment
Спасибо. К сожалению, реальный код недостаточно прост, чтобы использовать erase(iterator, iterator) (представьте, если хотите, что нужно стереть только некоторые элементы). - person Bulletmagnet; 14.10.2016
comment
Вы написали 4. баз стирается. Это потому, что iter_base(victim) — итератор — указывает на тот же элемент, что и rb — обратный итератор —? - person Bulletmagnet; 14.10.2016
comment
На ваш первый ответ: как только вы получите результат direct_range, вы можете заменить erase(iterator,iterator) более сложным кодом, работающим с необратными итераторами. - person Joaquín M López Muñoz; 15.10.2016
comment
На ваш второй ответ: да. - person Joaquín M López Muñoz; 15.10.2016
comment
Я отредактировал цикл в evict, чтобы показать, что в цикле происходит не только удаление. Мне кажется, что я не могу использовать direct_range в этом случае (перебор direct_range всегда будет обрабатывать элементы в прямом порядке - он заполнит вектор в неправильном порядке при вызове с reverse_iterators). - person Bulletmagnet; 15.10.2016