Обновить listView с несколькими типами представления после удаления/удаления элемента

У меня есть ListView с пользовательским адаптером, который расширяет BaseAdapter и имеет 2 типа представления. Когда я запускаю свой метод adapter.removeRow(position), данные для адаптера корректно обновляются, и список отражает это, но типы представлений обновляются некорректно. Адаптер поддерживается

ArrayList<Map<String, String>> rows = new ArrayList<Map<String, String>>();

и у меня есть подмножество

List<Integer> flashSet = new ArrayList<Integer>();

который представляет собой список всех позиций с типом представления 1 (в отличие от стандартного типа представления 0).

Вот мой метод адаптера removeRow(position):

    public void removeRow(int position) {
        if (getItemViewType(position) == TYPE_FLASH) {
            flashSet.remove(position);
        }
        for (int flashPosition:flashSet) {
            System.out.println(tag+"is "+flashPosition+" going to be moved?");
             if (flashPosition > position) {
                 flashPosition -= 1;
                 System.out.println(tag+"Yes! It's been moved to "+flashPosition);
             }
        }
        rows.remove(position);
        notifyDataSetChanged();
    }

Вот мой метод getView:

@Override
    public View getView(int position, View convertView, ViewGroup parent) {
        FlashHolder flashHolder;
        ClipHolder clipHolder;
        int type = getItemViewType(position);
        if (convertView == null) {
            if (type == TYPE_CLIP) {
                convertView = rowInflater.inflate(R.layout.clip_note_row_layout, null);
                clipHolder = new ClipHolder();
                flashHolder = null;
                clipHolder.textView = (TextView)(convertView.findViewById(R.id.clip_text));
                convertView.setTag(clipHolder);
            } else {
                convertView = rowInflater.inflate(R.layout.flash_row_layout, null);
                clipHolder = null;
                flashHolder = new FlashHolder();
                flashHolder.front = (TextView)(convertView.findViewById(R.id.flash_text));
                flashHolder.back = (TextView)(convertView.findViewById(R.id.clip_text));
                convertView.setTag(flashHolder);
            }
        } else {
            if (type == TYPE_CLIP) {
                clipHolder = (ClipHolder)convertView.getTag();
                flashHolder = null;
            } else {
                clipHolder = null;
                flashHolder = (FlashHolder)convertView.getTag();
            }
        }
        if (type == TYPE_CLIP) {
            clipHolder.textView.setText(rows.get(position).get("clip"));
        } else {
            flashHolder.front.setText(rows.get(position).get("flash_text"));
            flashHolder.back.setText(rows.get(position).get("clip"));
        }
        return convertView;
    }

Я знаю, что могу создать новый adapter, дать ему обновленный ArrayList и вызвать listView.setAdapter(adapter), но это кажется излишним, когда я просто пытаюсь удалить один элемент из потенциально длинного списка. Смотрите фотографии до и после удаления:

Затем я удаляю первый элемент. Слово «который» было скрыто за пунктом «Давайте посмотрим», а теперь пункт «вдохновленный…» скрыт за пустым пунктом 3.

Итак, данные обновляются, а типы представлений — нет. Спасибо за помощь!