Извлечение вложенных XML-элементов разных размеров в Pandas

Предположим, у нас есть произвольный XML-документ, как показано ниже.

<?xml version="1.0" encoding="UTF-8"?>
<programs xmlns="http://something.org/schema/s/program">
   <program xmlns:xsd="http://www.w3.org/2001/XMLSchema"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
            xsi:schemaLocation="http://something.org/schema/s/program  http://something.org/schema/s/program.xsd">
      <orgUnitId>Organization 1</orgUnitId>
      <requiredLevel>academic bachelor</requiredLevel>
      <requiredLevel>academic master</requiredLevel>
      <programDescriptionText xml:lang="nl">Here is some text; blablabla</programDescriptionText>
      <searchword xml:lang="nl">Scrum master</searchword>
   </program>
   <program xmlns:xsd="http://www.w3.org/2001/XMLSchema" 
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
            xsi:schemaLocation="http://something.org/schema/s/program  http://something.org/schema/s/program.xsd">
      <requiredLevel>bachelor</requiredLevel>
      <requiredLevel>academic master</requiredLevel>
      <requiredLevel>academic bachelor</requiredLevel>
      <orgUnitId>Organization 2</orgUnitId>
      <programDescriptionText xml:lang="nl">Text from another organization about some stuff.</programDescriptionText>
      <searchword xml:lang="nl">Excutives</searchword>
   </program>
   <program xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
      <orgUnitId>Organization 3</orgUnitId>
      <programDescriptionText xml:lang="nl">Also another huge text description from another organization.</programDescriptionText>
      <searchword xml:lang="nl">Negotiating</searchword>
      <searchword xml:lang="nl">Effective leadership</searchword>
      <searchword xml:lang="nl">negotiating techniques</searchword>
      <searchword xml:lang="nl">leadership</searchword>
      <searchword xml:lang="nl">strategic planning</searchword>
   </program>
</programs>

В настоящее время я на looping больше элементов, которые мне нужны, используя их абсолютные пути, так как я не могу использовать ни один из методов get или find в ElementTree. Таким образом, мой код выглядит следующим образом:

import pandas as pd
import xml.etree.ElementTree as ET   
import numpy as np
import itertools

tree = ET.parse('data.xml')
root = tree.getroot()
root.tag

dfcols=['organization','description','level','keyword']
organization=[]
description=[]
level=[]
keyword=[]

for node in root:
    for child in 
       node.findall('.//{http://something.org/schema/s/program}orgUnitId'):
        organization.append(child.text) 
    for child in node.findall('.//{http://something.org/schema/s/program}programDescriptionText'):
        description.append(child.text) 
    for child in node.findall('.//{http://something.org/schema/s/program}requiredLevel'):
        level.append(child.text)
    for child in node.findall('.//{http://something.org/schema/s/program}searchword'):
        keyword.append(child.text)

Цель, конечно, состоит в том, чтобы создать один кадр данных. Однако, поскольку каждый узел в файле XML содержит один или несколько элементов, таких как requiredLevel или searchword, в настоящее время я теряю данные, когда я передаю их в фрейм данных:

df=pd.DataFrame(list(itertools.zip_longest(organization,
    description,level,searchword,
    fillvalue=np.nan)),columns=dfcols)

или используя pd.Series как указано здесь или другое решение, которое я не похоже, он не подходит из здесь

Лучше всего вообще не использовать списки, поскольку они, похоже, неправильно индексируют данные. То есть я теряю данные со 2-го по X-й дочерний узел. Но сейчас я застрял и не вижу других вариантов.

Мой конечный результат должен выглядеть следующим образом:

organization    description  level                keyword
Organization 1  ....         academic bachelor,   Scrum master
                             academic master 
Organization 2  ....         bachelor,            Executives
                             academic master, 
                             academic bachelor    
Organization 3  ....                              Negotiating,
                                                  Effective leadership,
                                                  negotiating techniques,
                                                  ....

python pandas xml xml-parsing
person Wokkel    schedule 24.04.2019    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Рассмотрите возможность создания списка словарей с текстовыми значениями, разделенными запятыми. Затем передайте список в конструктор pandas.DataFrame:

dicts = []
for node in root:
    orgs = ", ".join([org.text for org in node.findall('.//{http://something.org/schema/s/program}orgUnitId')])
    desc = ", ".join([desc.text for desc in node.findall('.//{http://something.org/schema/s/program}programDescriptionText')])
    lvls = ", ".join([lvl.text for lvl in node.findall('.//{http://something.org/schema/s/program}requiredLevel')])
    wrds = ", ".join([wrd.text for wrd in node.findall('.//{http://something.org/schema/s/program}searchword')])

    dicts.append({'organization': orgs, 'description': desc, 'level': lvls, 'keyword': wrds})

final_df = pd.DataFrame(dicts, columns=['organization','description','level','keyword'])

Выход

print(final_df)
#      organization                                        description                                         level                                            keyword
# 0  Organization 1                       Here is some text; blablabla            academic bachelor, academic master                                       Scrum master
# 1  Organization 2   Text from another organization about some stuff.  bachelor, academic master, academic bachelor                                          Excutives
# 2  Organization 3  Also another huge text description from anothe...                                                Negotiating, Effective leadership, negotiating...
person Parfait    schedule 24.04.2019
comment
Хотя оба пришли с возможным решением моего ответа, я должен признать, что последний работает в моем случае. С первым ответом я продолжал сталкиваться с несколькими ошибками внутри самой функции. Последний принятый ответ в качестве решения работает аккуратно. Однако есть одна маленькая загвоздка, которую легко исправить: если данные имеют атрибуты NoneType и выдают ошибку, строка может быть изменена на; desc = ", ".join([str(desc.text) for desc in node.findall('.//{xml_path}Element')]) Спасибо за поддержку вам обоим - person Wokkel; 25.04.2019

arrow_upward
1
arrow_downward

Облегченный преобразователь xml_to_dict можно найти здесь. Его можно улучшить с помощью этого для обработки пространств имен.

def xml_to_dict(xml='', remove_namespace=True):
    """Converts an XML string into a dict

    Args:
        xml: The XML as string
        remove_namespace: True (default) if namespaces are to be removed

    Returns:
        The XML string as dict

    Examples:
        >>> xml_to_dict('<text><para>hello world</para></text>')
        {'text': {'para': 'hello world'}}

    """
    def _xml_remove_namespace(buf):
        # Reference: https://stackoverflow.com/a/25920989/1498199
        it = ElementTree.iterparse(buf)
        for _, el in it:
            if '}' in el.tag:
                el.tag = el.tag.split('}', 1)[1]
        return it.root

    def _xml_to_dict(t):
        # Reference: https://stackoverflow.com/a/10077069/1498199
        from collections import defaultdict

        d = {t.tag: {} if t.attrib else None}
        children = list(t)
        if children:
            dd = defaultdict(list)
            for dc in map(_xml_to_dict, children):
                for k, v in dc.items():
                    dd[k].append(v)
            d = {t.tag: {k: v[0] if len(v) == 1 else v for k, v in dd.items()}}

        if t.attrib:
            d[t.tag].update(('@' + k, v) for k, v in t.attrib.items())

        if t.text:
            text = t.text.strip()
            if children or t.attrib:
                if text:
                    d[t.tag]['#text'] = text
            else:
                d[t.tag] = text

        return d

    buffer = io.StringIO(xml.strip())
    if remove_namespace:
        root = _xml_remove_namespace(buffer)
    else:
        root = ElementTree.parse(buffer).getroot()

    return _xml_to_dict(root)

Итак, пусть s будет строкой, содержащей ваш xml. Мы можем преобразовать его в дикт через

d = xml_to_dict(s, remove_namespace=True)

Теперь решение прямолинейно:

rows = []
for program in d['programs']['program']:
    cols = []
    cols.append(program['orgUnitId'])
    cols.append(program['programDescriptionText']['#text'])
    try:
        cols.append(','.join(program['requiredLevel']))
    except KeyError:
        cols.append('')

    try:
         searchwords = program['searchword']['#text']
    except TypeError:
         searchwords = []
         for searchword in program['searchword']:
            searchwords.append(searchword['#text'])
         searchwords = ','.join(searchwords)
    cols.append(searchwords)

    rows.append(cols)

df = pd.DataFrame(rows, columns=['organization', 'description', 'level', 'keyword'])
person JoergVanAken    schedule 24.04.2019
comment
Посмотрев некоторое время на код, я не могу его понять. Поэтому мне интересно, какой вывод Python выдает вам из df . В моем случае я застрял на нескольких ошибках имени и атрибута. Кроме того, по первой предоставленной вами ссылке я смог передать xml в словарь. Однако запуск предоставленного for loop не работает. Спасибо за ваш комментарий, проверим. Не знал об импорте другого модуля. - person Wokkel; 24.04.2019
comment
По ссылке можно не переходить, реализацию xml_to_dict я тоже выложил. Я просто хотел уточнить, что это не мой код. - person JoergVanAken; 24.04.2019