Search code examples
phparraysxpathforeachhtml-parsing

Convert unordered list html markup into a multidimensional array using xpath


I am trying to create an array to reproduce the code below:

<div class="singlepost">
    
<ul class="linha_status" style="">
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data  : 24/10/2021 | Hora: 12:04</li>           
<li>Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE</li>
<li>Destino: Agência dos Correios - Cuitegi / PB</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data  : 19/10/2021 | Hora: 00:03</li>           
<li>Origem: Unidade de Logística Integrada - Curitiba / PR</li>
<li>Destino: Unidade de Tratamento - Recife / PE</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Fiscalização aduaneira finalizada</b></li>
<li>Data  : 18/10/2021 | Hora: 23:35</li>
<li>Local: Unidade Operacional - Curitiba / PR</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Objeto recebido pelos Correios do Brasil</b></li>
<li>Data  : 16/10/2021 | Hora: 11:45</li>
<li>Local: Unidade de Logística Integrada - Curitiba / PR</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Objeto postado</b></li>
<li>Data  : 14/10/2021 | Hora: 20:30</li>
<li>Local: País -  / </li>
</ul>

</div>

I am using xpath and foreach to create the array, but got no lucky with the result... It is working, but not the output I need, this is the code I have written:

$doc = new DOMDocument();
$doc->loadHTML($htmlString);
$xpath = new DOMXPath($doc);

$geral = $xpath->evaluate('//ul[@class="linha_status"]');

foreach ($geral as $name) {
    $total[] = $name->nodeValue;
}
var_dump($total);

My actual code produces this output:

  array(5) {
    [0] => string(195)
    " Status: Objeto em trânsito - por favor aguarde Data : 24/10/2021 | Hora: 12:04 Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE Destino: Agência dos Correios - Cuitegi / PB" 
    [1] => string(189)
    " Status: Objeto em trânsito - por favor aguarde Data : 19/10/2021 | Hora: 00:03 Origem: Unidade de Logística Integrada - Curitiba / PR Destino: Unidade de Tratamento - Recife / PE" 
    [2] => string(128)
    " Status: Fiscalização aduaneira finalizada Data : 18/10/2021 | Hora: 23:35 Local: Unidade Operacional - Curitiba / PR" 
    [3] => string(145)
    " Status: Objeto recebido pelos Correios do Brasil Data : 16/10/2021 | Hora: 11:45 Local: Unidade de Logística Integrada - Curitiba / PR" 
    [4] => string(83)
    " Status: Objeto postado Data : 14/10/2021 | Hora: 20:30 Local: País - / "
  }

This is my desired output:

"eventos": [{
    "status": "Objeto em trânsito - por favor aguarde",
    "data": "24/10/2021",
    "hora": "12:04",
    "origem": "Unidade de Tratamento - Jaboatao Dos Guararapes / PE",
    "destino": "Agência dos Correios - Cuitegi / PB"
  }, {
    "status": "Objeto em trânsito - por favor aguarde",
    "data": "19/10/2021",
    "hora": "00:03",
    "origem": "Unidade de Logística Integrada - Curitiba / PR",
    "destino": "Unidade de Tratamento - Recife / PE"
  }, {
    "status": "Fiscalização aduaneira finalizada",
    "data": "18/10/2021",
    "hora": "23:35",
    "local": "Unidade Operacional - Curitiba / PR"
  }, {
    "status": "Objeto recebido pelos Correios do Brasil",
    "data": "16/10/2021",
    "hora": "11:45",
    "local": "Unidade de Logística Integrada - Curitiba / PR"
  }, {
    "status": "Objeto postado",
    "data": "14/10/2021",
    "hora": "20:30",
    "local": "País - /"
  }]

Solution

  • maybe

    function json_encode_pretty($data, int $extra_flags = 0, int $exclude_flags = 0): string
    {
        // prettiest flags for: 7.3.9
        $flags = JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_PRESERVE_ZERO_FRACTION | (defined("JSON_THROW_ON_ERROR") ? JSON_THROW_ON_ERROR : 0);
        $flags = ($flags | $extra_flags) & ~ $exclude_flags;
        return (json_encode($data, $flags));
    }
    
    
    function loadHTML_noemptywhitespace(string $html, int $extra_flags = 0, int $exclude_flags = 0): \DOMDocument
    {
        $flags = LIBXML_HTML_NODEFDTD | LIBXML_NOBLANKS | LIBXML_NONET;
        $flags = ($flags & ~ $exclude_flags) | $extra_flags;
    
        $domd = new \DOMDocument();
        $domd->preserveWhiteSpace = false;
        @$domd->loadHTML('<?xml encoding="UTF-8">' . $html, $flags);
        $removeAnnoyingWhitespaceTextNodes = function (\DOMNode $node) use (&$removeAnnoyingWhitespaceTextNodes): void {
            if ($node->hasChildNodes()) {
                // Warning: it's important to do it backwards; if you do it forwards, the index for DOMNodeList might become invalidated;
                // that's why i don't use foreach() - don't change it (unless you know what you're doing, ofc)
                for ($i = $node->childNodes->length - 1; $i >= 0; --$i) {
                    $removeAnnoyingWhitespaceTextNodes($node->childNodes->item($i));
                }
            }
            if ($node->nodeType === XML_TEXT_NODE && !$node->hasChildNodes() && !$node->hasAttributes() && ! strlen(trim($node->textContent))) {
                //echo "Removing annoying POS";
                // var_dump($node);
                $node->parentNode->removeChild($node);
            } //elseif ($node instanceof DOMText) { echo "not removed"; var_dump($node, $node->hasChildNodes(), $node->hasAttributes(), trim($node->textContent)); }
        };
        $removeAnnoyingWhitespaceTextNodes($domd);
        return $domd;
    }
    
    $domd=loadHTML_noemptywhitespace($html);
    $xp=new DOMXPath($domd);
    $extracted=[];
    foreach($xp->query("//div[contains(@class,'singlepost')]/ul") as $ul){
        $ulData=[];
        foreach($xp->query("./li", $ul) as $li){
            $data = explode(":",$li->nodeValue, 2);
            $uldata[trim($data[0])] = trim($data[1]);
        }
        $extracted[]=$uldata;
    }
    echo json_encode_pretty($extracted);
    

    which prints:

    [
        {
            "Status": "Objeto em trânsito - por favor aguarde",
            "Data": "24/10/2021 | Hora: 12:04",
            "Origem": "Unidade de Tratamento - Jaboatao Dos Guararapes / PE",
            "Destino": "Agência dos Correios - Cuitegi / PB"
        },
        {
            "Status": "Objeto em trânsito - por favor aguarde",
            "Data": "19/10/2021 | Hora: 00:03",
            "Origem": "Unidade de Logística Integrada - Curitiba / PR",
            "Destino": "Unidade de Tratamento - Recife / PE"
        },
        {
            "Status": "Fiscalização aduaneira finalizada",
            "Data": "18/10/2021 | Hora: 23:35",
            "Origem": "Unidade de Logística Integrada - Curitiba / PR",
            "Destino": "Unidade de Tratamento - Recife / PE",
            "Local": "Unidade Operacional - Curitiba / PR"
        },
        {
            "Status": "Objeto recebido pelos Correios do Brasil",
            "Data": "16/10/2021 | Hora: 11:45",
            "Origem": "Unidade de Logística Integrada - Curitiba / PR",
            "Destino": "Unidade de Tratamento - Recife / PE",
            "Local": "Unidade de Logística Integrada - Curitiba / PR"
        },
        {
            "Status": "Objeto postado",
            "Data": "14/10/2021 | Hora: 20:30",
            "Origem": "Unidade de Logística Integrada - Curitiba / PR",
            "Destino": "Unidade de Tratamento - Recife / PE",
            "Local": "País -  /"
        }
    ]