Question

我有两个问题：

1 - 我需要解析XML文件并将数据插入到mysql数据库中。假设文件大约为250 kB（但它可能更大）并且它有很多子节点，所以我需要至少3个表。我用SimpleXml解析了xml并成功将所有数据插入到db中。但对于这个确切的文件，它花了大约160s，这在我看来很多。有没有一种方法可以在更短的时间内做得更好？

另一个问题是我需要从URL获取XML文件并保存到服务器，我不知道该怎么做...

感谢您的回答。

解析xml的代码

function parse_xml($file=""){
  global $database;
  if(file_exists($file) && !empty($file)){
      $sport = new SimpleXMLElement($file, null, true);    
      $count = count($sport->OddsObject)-1;
      $listAttr = array();
      $start_time = time();
      for($i=0; $i <= $count; $i++){
          $countMatch = count($sport->OddsObject[$i]->Matches->Match)-1;
          //echo $countMatch; 
          for($k=0; $k <= $countMatch; $k++){           
              $OOdata = $sport->OddsObject[$i]->children();
              $columns = array();
              $data = array();
              foreach($OOdata as $key => $value){            
                  if($key != "Matches"){
                      //$listAttr[$i][$key] = $attr;
                      $columns[] = $key;
                      if ($value != "") {
                          $data[] = "'" . $database->escape_value($value) . "'";
                    } else {
                         $data[] = "NULL";
                    }
                }
            }        

            //get matches: MatchId, Date, HomeTeam, AwayTeam
            $Mdata = $sport->OddsObject[$i]->Matches->Match[$k]->children();     
            foreach ( $Mdata as $key => $value) {
                if($key != "OddsData"){    
                    $columns[] = $key;
                    if ($value != "") {
                      $data[] = "'" . $database->escape_value($value) . "'";
                    } else {
                      $data[] = "NULL";
                    }    
                }
            }                      
            $cols = strtolower(implode(",",$columns));
            $values = implode(",",$data);
            $sql = "INSERT INTO sports($cols) values(".$values.")";
            if($database->query($sql)) {
                $last_id = $database->insert_id();

                $countData = count($sport->OddsObject[$i]->Matches->Match[$k]->OddsData)-1;
                for($t=0; $t <= $countData; $t++){
                    //get OddsData: Home-,Draw-, -Away ...
                    $ODdata = $sport->OddsObject[$i]->Matches->Match[$k]->OddsData[$t]->children();
                    foreach($ODdata as $key=>$attr){
                        $MID = $last_id;
                        $new_bet = Bet::make($attr->getName(),$attr, $MID);
                        $new_bet->save(); 

                    }                    
                }
            }
        }
        $end_time = time() - $start_time;
    }    
    return $end_time;
}
else{
    die("The file doesn't exist.");
}
}

Answer 1

从url获取文件并写入文件的一种非常简单的方法是file_get_contents（）和file_put_contents（）。

对于只有250kb的文件，SimpleXML应该非常高效和快速。您的数据库插入可能会很慢。尝试将插入分组到数据库。我发现一次运行50个插件通常效果最好（这取决于行大小）。这可能会加快整个过程。

Answer 2

我假设您正在使用

解析它

$dom = new DOMDocument();   
... 
// read and insert into db

与SAX解析器相比，DOM可以使用大量的内存和CPU，您可以尝试注释掉数据库代码并运行它以查看它是否使用了太多的CPU和RAM，如果是这样，您可能需要重新编写它SAX解析器，如here所示。

如何有效地解析xml数据？

2 个答案: