Python解析xml文档实例


使用python

用到的包：xml.dom.minidom

需求：

有一个表，里面数据量比较大，每天一更新，其字段可以通过配置文件进行配置，即，可能每次建表的字段不一样。

上游跑时会根据配置从源文件中提取，到入库这一步需要根据配置进行建表。

解决：

写了一个简单的xml，配置需要字段及类型

上游读取到对应的数据

入库这一步，先把原表删除，根据配置建新表

XML文件

 
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <!-- 表名 ,数据库名   可灵活配置插入哪个库哪个表 -->  
  3. <table name="top_query" db_name="evaluting_sys">  
  4. <!-- 非业务主键，自增长,可配名，其他 INTEGER UNSIGNED AUTO_INCREMENT  -->  
  5. <primary_key>  
  6. <name>id</name>  
  7. </primary_key>  
  8. <!-- 字段开始 -->  
  9. <field>  
  10. <name>query</name>  
  11. <type>varchar(200)</type>  
  12. <is_index>false</is_index>  
  13. <description>query</description>  
  14. </field>  
  15. <field>  
  16. <name>pv</name>  
  17. <type>integer</type>  
  18. <is_index>false</is_index>  
  19. <description>pv</description>  
  20. </field>  
  21. <field>  
  22. <name>avg_money</name>  
  23. <type>integer</type>  
  24. <is_index>false</is_index>  
  25. <description></description>  
  26. </field>  
  27. <!-- 字段配置结束 -->  
  28. </table>  

脚本：

 
  1. #!/usr/bin/python  
  2. # -*- coding:utf-8 -*-  
  3. #author: ken  
  4. #desc: use to read db xml config.  
  5. #-----------------------  
  6. #2012-02-18 created  
  7.   
  8. #----------------------  
  9.   
  10. import sys,os  
  11. from xml.dom import minidom, Node  
  12.   
  13. def read_dbconfig_xml(xml_file_path):  
  14.   content = {}  
  15.   
  16.   root = minidom.parse(<span style="background-color: rgb(255, 255, 255); ">xml_file_path)</span>  
  17.   table = root.getElementsByTagName("table")[0]  
  18.   
  19.   #read dbname and table name.  
  20.   tabletable_name = table.getAttribute("name")  
  21.   db_name = table.getAttribute("db_name")  
  22.   
  23.   if len(table_name) > 0 and len(db_name) > 0:  
  24.      db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";"   
  25.      table_drop_sql = "drop " + table_name + " if exists " + table_name + ";"   
  26.      content.update({"db_sql" : db_sql})  
  27.      content.update({"table_sql" : table_drop_sql })  
  28.   else:  
  29.      print "Error:attribute is not define well!  db_name=" + db_name + " ;table_name=" + table_name  
  30.      sys.exit(1)  
  31.   #print table_name, db_name  
  32.     
  33.   table_create_sql = "create table " + table_name +"("  
  34.   
  35.   #read primary cell  
  36.   primary_key = table.getElementsByTagName("primary_key")[0]  
  37.   primary_keyprimary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue  
  38.   
  39.   table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,"  
  40.   
  41.   #print primary_key.toxml()  
  42.   #read ordernary field   
  43.   fields = table.getElementsByTagName("field")  
  44.   f_index = 0  
  45.   for field in fields:  
  46.     f_index += 1  
  47.     name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue  
  48.     type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue  
  49.     table_create_sql += name + " " + type  
  50.     if f_index != len(fields):  
  51.       table_create_sql += ","  
  52.     is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue  
  53.   
  54.   table_create_sql += ");"  
  55.   content.update({"table_create_sql" : table_create_sql})  
  56.   #character set latin1 collate latin1_danish_ci;  
  57.   print content  
  58.   
  59.   
  60. if __name__ == "__main__":  
  61.   read_dbconfig_xml(sys.argv[1])  

涉及方法：

root = minidom.parse(xml_file_path)  获取dom对象

root.getElementsByTagName("table")  根据tag获取节点列表

table.getAttribute("name")  获取属性

primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue  获取子节点的值（<name>id</name>  得到id）

-----------------------------------------------------

简单的读取就是这样，这里只是简单使用了下

后续需去了解下python读取xml的几个库

xml.dom.minidom

xml.etree.ElementTree

libxml2

lxml.etree

xpath

相关内容