万能数据库查询分析器使用技巧之（十）

   ---比DB2 EXPORT更高效的查询结果导出功能

                                         马根峰

           ( 广东联合电子服务股份有限公司, 广州 510300)

 

 

摘要     本文详细地介绍了“万能数据库查询分析器”，中文版本《DB 查询分析器》、英文版本《DB Query Analyzer》的最新版本4.01中新增的功能--高效地保存查询结果到文件。在查询结果在5万条以上乃至数亿条记录时，可以快速地保存查询结果。这个功能可以结合“文本限制符”和“导出文件时是否带表头”，来控制保存的结果文件的格式，达到一些DBMS所不具备的功能。

关键词   DB 查询分析器；DB Query Analyzer；DB2；保存查询结果 

 

 

1    “万能数据库查询分析器”简介 

        中国本土程序员马根峰推出的个人作品----万能数据库查询分析器，中文版本《DB查询分析器》、英文版本《DB Query Analyzer》。

        万能数据库查询分析器集哈希技术、链表等多种数据结构于一体，使用先进系统开发技术，经历4年的研究、开发、测试周期后在2006年面世。之后7年来一直在进行不断地完善、升级，到目前为止，最新版本为4.01。万能数据库查询分析器具有长达7万多行代码的工作量，使得其具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL。

        在《程序员》2007第2期的“新产品&工具点评”部分，编辑“特别推荐”了“万能数据库查询分析器”发布。本期只点评了5个工具，分别是“Adobe Acrobat 8 中文版”、“迅雷搜索 1.7 新版上线”、“Google 桌面搜索 5.0中文发布”、“BEA发布 WebLogic SIP Server3.0”和特别推荐“万能数据库查询分析器”发布。前面4个都是国内外大型软件公司的产品，只有“万能数据库查询分析器”是个人创作的软件。截止到目前，在国内最著名的软件下载网站“中关村在线”中下载量近9万次，位居整个数据库类排行谤中前20位。

        截止到2011年11月9日，在Google搜索关键字“DB查询分析器”、“DB Query Analyzer”，搜索结果分别在80万、150万左右；在Baidu搜索关键字“DB查询分析器”、“DB Query Analyzer”，搜索结果均在40万左右。

        本文将介绍万能数据库查询分析器中英文4.01版本中，新增的高效导出功能--“保存查询结果至文件”。

 

 

2    4.01版本新增功能—保存结果至文件 

        实现了将查询的结果直接输出到文件，对应于菜单项“查询à显示结果->保存结果到文件”。这种情况可用于 当返回的记录数非常大（如超过5万条，或者上千万及至几亿条记录），这种情况下，最好将结果输出到文件；记录数在1万至2万条的话，以 “以表格显示结果”来显示效率也可以，尽量不要用以“以文本显示结果”显示方式。

        用户还可以结合“文本限定符”的设置、“导出文件时带表头”这两个设置，来为导出的文件设置文本限制符、输出的文件是否带表头。请注意这两个设置一旦更改，则马上生效。

        4.01版本这一新增功能，使得《DB 查询分析器》具备了大型数据库系统的EXPORT、BCP导出功能，可以将具有上亿条记录的数据表高效的导出。

 

 

 

3    几个例子来显示其非常高的执行效率

        “万能数据库查询分析器”中英文4.01版本，均增加了保存查询结果至文件这一功能，并且由于采取了非常高效的算法，具有非常高的执行效率。

        下图为文本限制符为 None,即没有文本限制符的查询结果：

 

        图1 连接DB2数据库， 14分钟导出1100多万条记录，生成2GB文件

 

        图1是在PC客户端上导出文件，用了近15分钟，当然2GB数据从服务器到客户端的网络传输也会消耗较多的时间。图2是在服务器主机是IBM 670，64GB的内存，8个物理CPU，16个逻辑CPU，存贮采取磁盘阵列，在这样的服务器上执行同样的查询脚本，导出同样的数据，耗时近6分钟，乍一看，DB Query Analyzer的“查询结果保存至文件”的导出效率相当于服务器上的40%。但深入地想一下，如果导出的文件要保存至客户端的情况下，是不是还要包括服务器导出的文件用FTP传送到客户端的时间，如果这二者所用时间之和会怎么样？文章第四部分会给出答案。

 

        图2 在服务器主机IBM 670，近6分钟导出1100多万条记录，生成2GB文件

 

 

 

        图3  连接MS SQL Server数据库， 2分钟导出200多万条记录，生成500MB文件

 

        图4  连接MS SQL Server数据库， 14秒导出近200万条记录，生成80MB文件

 

 

4    为什么说《DB 查询分析器》的导出效率比DB2 Export更高

        在一般情况下，我们在服务器导出的文件是要传送到PC客户端的，所以数据从服务器FTP到客户端的用时也是必须考虑的。

        前面在服务器上导出的约2GB的文件从服务器FTP到PC客户上，用了14分36秒钟的时间。

 

        图5  2GB的文件从服务器FTP到PC客户上，用了14分36秒钟的时间

 

        所以DB2 Export用时与FTP传送时间之和为20多分钟，而DB Query Analyzer用时仅14多分钟，所以DB Query Analyzer的“保存结果至文件”的导出功能更为高效。

 

 

 

 

备注：

         如果您的计算机上安装有“万能数据库查询分析器”以前的版本，请尽量先用以前安装时的版本（找不到的话，用最新版本也可以）进行 Uninstall ，然后再安装新版本，谢谢！

 

 

 

作者简介：

        马根峰，硕士，研究方向：数据库应用。

        个人开发了万能数据库查询分析器，中文版本《DB 查询分析器》、英文版本《DB Query Analyzer》。旨在解决跨数据库平台的数据库访问。

        个人还开发了彻底删除文件（File Delete Absolutely），用以将Windows系统上的文件彻底删除，不会被其它软件恢复。

        这两个软件均免费使用，在各内几大软件下载网站中关村在线、天空软件站、华军软件园、太平洋电脑、非凡软件站、绿色联盟等均有下载。

 

 

作者博客：

CSDN博客：

新浪博客： 

QQ空间：