Posts Mentioning RSS Toggle Comment Threads | Keyboard Shortcuts

  • moonfox 9:24 pm on June 19, 2010 Permalink | Log in to leave a Comment
    Tags:   

    fedora13 编译安装 mysql innodb引擎,需要在配置时加入 –with-plugins=innobase 选项。

     
  • moonfox 12:29 am on June 18, 2010 Permalink | Log in to leave a Comment
    Tags:   

    mysql 横向扩展性的优点
    1、成本低,很容易通过低廉的PC Server搭建一个处理能力非常强大的计算集群
    2、不太容易遇到瓶颈,因为很容易通过添加主机来增加处理能力
    3、单个节点故障对系统整体影响较小

    mysql 横向扩展性的缺点
    1、处理节点多,造成系统架构整体复杂度提高,应用程度提高
    2、集群维护难易程度更高,维护成本更大。

     
  • moonfox 12:30 am on June 17, 2010 Permalink | Log in to leave a Comment
    Tags:   

    mysql 纵向扩展性 优点
    1、处理节点少,维护相对简单
    2、所有数据都集中在一起,应用系统架构简单,开发相对容易。

    mysql 纵向扩展性 缺点
    1、高端设备成本高,且竞争少,容易受到厂商限制
    2、受到硬件设备发展速度的限制,单台主机的处理能力总是有极限的,容易遇到最终无法解决的性能瓶颈
    3、设备和数据集中,发生故障后影响较大

     
  • moonfox 10:32 pm on June 16, 2010 Permalink | Log in to leave a Comment
    Tags:   

    mysql 编译安装配置
    ./configure –prefix=/opt/mysql –without-debug –enable-thread-safe-client –enable-assembler –enable-profiling –with-mysqld-ldflags=-all-static –with-client-ldflags=-all-static –with-charset=utf8 –with-extra-charsets=gbk –with-mysqld-user=mysql –without-embedded-server –with-server-suffix=-community –with-collation=utf8_general_ci –with-plugins=innobase

     
  • moonfox 11:33 pm on May 30, 2010 Permalink | Log in to leave a Comment
    Tags:   

    什么是OLTP、什么是OLAP 

    联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。

    当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的比较。

    OLTP OLAP
    用户 操作人员,低层管理人员 决策人员,高级管理人员
    功能 日常操作处理 分析决策
    DB 设计 面向应用 面向主题
    数据 当前的, 最新的细节的, 二维的分立的 历史的, 聚集的, 多维的集成的, 统一的
    存取 读/写数十条记录 读上百万条记录
    工作单位 简单的事务 复杂的查询
    用户数 上千个 上百个
    DB 大小 100MB-GB 100GB-TB

    OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是 满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是”维”这个概念。

    “维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义 为多个维(dimension),使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。

    维几个基本概念1、维——维是人们观察问题的特定角度,例如:时间维、地理维、产品维。2、维层次——人们在观察数据的某个特定角度(即某个维)还可以存 在细节程度不同的多个描述方面,我们称这多个描述方面为维的层次。例 时间维:日期,月份,季度,年不同层次。3、维成员——维的一个取值成为该维的一个 维成员。  如果维已经分成了多层次的,则维成员就是不同维层次取值的组合。例如:某公司销售数据在省、市、县,地理维有三个层次,则“山东省潍坊市昌邑 县”就构成地理维的一个维成员。维成员并不一定要在维的每一个层次上都取值,例如:山东省,山东省潍坊市,潍坊市昌邑县都是地理维的维成员。4、多维数据 集——数据立方体或超立方多维数据集是决策支持的支柱,也是OLAP的核心。多维数据集可以用一个多维数组表示。

    OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through等。

    钻取是改变维的层次,变换分析的粒度。它包括向上钻取(roll up)和向下钻取(drill down)。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而drill down则相反,它从汇总数据深入到细节数据进行观察或增加新维。切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则 是切片;如果有三个,则是切块。旋转是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。
    OLAP有多种实现方法,根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP。

    ROLAP表示基于关系数据库的OLAP实现(Relational OLAP)。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和 维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了”星 型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为”雪花模式”。

    MOLAP表示基于多维数据组织的OLAP实现(Multidimensional OLAP)。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成”立方块(Cube)”的结构,在MOLAP 中对”立方块”的”旋转”、”切块”、”切片”是产生多维数据报表的主要技术。

    HOLAP表示基于混合数据组织的OLAP实现(Hybrid OLAP)。如低层是关系型的,高层是多维矩阵型的。这种方式具有更好的灵活性。

    还有其他的一些实现OLAP 的方法,如提供一个专用的SQL Server,对某些存储模式(如星型、雪片型)提供对SQL查询的特殊支持。

    OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如,一个企业在考虑产品 的销售情况时,通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的 多维数组则是OLAP分析的基础,可形式化表示为(维1,维2,……,维n,度量指标),如(地区、时间、产品、销售额)。多维分析是指对以多维形式组织 起来的数据采取切片(Slice)、切块(Dice)、钻取(Drill-down和Roll-up)、旋转(Pivot)等各种分析动作,以求剖析数 据,使用户能从多个角度、多侧面地观察数据库中的数据,从而深入理解包含在数据中的信息。

    根据综合性数据的组织方式的不同,目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP两种。MOLAP是以多维的方式组织 和存储数据,ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中,OLAP应用一般是数据仓库应用的前端工具,同时OLAP工具还可 以同数据挖掘工具、统计分析工具配合使用,增强决策分析功能。

     
  • moonfox 6:21 pm on May 5, 2010 Permalink | Log in to leave a Comment
    Tags: , ,   

    mysql 字符串转换成数字 

    在mysql中使用cast 函数将数字转换字符时,发现这样一个现象,将字符串“6,666”转换为数字时,预期值应该为6666,但实际值为6,并且rails的1.22版本也存在同样的问题。

    解决方法,很无奈,将“6,666”中的”,”去掉,再进行转换。

     
  • moonfox 10:50 pm on April 10, 2010 Permalink | Log in to leave a Comment
    Tags:   

    MySql用户创建、授权以及删除 

    mysql> CREATE USER yy IDENTIFIED BY ’123′;

    如果要限制在固定地址登陆,比如localhost 登陆:
    mysql> CREATE USER yy@localhost IDENTIFIED BY ’123′;

    grant:
    mysql> GRANT ALL PRIVILEGES ON *.* TO user@localhost;

    grant select,insert,update,delete on *.* to test1@”%” Identified by “abc”;
    格式:grant select on 数据库.* to 用户名@登录主机 identified by “密码”

     
  • moonfox 7:45 pm on March 7, 2010 Permalink | Log in to leave a Comment
    Tags:   

    MySQL server has gone away 

    在对windows下的mysql 进行数据库还原的时候出现这个错误。
    1、最有可能的原因是服务器超时,比如说在一个脚本里连接上服务器后进行了一些数据库操作后,就开始冷落了数据库,执行起其他一些非数据库操作的耗时操作,数据库等啊等等啊等,结果超时了,只好关闭连接。如果是这个原因,请加大wait_timeout。
    2、还有可能是因为SQL语句太长所致,比如插入一个BLOB列,或者用一条INSERT语句同时插入很多行,因为SQL太长,数据库可能就无法接收到完整的SQL,结果数据库就会觉得客户端出错了,从而关闭连接。如果是这个原因,请加大max_allowed_packet。

    解决方案
    如果是第一种情况:将wait_timeout加大
    如果是第二种情况:将max_allowed_packet加大,如果max_allowed_packet=800M

    注意事项
    在重新配置mysql配置文件后,请重新启动mysql服务,使当前配置生效。
    windows下重新启动mysql的方法:net stop mysql; net start mysql

     
  • moonfox 9:56 pm on March 4, 2010 Permalink | Log in to leave a Comment
    Tags:   

    MySQL 导入慢的解决方法 

    MySQL导出的SQL语句在导入时有可能会非常非常慢。在导出时合理使用几个参数,可以大大加快导 入的速度。

    -e 使用包括几个VALUES列表的多行INSERT语法;
    –max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小;
    –net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行。

    注意:max_allowed_packet和net_buffer_length不能比目标数据库的设定数值 大,否则可能出错。

    首先确定目标库的参数值

    mysql>show variables like ‘max_allowed_packet’;
    mysql>show variables like ‘net_buffer_length’;

    根据参数值书写mysqldump命令,如:
    E:\eis>mysqldump -uroot -p eis_db goodclassification -e –max_allowed_packet=1048576 –net_buffer_length=16384 >good3.sql

     
  • moonfox 2:57 pm on March 2, 2010 Permalink | Log in to leave a Comment
    Tags:   

    MySQL中的mysqldump命令使用详解 

    MySQL有很多可以导入数据的方法,然而这些只是数据传输中的一半,另外的一般是从MySQL数据库中导出数据。有许多的原因我们需要导出数据。一个重要的原因是用于备份数据库。数据的造价常常是昂贵的,需要谨慎处理它们。经常地备份可以帮助防止宝贵数据地丢失;另外一个原因是,也许您希望导出数据来共享。 在这个信息技术不断成长的世界中,共享数据变得越来越常见。
    比方说Macmillan USA维护护着一个将要出版的书籍的大型数据库。这个数据库在许多书店之间共享,这样他们就知道哪些书将会很快出版。医院越来越走向采用无纸病历记录,这样这些病历可以随时跟着你。世界变得越来越小,信息也被共享得越来越多。有很多中导出数据得方法,它们都跟导入数据很相似。因为,毕竟,这些都只是一种透视得方式。从数据库导出的数据就是从另一端导入的数据。这里我们并不讨论其他的数据库各种各样的导出数据的方法,您将学会如何用MySQL来实现数据导出。
      
      使用mysqldump:
      
      (mysqldump命令位于mysql/bin/目录中)

      mysqldump工具很多方面类似相反作用的工具mysqlimport。它们有一些同样的选项。但mysqldump能够做更多的事情。它可以把整个数据库装载到一个单独的文本文件中。这个文件包含有所有重建您的数据库所需要的SQL命令。这个命令取得所有的模式(Schema,后面有解释)并且将其转换成DDL语法(CREATE语句,即数据库定义语句),取得所有的数据,并且从这些数据中创建INSERT语句。这个工具将您的数据库中所有的设计倒转。因为所有的东西都被包含到了一个文本文件中。这个文本文件可以用一个简单的批处理和一个合适SQL语句导回到MySQL中。这个工具令人难以置信地简单而快速。决不会有半点让人头疼地地方。
      
      因此,如果您像装载整个数据库Meet_A_Geek的内容到一个文件中,可以使用下面的命令:

      bin/mysqldump –p Meet_A_Geek > MeetAGeek_Dump_File.txt
      
      这个语句也允许您指定一个表进行dump(备份/导出/装载?)。如果您只是希望把数据库Meet_A_Geek中的表Orders中的整个内容导出到一个文件,可以使用下面的命令:

      bin/mysqldump –p Meet_A_Geek Orders >MeetAGeek_Orders.txt
      
      这个非常的灵活,您甚至可以使用WHERE从句来选择您需要的记录导出到文件中。要达到这样的目的,可以使用类似于下面的命令:

      bin/mysqldump –p –where=”Order_ID > 2000″ Meet_A_Geek Orders > Special_Dump.txt
      
      mysqldump工具有大量的选项,部分选项如下表:

      选项/Option 作用/Action Performed

      –add-drop-table

      这个选项将会在每一个表的前面加上DROP TABLE IF EXISTS语句,这样可以保证导回MySQL数据库的时候不会出错,因为每次导回的时候,都会首先检查表是否存在,存在就删除

      –add-locks

      这个选项会在INSERT语句中捆上一个LOCK TABLE和UNLOCK TABLE语句。这就防止在这些记录被再次导入数据库时其他用户对表进行的操作
      
      -c or – complete_insert

      这个选项使得mysqldump命令给每一个产生INSERT语句加上列(field)的名字。当把数据导出导另外一个数据库时这个选项很有用。

      –delayed-insert 在INSERT命令中加入DELAY选项

      -F or -flush-logs 使用这个选项,在执行导出之前将会刷新MySQL服务器的log.

      -f or -force 使用这个选项,即使有错误发生,仍然继续导出

      –full 这个选项把附加信息也加到CREATE TABLE的语句中

      -l or -lock-tables 使用这个选项,导出表的时候服务器将会给表加锁。

      -t or -no-create- info

      这个选项使的mysqldump命令不创建CREATE TABLE语句,这个选项在您只需要数据而不需要DDL(数据库定义语句)时很方便。
      
      -d or -no-data 这个选项使的mysqldump命令不创建INSERT语句。

    在您只需要DDL语句时,可以使用这个选项。

      –opt 此选项将打开所有会提高文件导出速度和创造一个可以更快导入的文件的选项。

      -q or -quick 这个选项使得MySQL不会把整个导出的内容读入内存再执行导出,而是在读到的时候就写入导文件中。

      -T path or -tab = path 这个选项将会创建两个文件,一个文件包含DDL语句或者表创建语句,另一个文件包含数据。DDL文件被命名为table_name.sql,数据文件被命名为table_name.txt.路径名是存放这两个文件的目录。目录必须已经存在,并且命令的使用者有对文件的特权。
      
      -w “WHERE Clause” or -where = “Where clause ”

      如前面所讲的,您可以使用这一选项来过筛选将要放到 导出文件的数据。
      
      假定您需要为一个表单中要用到的帐号建立一个文件,经理要看今年(2004年)所有的订单(Orders),它们并不对DDL感兴趣,并且需要文件有逗号分隔,因为这样就很容易导入到Excel中。 为了完成这个人物,您可以使用下面的句子:

      bin/mysqldump –p –where “Order_Date >=’2000-01-01′”
      –tab = /home/mark –no-create-info –fields-terminated-by=, Meet_A_Geek Orders

      这将会得到您想要的结果。
      
      schema:模式

      The set of statements, expressed in data definition language, that completely describe the structure of a data base.

      一组以数据定义语言来表达的语句集,该语句集完整地描述了数据库的结构。
      
      SELECT INTO OUTFILE :

      如果您觉得mysqldump工具不够酷,就使用SELECT INTO OUTFILE吧, MySQL同样提供一个跟LOAD DATA INFILE命令有相反作用的命令,这就是SELECT INTO OUTFILE 命令,这两个命令有很多的相似之处。首先,它们有所有的选项几乎相同。现在您需要完成前面用mysqldump完成的功能,可以依照下面的步骤进行操作:
      
      1. 确保mysqld进程(服务)已经在运行

      2. cd /usr/local/mysql

      3. bin/mysqladmin ping ;// 如果这个句子通不过,可以用这个:mysqladmin -u root -p ping

      mysqladmin ping用于检测mysqld的状态,is alive说明正在运行,出错则可能需要用户名和密码。

      4. 启动MySQL 监听程序.

      5. bin/mysql –p Meet_A_Geek;// 进入mysql命令行,并且打开数据库Meet_A_Geek,需要输入密码

      6. 在命令行中,输入一下命令:

      SELECT * INTO OUTFILE ‘/home/mark/Orders.txt’
      FIELDS
      TERMINATED BY = ‘,’
      FROM Orders
      WHERE Order_Date >= ’2000-01-01′
      
      在你按了Return(回车)之后,文件就创建了。这个句子就像一个规则的SELECT语句,只是把想屏幕的输出重定向到了文件中。这意味这您可以使用JOIN来实现多表的高级查询。这个特点也可以被用作一个报表产生器。
      
      比方说,您可以组合这一章中讨论的方法来产生一个非常有趣的查询,试试这个:
      
      在mysql目录建立一个名为Report_G.rpt 的文本文件,加入下面的行:

      USE Meet_A_Geek;
      INSERT INTO Customers (Customer_ID, Last_Name, First_Name)
      VALUES (NULL, “Kinnard”, “Vicky”);
      INSERT INTO Customers (Customer_ID, Last_Name, First_Name)
      VALUES (NULL, “Kinnard”, “Steven”);
      INSERT INTO Customers (Customer_ID, Last_Name, First_Name)
      VALUES (NULL, “Brown”, “Sam”);
      SELECT Last_Name INTO OUTFILE ‘/home/mark/Report.rpt’
      FROM Customers WHERE Customer_ID > 1;

      然后确认 mysql进程在运行,并且您在mysql目录中, 输入下面的命令:

      bin/mysql < Report_G.rpt检查您命名作为输出的文件,这个文件将会包含所有您在Customers表中输入的顾客的姓。 如您所见,您可以使用今天学到的导入/导出(import/export)的方法来帮助得到报表

     
c
compose new post
j
next post/next comment
k
previous post/previous comment
r
reply
e
edit
o
show/hide comments
t
go to top
l
go to login
h
show/hide help
esc
cancel