Oracle体系结构及执行流程

Oracle体系结构

实例

实例是数据库启动时初始化的一组进程和内存结构

image-20210106011153401

内存结构

image-20210106011202443

SGA(系统全局区)

SGA是一块共享的内存区域,也是最大的一块内存区域

image-20210106010305467

数据库缓冲区缓存

缓冲区缓存 是Oracle用来执行SQL 的工作区域,在更新数据时,用户会话不会直接去更新磁盘上的数据,而是先更新缓冲区缓存数据,以减少磁盘IO

脏缓冲区

  如果缓冲区存储的块和磁盘上的块不一致,该缓冲区就叫做“脏缓冲区”,脏缓冲区最终会由数据库写入器(DBWn)写入到磁盘中去。

日志缓冲区

日志缓冲区是一块比较小的内存区域,它是用来短期存储将写入到磁盘中的重做日志文件中的变更向量的。

日志缓冲区存在的意义依然是为了减少磁盘IO,减少用户的等待时间,试想下,如果每一次用户DML操作都要进行等待重做记录被写入到磁盘中去,体验会有多差劲。

共享池

image-20210106010507375

库缓存

库缓存这块内存区域会按已分析的格式缓存最近执行的代码,这样,同样的sql代码多次执行的时候,就不用重复地去进行代码分析,可以很大程度上提高系统性能

数据字典缓存

存储oracle中的对象定义(表,视图,同义词,索引等数据库对象),这样在分析sql代码的时候,就不用频繁去磁盘上读取数据字典中的数据了

PL/SQL区

缓存存储过程、函数、触发器等数据库对象,这些对象都存储在数据字典中,通过将其缓存到内存中,可以在重复调用的时候提高性能

大池

大池是个可选的内存区域,前面我们提到专有服务器连接和共享服务器连接,如果数据库采用了共享服务器连接模式,则要使用到大池;RMAN(Oracle的高级备份恢复工具)备份数据也需要大池

Java池

Oracle 的很多选项使用java写的,Java池用作实例化Java对象所需的堆空间

流池

从重做日志中提取变更记录的进程 和 应用变更记录的进程会用到流池(如实例不正常关闭,譬如断电导致实例关闭,在重启时,Oracle会自动执行实例恢复过程,在此过程需要提取重做日志记录和应用重做日志两个动作)

PGA(用户全局区)

PGA是用户会话专有的内存区域,每个会话在服务器端都有一块专有的内存区域就是PGA

image-20210106010325159

Private SQL area

包含绑定信息、运行时的内存结构。每个发出sql语句的会话,都有一个private SQL area(私有SQL区)

Session memory

为保存会话中的变量以及其他与会话相关的信息,而分配的内存区。

Cursor、SQL Areas

游标以及SQL存储区域。

Work Area

PGA的一大部分被分配给Work Area,用来执行如下操作:

a.基于操作符的排序,group by、order by、rollup和窗口函数。参数为sort_area_size

b.hash散列连接,参数为hash_area_size

c.位图合并,参数为bitmap_merge_area_size

d.位图创建,参数为create_bitmap_area_size

e.批量装载操作使用的写缓存

当发起的指令需要排序,则在PGA中进行,如果内存不够存放排序的尺寸,则超出的部分就在临时表空间完成排序,即在磁盘中完成。

下图是Oracle体系结构图,一般用户发起的请求,需要经历1区–>2区–>3区,或者1区–>2区

进程结构

image-20210106010644502

监听进程

数据库写入器(DBWn)

DBWn的作用就是将变脏了的缓冲区从数据库缓冲区缓存中写入到磁盘中的数据文件中去

DBWn是个比较懒的进程,它会尽可能少的进行写入,在以下四种情况它会执行写入:

a.没有任何可用缓冲区(不得不写啊)

b.脏缓冲区过多

c.3秒超时(最晚3秒会执行一次写入)

d.遇到检查点,即checkPoint(检查点),检查点是个Oracle事件,遇到检查点,DBWn会执行写入。比如实例有序关闭的时候会有检查点,DBWn会将所有脏缓冲区写入到磁盘上去的,这很容易理解,要保持数据文件的一致性。

日志写入器(LGWR)

日志写入器(LGWR)就是把日志缓冲区内的内容写入到磁盘的重做日志文件中去,相比数据库写入器(DBWn),日志写入器就勤快多了。

以下三种情况LGWR会执行写入:

a.commit时写入

  前面提过,DBWn的写入和commit没有任何关系,如果commit时数据库没有任何记录,那数据就真的丢失了,Oracle 的重做日志就是为了保证数据安全而存在的,commit时,会话会先挂起,等待LGWR将这些记录写入到磁盘上的重做日志文件中,才会通知用户提交完成。所以,LGWR在commit时执行写入,是为了确保事务永不丢失。

b.日志缓冲区的占用率达到1/3。

c.DBWn要写入脏缓冲区前

这个写入是为了数据回滚考虑的。DBWn完全可能写入还没提交的事务(参照上面提到的写入时机)

那如何保证事务回滚呢?

  首先要知道,DBWn除了写入实际的数据,还会写入撤销数据(不了解的同学可参考我的另一篇博文中对于撤销段的描述 Oracle闪回技术详解。)简单说,事务回滚需要撤销数据,在写入撤销数据前,会先写入针对撤销数据的日志记录(有点绕),若用户要进行事务回滚,就可以应用这些日志记录来构造撤销数据,然后进行回滚。

我们对这两块最重要的内存区域和对应的后台进程做个总结:

  数据库缓冲区缓存和日志缓冲区都是为了提高性能,避免频繁IO而存在的。日志缓冲区相比数据库缓冲区缓存要小的多,并且不能进行自动管理,对于日志缓冲区的修改需要重启实例,数据库缓冲区缓存可进行自动管理。作用在数据库缓冲区缓存上的DBWn进程,为了避免频繁的磁盘IO导致系统性能下降,会尽可能少地执行写入,且DBWn的写入和commit操作没有任何关系;

  而作用在日志缓冲区上的LGWR进程,则会非常积极地进行写入,一般情况下,它几乎是实时地将重做日志记录转储到磁盘中去。LGWR是Oracle体系结构中最大的瓶颈之一。DML的速度不可能超过LGWR将变更向量写入磁盘的速度。

SMON(System Monitor)

安装和打开数据库,实例恢复也是由此进程完成的

PMON(Process Monitor)

进程监视器,主要监视服务器进程。前面提到过,专有服务器体系模式下,用户进程和服务器进程是一对一的关系,如果某个会话发生异常,PMON会销毁对应的服务器进程,回滚未提交的事务,并回收会话专有的PGA内存区域。

CKPT(Checkpoint Process)

CKPT负责发起检查点信号,手动设置检查点的语法:

1
SQL> alter system checkpoint;

  检查点可强制DBWn写入脏缓冲区,当数据库崩溃后,由于大量脏缓冲区未写入数据文件,在重新启动时,需要由SMON进行实例恢复,实例恢复需要提取和应用重做日志记录,提取的位置就是从上次检查点发起的位置开始的(检查点之前的数据已经被强制写入到数据文件中去了),这个位置称为RBA(redo byte address),CKPT会不断将这个位置更新到控制文件中去(以确定实例恢复需要从哪儿开始提取日志记录)。

MMON(Manageability Monitor)

数据库的自我监视和自我调整的支持进程。实例在运行中,会收集大量有关实例活动和性能的统计数据,这些数据会收集到SGA中,MMON定期从SGA中捕获这些统计数据,并将其写入到数据字典中,便于后续对这些快照进行分析。(默认情况,MMON每隔一个小时收集一次快照)

ARCn(Archiver)

归档进程,这个进程是可选的,如果数据库配置为归档模式,这个进程就是必须的。所谓归档,就是将重做日志文件永久保存(生产库一般都会配置为归档模式)到归档日志文件中。归档日志文件和重做日志文件作用是一样的,只不过重做日志文件会不短被重写,而归档日志文件则保留了关于数据更改的完整的历史记录。

数据库(存储结构)

image-20210106010946789

物理存储结构

image-20210106010930120

所谓外部文件,意味着这些文件从严格意义上来讲并不属于Oracle数据库的一部分

控制文件

控制文件虽小,但作用重大,它包含指向数据库其余部分的指针(包括重做日志文件,数据文件,归档日志文件等的位置),存储重要的序列号和时间戳,存储RMAN备份的详细信息。控制文件一旦受损,那实例会立马终止,一般对数据文件的保护采用多路复用机制,就是冗余多份在不同物理位置。

数据文件

数据文件存储着实际的数据,DBWn会将数据库缓冲区中的内容写入到这类文件中去,数据文件的大小和数量是不受限制的。Oracle从10g开始,创建一个数据库至少需要两个数据文件,一个用于SYSTEM表空间,该表空间用来存储数据字典;一个用于SYSAUX表空间,这个表空间用来存储一些数据字典的辅助数据。

  数据文件由一个个的Oracle块组成,这是Oracle的I/O基础单元,与操作系统块是不同的概念,Oracle块要比操作系统块大,这当然有处于性能的一些考虑,但我们考虑这样一种情况,当用户使用操作系统命令进行数据文件的备份的时候(假设1个Oracle块=8个操作系统块),已经复制了4个操作系统块,然后CPU被DBWn抢占了,DBWn又重新对这个Oracle块进行了更新,这时,当复制命令又得到了CPU时间去复制剩余的4个块的时候,就造成了整个Oracle块的数据不一致,所以,这也是在执行这种备份(用户自行备份)的时候,需要做一些额外处理,比如将表空间置为备份模式的原因。当然,使用RMAN是不存在这样的问题的,RMAN的备份机制是肯定可以得到数据一致的块的。(这块内容作了解即可)

  对于数据文件的保护,一般可进行定期备份,或者使用RAID也可以。

联机重做日志文件

重做日志按时间顺序存储应用于数据库的一连串的变更向量(包含联机重做日志文件和归档日志文件)。由SMON在数据库启动时自动执行的实例恢复 和 磁盘损坏所要求的提取备份恢复都会应用到重做日志进行相应的数据恢复

  重做日志文件也建议进行多路复用,一个数据库至少要有两组重做日志文件。一组供LGWR进行写入,日志文件是固定大小,业务高峰期会很快写满,写满之后会切换到第二组上,在配置为归档模式的数据库中,这时由归档进程(ARCn)开始将第一组的内容进行归档备份,如此循环地进行写入和归档。需要注意的是,在归档进程还未对当前组的日志归档完毕前,是不允许LGWR对其进行重写的。

初始化参数文件

这个文件存储了数据库所需的一些参数设置,比如各个内存区域的大小,可允许的最大进程数,最大会话数,控制文件的位置,数据库的名称等等,参数文件也是实例启动时首先要加载的文件

口令文件

一般称为外部口令文件。一般的用户名和口令是存放在数据字典中,不会存放在这个文件中。在一些特殊场景下,比如实例还未启动,这时,我可能需要以管理员的身份登入系统去执行一些恢复或者启动操作,然而此时,数据字典由于实例还没启动是不存在的,这时就需要外部口令文件进行用户身份的验证。

归档重做日志文件

ARCn将联机重做日志文件会备份归档到这类文件中去,归档日志文件保留了数据更改的完整历史信息。

逻辑存储结构

Oracle将其物理结构从逻辑存储结构中抽象出来,物理机构是系统管理员能看到的,逻辑结构则是用户所能感知到的。比较典型的逻辑结构就是 “段”和”表空间”。

image-20210106010935141

表空间(tablespace)

表空间从逻辑上是多个段的结合,在物理上是多个数据文件的集合,相当于在段和数据文件的对应中加入了一个中间层来解决这种多对多的关系。

  在早期的一些数据库设计中,段和数据文件是一对一的关系,一个段一个数据文件,这种设计有很多弊端,首先,段的数量是不固定的,有可能一个系统中上千张表,那就得需要上千个数据文件,系统管理员要管理这么多文件肯定会抓狂的;

​ 还有一种情况就是某些历史表可能特别大,大到底层系统对单个文件的限制,用一个数据文件去承载的话肯定是不行的。表空间则完美解决了这样的问题。

段(segment)

段就是包含所有数据的逻辑结构,比较典型的段就是”表”,称为表段,还有索引段,撤销段等等。

区(extend)

块(block)

SQL执行流程

1)语法分析,分析语句的语法是否符合规范,衡量语句中各表达式的意义

2)语义分析,检查语句中涉及的所有数据库对象是否存在,且用户有相应的权限

3)视图转换,将涉及视图的查询语句转换为相应的对基表查询语句

4)表达式转换, 将复杂的 SQL 表达式转换为较简单的等效连接表达式

5)选择优化器,不同的优化器一般产生不同的“执行计划”

6)选择连接方式,ORACLE有三种连接方式,对多表连接ORACLE可选择适当的连接方式

7)选择连接顺序,对多表连接ORACLE选择哪一对表先连接,选择这两表中哪个表做为源数据表

8)选择数据的搜索路径,根据以上条件选择合适的数据搜索路径,如是选用全表搜索还是利用索引或是其他的方式

9)运行“执行计划”