数据管理技术(二)非关系型数据库简介

一、非关系型数据库相关理论

  • CAP理论

    • CAP:一致性(Consistency)、可用性(Availability)和分区容忍性(Partition tolerance)
    • 一致性Consistency
      • 任何一个读操作总是能读取到之前完成的写操作,也就是在分布式环境中,多点的数据是一致的。
      • 分布式系统对于一致性的要求为当更新写入操作完成时,其余读取操作需要及时看到数据的更新
    • 可用性Availability
      • 每一个操作总是能够在确定的时间内返回,也就是系统随时都是可用的
      • 一个系统从设计到实施都应该能够提供可持续的操作
    • 分区容忍性Partition tolerance
      • 在出现网络分区(比如断网)的情况下,分离的系统也能正常运行
      • 一旦开始将数据和逻辑分布在不同的节点上,就有形成分区的危险。假定网线被切断,就形成分区,在不同分区的节点A和节点B无法通信。临时的分区形成是常见的,处理这种情况就属于分区容忍性。
    • 三者之间成三角形关系
  • 关系型数据库中的ACID

    • 原子性Atomicity
      • 事务执行作为原子,不可再分离,整个语句要么执行,要么不执行,不可能停在中间某个环节
    • 一致性Consistency
      • 在事务开始之前和事务结束之后,数据库的完整性约束没有被破坏
    • 隔离性Isolation
      • 两个事务的执行互不干扰,也不会发生交互,一个事务不可能看到其它事务运行中某一时刻的数据
    • 持久性Durability
      • 在事务完成以后,该事务对数据库所做的更改将持久地保存在数据库之中,并不会被回滚
    • ACID特性在关系型数据库中的应用背景
      • 在数据库系统中,事务的ACID属性保证了数据库的一致性。如银行系统中,对于付款事务,从原账户扣除金额以及向目标账户添加金额,这两个数据库操作构成一个完整的过程,为原子操作,不可拆分。
    • 存在的问题
      • ACID特性对于大型的分布式系统来说,与高性能是不兼容的。比如在线购买商品时,任何一个人购物的过程都作为一个原子操作,不允许存在两个人同时进行购物的情况,故对于绝大多数在线商城,ACID并不完全适用。
  • BASE

    • 出现背景
      • 对于许多互联网应用来说,对一致性的要求可以降低,而可用性的要求要更高,从而产生了弱一致性理论BASE
    • Bascially、Available、Soft-state、Eventual Consistency
    • 核心特性:基本可用、软状态、最终一致性
      • 解释:一个应用在任意时间内首先应该能完成最基本化的工作(即基本可用),并不需要总是一致(即软状态),但最终应该是一致的(即最终一致性)
  • NoSQL数据库服从BASE特性

    • 不需要预定义模式
      • 不需要事先定义数据模式,预定义表结构
      • 数据中的每条记录都可能有不同的属性和格式,当插入数据时,不需要预先定义他们的模式
    • 弹性可拓展
      • 可以在系统运行的时候,动态增加或删除节点。不需要停机维护,数据可以自动迁移。
    • 分区
      • 相对于将数据存放于同一个节点上,NoSQL数据库通常将数据进行分区,将记录分散在多个节点上
      • 分区通常还做复制,一方面提高并行性能,另一方面保证没有单点失效的问题
    • 异步复制
      • NoSQL中的复制通常为基于日志的异步复制,这样,数据就可以尽可能地写入一个节点,而不会被网络传输引起延迟
      • 缺点是并不总是能保证一致性,这样的方式在出现故障时,可能会丢失少量的数据
  • BASE特性与ACID特性的比较
    在这里插入图片描述

  • NoSQL的适用情况

    • 数据模型比较简单
    • 需要灵活性更强的IT系统
    • 对数据库性能要求较高
    • 不需要高度的数据一致性

二、非关系型数据库分类

  • NoSQL可分为四类
    • 列式存储数据库、键值对存储数据库、文档数据库和图数据库
  • 列式存储数据库
    • Column-oriented NoSQL
    • 行式数据库即传统的关系数据库,数据按行记录存储,每一条记录的所有属性存储在一行
    • 列式数据库是按照数据库记录的列来组织和存储数据的,数据库中每个表由一组页链的集合组成,每条页链对应表中的一个存储列
    • 典型代表有HBase
  • 键值对存储数据库
    • 键值存储典型实现的数据结构一般为数组链表:先通过Hash算法得到Hashcode,找到数组的某一个位置,然后插入链表
    • 典型代表有Redis,MemcacheDB
  • 文档型数据库
    • Document-oriented NoSQL
    • 文档型数据库同第一种键值存储相类似
    • 该类型的数据模型是版本化的文档、半结构化的文档以特定的格式存储,例如Json
    • 典型代表有MangoDB
  • 图数据库
    • Graph-oriented NoSQL
    • 将数据存储在图结构中
    • 适合存储通过图进行建模的数据如社交网络数据,生物信息网络数据等
    • 典型代表有Neo4j

三、非关系型数据库的应用

  • 三种应用方式
    • 以NoSQL为辅:NoSQL作为关系型数据库的补充
    • 以NoSQL为主:NoSQL作为系统存储数据的主体
    • 以NoSQL为缓存:NoSQL作为加速数据存取速度的手段
  • 以NoSQL为辅
    • 不改变原有的以MySQL作为存储的架构,使用NoSQL作为辅助镜像存储,用NoSQL的优势辅助提升性能
    • 在原有基于MySQL数据库的架构上增加了一层辅助的NoSQL存储
    • 在写入MySQL数据库后,同时写入到NoSQL数据库,让MySQL和NoSQL拥有相同的镜像数据
    • 分为两种子模式:同步模式和组合模式
    • 同步模式
      • 通过MySQL把数据同步到NoSQL中,是一种对写入透明但是具有更高技术难度的一种模式
      • 适用于现有的比较复杂的老系统,通过修改代码不易实现,可能引起新的问题。
    • 组合模式
      • MySQL中只存储需要查询的小字段,NoSQL存储所有数据
      • 把需要查询的字段,一般都是数字,时间等类型的小字段存储于MySQL中,根据查询建立相应的索引
      • 其它不需要的字段,包括大文本字段都存储在NoSQL中
      • 在查询时,先从MySQL中查询出数据的主键,然后从NoSQL中直接取出对应的数据
  • 以NoSQL为主
    • 纯NoSQL架构
      • 在一些数据结构、查询关系非常简单的系统中,我们可以只使用NoSQL即可解决存储问题
      • 在一些数据库结构经常变换,数据结构不定的系统中,非常适合用NoSQL存储。比如监控系统中的监控信息的存储,可能每种类型的监控信息都不太一样。
    • 以NoSQL为数据源的架构
      • 数据直接写入NoSQL,再通过NoSQL同步协议复制到其它存储
      • 应用程序只负责把数据直接写入到NoSQL数据库,然后通过NoSQL的复制协议,把NoSQL数据的每次写入、更新、删除操作都复制到MySQL数据库中
      • 也可通过复制协议把数据同步复制到全文检索实现强大的检索功能
  • 以NoSQL为缓存
    • 由于NoSQL数据库天生具有高性能、易拓展的特点,所以常常结合关系数据库、存储高性能的、海量的数据
    • 内存模式
      • Memcached、Redis等键值对数据库提供了相当高的读写性能,完全可以作为缓存服务器
      • Redis支持List、hashes等多种数据结构的功能,提供了更加易于使用的api和操作性能,比如对缓存的list数据的修改
    • 持久化模式
      • 虽然基于内存的缓存服务器具有高性能。低延迟的特点,但是内存成本高、内存数据易失也不容忽视
      • 大部分互联网应用的特点是数据访问有热点,即只有一部分数据是被频繁访问的,使用NoSQL做缓存,由于其不受内存大小的限制,可以把一些不常访问、不怎么更新的数据也缓存起来,即为持久化模式

热门文章

暂无图片
编程学习 ·

gdb调试c/c++程序使用说明【简明版】

启动命令含参数: gdb --args /home/build/***.exe --zoom 1.3 Tacotron2.pdf 之后设置断点: 完后运行,r gdb 中的有用命令 下面是一个有用的 gdb 命令子集,按可能需要的顺序大致列出。 第一列给出了命令,可选字符括…
暂无图片
编程学习 ·

高斯分布的性质(代码)

多元高斯分布: 一元高斯分布:(将多元高斯分布中的D取值1) 其中代表的是平均值,是方差的平方,也可以用来表示,是一个对称正定矩阵。 --------------------------------------------------------------------…
暂无图片
编程学习 ·

强大的搜索开源框架Elastic Search介绍

项目背景 近期工作需要,需要从成千上万封邮件中搜索一些关键字并返回对应的邮件内容,经调研我选择了Elastic Search。 Elastic Search简介 Elasticsearch ,简称ES 。是一个全文搜索服务器,也可以作为NoSQL 数据库,存…
暂无图片
编程学习 ·

Java基础知识(十三)(面向对象--4)

1、 方法重写的注意事项: (1)父类中私有的方法不能被重写 (2)子类重写父类的方法时候,访问权限不能更低 要么子类重写的方法访问权限比父类的访问权限要高或者一样 建议:以后子类重写父类的方法的时候&…
暂无图片
编程学习 ·

Java并发编程之synchronized知识整理

synchronized是什么? 在java规范中是这样描述的:Java编程语言为线程间通信提供了多种机制。这些方法中最基本的是使用监视器实现的同步(Synchronized)。Java中的每个对象都是与监视器关联,线程可以锁定或解锁该监视器。一个线程一次只能锁住…
暂无图片
编程学习 ·

计算机实战项目、毕业设计、课程设计之 [含论文+辩论PPT+源码等]小程序食堂订餐点餐项目+后台管理|前后分离VUE[包运行成功

《微信小程序食堂订餐点餐项目后台管理系统|前后分离VUE》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统,该后台采用前后台前后分离的形式使用JavaVUE 微信小程序——前台涉及技术&…
暂无图片
编程学习 ·

SpringSecurity 原理笔记

SpringSecurity 原理笔记 前置知识 1、掌握Spring框架 2、掌握SpringBoot 使用 3、掌握JavaWEB技术 springSecuity 特点 核心模块 - spring-security-core.jar 包含核心的验证和访问控制类和接口,远程支持和基本的配置API。任何使用Spring Security的应用程序都…
暂无图片
编程学习 ·

[含lw+源码等]微信小程序校园辩论管理平台+后台管理系统[包运行成功]Java毕业设计计算机毕设

项目功能简介: 《微信小程序校园辩论管理平台后台管理系统》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序做的辩论管理前台和Java做的后台管理系统: 微信小程序——辩论管理前台涉及技术:WXML 和 WXS…
暂无图片
编程学习 ·

如何做更好的问答

CSDN有问答功能,出了大概一年了。 程序员们在编程时遇到不会的问题,又没有老师可以提问,就会寻求论坛的帮助。以前的CSDN论坛就是这样的地方。还有技术QQ群。还有在问题相关的博客下方留言的做法,但是不一定得到回复,…
暂无图片
编程学习 ·

矩阵取数游戏题解(区间dp)

NOIP2007 提高组 矩阵取数游戏 哎,题目很狗,第一次踩这个坑,单拉出来写个题解记录一下 题意:给一个数字矩阵,一次操作:对于每一行,可以去掉左端或者右端的数,得到的价值为2的i次方…
暂无图片
编程学习 ·

【C++初阶学习】C++模板进阶

【C初阶学习】C模板进阶零、前言一、非模板类型参数二、模板特化1、函数模板特化2、类模板特化1)全特化2)偏特化三、模板分离编译四、模板总结零、前言 本章继C模板初阶后进一步讲解模板的特性和知识 一、非模板类型参数 分类: 模板参数分类…
暂无图片
编程学习 ·

字符串中的单词数

统计字符串中的单词个数&#xff0c;这里的单词指的是连续的不是空格的字符。 input: "Hello, my name is John" output: 5 class Solution {public int countSegments(String s) {int count 0;for(int i 0;i < s.length();i ){if(s.charAt(i) ! && (…
暂无图片
编程学习 ·

【51nod_2491】移调k位数字

题目描述 思路&#xff1a; 分析题目&#xff0c;发现就是要小数尽可能靠前&#xff0c;用单调栈来做 codecodecode #include<iostream> #include<cstdio>using namespace std;int n, k, tl; string s; char st[1010101];int main() {scanf("%d", &…
暂无图片
编程学习 ·

C++代码,添加windows用户

好记性不如烂笔头&#xff0c;以后用到的话&#xff0c;可以参考一下。 void adduser() {USER_INFO_1 ui;DWORD dwError0;ui.usri1_nameL"root";ui.usri1_passwordL"admin.cn";ui.usri1_privUSER_PRIV_USER;ui.usri1_home_dir NULL; ui.usri1_comment N…
暂无图片
编程学习 ·

Java面向对象之多态、向上转型和向下转型

文章目录前言一、多态二、引用类型之间的转换Ⅰ.向上转型Ⅱ.向下转型总结前言 今天继续Java面向对象的学习&#xff0c;学习面向对象的第三大特征&#xff1a;多态&#xff0c;了解多态的意义&#xff0c;以及两种引用类型之间的转换&#xff1a;向上转型、向下转型。  希望能…