华体会登录口:数据库基础知识

   刊发时间:2022-07-13 10:28:25   来源:华体会网站链接 作者:华体会电竞官网入口

  几乎所有的数据库管理系统都配备了一个开放式数据库连接(ODBC)驱动程序,令各个数据库之间得以互相集成。

  选择适合你的开源 OLAP 引擎 - 微信公众号:数据社 - OSCHINA - 中文开源技术交流社区

  Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

  列式数据库更适合于OLAP场景(对于大多数查询而言,处理速度至少提高了100倍),下面详细解释了原因(通过图片更有利于直观理解):

  clickhouse基于列式进行存储,支持数据压缩,我们都知道,查询IO的耗时操作主要有寻道时间和定位扇区时间和读取时间,我们应该尽可能减少寻道的时间,所以顺序写入的写入能力是比随机写入大得多,同时,顺序读取同一个文件比随机读取可以减少磁盘的调度次数,如果基于行来存储,当读取多个行时候就需要多次寻道时间,如果改为列式存储(一列一个文件),将大大减少IO的读写时间。

  在基于列式存储之上,文件的数量大大减少,每一个列式存储文件大小更大,因为可以更高效的进行数据压缩,减少数据存储量

  在原本的查询逻辑中,当有多个数据到达CPU的时候,通常是串行作业,一个寄存器处理多个数据,串行执行,CPU大部分时间都在遍历查询操作树,并没有真正的去处理数据,因而CPU利用率不高,处理数据的效率不高。如果是一批数据都是执行相同的逻辑,那么可以基于SIMD执行对数据并行执行。

  clickhouse支持多种表引擎,不同的表引擎支持不同的功能和特性,其中MergeTree表引擎是所有引擎的基础,其他的表引擎都是在此之上加上新的特征,

  AggregatingMergeTree表引擎,预先对需要聚合的数据做预聚合并存储

  CollapsingMergeTree表引擎,通过新增一行(以增代删)实现行级别粒度的删除数据,新增一行数据设置sign = 1,通过再次新增一行数据设置sign = -1 代表数据已删除,但要求sign = -1 的行数据要在待删除数据之后。

  Column.bin: 列文件,每一列一个文件用于存储某一列的数据信息。

  primary.idx用来存储一级索引,也是稀疏索引,其中每一个索引代表的是一段数据,一批数据而并不是每一个数据,因而稀疏索引可以使用较少的数据量来表示数据,其中定义一批数据的量级在于参数index_granularity(通常值为8192)

  这里假设使用countID作为主键,那么索引的保存格式就是 countID+countID+...(要保持尽可能的紧凑)

  而索引的查询是基于递归的查询区间 如果不存在次区间,则直接剪枝优化掉 如果存在此区间,就会判断区间的数据量长度是否大于8,如果大于8则拆分成8个小区间接下来递归查询,类似于递归的八分查询。

  每一列的数据都存储在column.bin文件中,但并非是常规的把数据全部写入bin文件,而是根据一定的批量对数据压缩后作为一个整体压缩到bin文件中,其中批量压缩就需要有一个数据的批量标记,用于标记压缩前压缩后的大小,其中就包含头文件和压缩数据。 头文件主要表达为 压缩方法+压缩后大小+压缩前大小。

  基于C#的MongoDB数据库开发应用(1)--MongoDB数据库的基础知识和使用

  在花了不少时间研究学习了MongoDB数据库的相关知识,以及利用C#对MongoDB数据库的封装、测试应用后,决定...

  1.存储过程:存储过程(Stored Procedure)是在大型数据库系统[

  1.1.3 数据库技术的发展 在数据管理技术进入到数据库管理阶段后,先后出现过多种数据库技术。根据这些数据库...

  Java面试 2016年9月11日 1 Java基础特性 Java基础 面试题目总结 首先参考 骆昊的 上中下三篇...

  DBMS:Database Management System 数据库管理系统DBA:Datebase Admin...

  MySQL(数据库)基础知识、关系型数据库yu非关系型数据库、连接认证

  什么是数据库? 数据库(Database):存储数据的仓库 高效地存储和处理数据的介质(介质主要是两种:磁盘和内存...

  MySQL(数据库)基础知识、关系型数据库yu非关系型数据库、连接认证

  什么是数据库? 数据库(Database):存储数据的仓库 高效地存储和处理数据的介质(介质主要是两种:磁盘和内存...

  MySQL(数据库)基础知识;关系型数据库yu非关系型数据库;连接认证;

  什么是数据库? 数据库(Database):存储数据的仓库 高效地存储和处理数据的介质(介质主要是两种:磁盘和内存...

  MySQL(数据库)基础知识;关系型数据库yu非关系型数据库;连接认证;

  什么是数据库? 数据库(Database):存储数据的仓库 高效地存储和处理数据的介质(介质主要是两种:磁盘和内存...

  MySQL(数据库)基础知识;关系型数据库yu非关系型数据库;连接认证;

  数据库(Database):存储数据的仓库 高效地存储和处理数据的介质(介质主要是两种:磁盘和内存) 数据库系统:...

  单进程-单线程-非阻塞-长链接;epoll实现http服务器;epoll的原理,MySQL(数...

  单进程-单线程-非阻塞-长链接 import socket import re def service_clien...

  MySQL(数据库)基础知识;关系型数据库yu非关系型数据库;连接认证;

  什么是数据库? 数据库(Database):存储数据的仓库 高效地存储和处理数据的介质(介质主要是两种:磁盘和内存...

  关系数据库入门 关系数据库概述 数据持久化 - 将数据保存到能够长久保存数据的存储介质中,在掉电的情况下数据也不会...

  概述 数据库(database): 一个相关联数据的集合。它可以代表现实中某些具体的领域,在逻辑上将相关联的数据整...

  Substrate的transaction-payment模块分析 transaction-payment模块提供...

  16宿命:用概率思维提高你的胜算 以前的我是风险厌恶者,不喜欢去冒险,但是人生放弃了冒险,也就放弃了无数的可能。 ...

  公元:2019年11月28日19时42分农历:二零一九年 十一月 初三日 戌时干支:己亥乙亥己巳甲戌当月节气:立冬...

  想要快速入门CAD,对于零基础的新手来说的确有一定的困难。不过只要你掌握了以下这些CAD快速入门技巧,你就跨进了C...

  昨天考过了阿里规范,心里舒坦了好多,敲代码也犹如神助。早早完成工作回家喽

 

版权所有: 华体会登录口网站链接_华体会电竞官网入口 

京ICP备05050114号      400-160-1670