技术解析

随时欢迎技术圈的小伙伴们过来交流^_^：
AnalyticDB详情见：产品详情
AnalyticDB产品试用：产品试用
AnalyticDB知乎公众号：云原生数据仓库
AnalyticDB开发者社区公众号：云原生数据仓库
AnalyticDB开发者钉钉群：23128105

[Snowflake核心技术解读系列三]云原生技术

背景：2020年9月16日，Snowflake成功IPO，交易首日市场估值达到704亿美元，募集资金34亿美元。Snowflake成为迄今为止规模最大的软件IPO，市值最高突破1200亿美元。Snowflake提供基于云的数据存储和分析服务，一般被称为 "数据仓库即服务"，它允许企业用户使用基于云的硬件和软件来存储和分析数据。Snowflake自2014年起在亚马逊S3上运行，自2018年起在微软Azure上运行，自2019年起在谷歌云平台上运行，其Snowflake Data Exchange允许客户发现、交换和安全地共享数据。[维基百科]
Snowflake取得了巨大的商业成功，技术是如何支撑起它的千亿美元市值呢？它技术强在哪？OLAP内核技术爱好者浙川为大家倾情解读Snowflake的核心技术原理。本文为该系列三。

云服务组件

多租户是Snowflake云服务组件非常重要的特点。云服务组件中的每一个组件，例如并发访问控制、优化器、事务管理器等，都是需要能够长期运行并可以被许多用户同时共享的。多租户的特性大大提升了系统的利用率，并且降低了系统的管理开销，相比于每个用户都会独立占用系统资源的传统架构，多租户可以降低系统的整体成本。
为了高可靠性和高可扩展性，每个云服务组件都会有自己的副本。因此，即便某个云服务组件挂掉，也不会导致数据丢失或者服务不可用。云服务组件挂掉可能会导致一些正在运行的查询任务失败，但由于数据没有丢失，Snowflake只需要简单地重新运行这些查询任务就行了。
查询管理与优化。用户的查询请求会首先发送到Snowflake的云服务组件上，云服务组件会对查询进行前期处理，包括查询解析、权限控制、查询计划优化、文件映射等。Snowflake的优化器采用了传统的自顶向下的瀑布模型（Cascades-style）和基于开销的优化（cost-based optimization，CBO）。优化器所依赖的统计数据，全部由Snowflake在数据加载和更新时进行自动统计。由于Snowflake并不支持索引，因此Snowflake搜索计划的空间会比较小。同时，Snowflake并不是在前期解析查询的是时候一并把所有计划都生成好，而是将一部分计划的生成推迟到执行阶段，比如针对join的数据分布计划就是在执行时才产生的。这样设计的优点是可以降低优化器生成低效计划的概率，同时也提升了系统的鲁棒性，而代价是可能查询执行的时候并不能获得极致的性能。更重要的是，这样的设计会使查询执行性能变得更加可预测，进而提升用户使用Snowflake的体验。
优化器产生的计划会下发给该查询对应虚拟仓库的所有计算节点上执行，当计划执行的过程中，云服务组件会持续不断地监测执行状态，统计性能指标并跟踪计算节点的健康情况。这些信息都是后续性能分析和日志审计的重要依据，并通过图形化接口向用户展示。
并发访问控制。Snowflake的并发访问控制也是在云服务组件中实现的。Snowflake的主要负载为分析型负载，分析型负载大多是复杂查询、批量插入、批量更新等。在这样的负载场景下，Snowflake通过ACID事务和快照隔离（snapshot isolation，SI）来实现并发访问控制。在快照隔离的机制下，一个事务内所有的读操作都会统一使用事务开始时的快照，这也意味着一个事务内所有的读操作都会看到同一个版本的数据，同时并发执行的另一个事务内的数据修改操作对这个事务的读操作来说是不可见的。
Snowflake的快照隔离机制是基于多版本并发控制（multi-version concurrency control,MVCC）实现的。由于Snowflake的表数据文件一旦存放到S3上，文件就不可以改变了，因此采用多版本并发控制是一个很自然的选择。在Snowflake中，如果想要修改一个文件，那么只能把这个文件删除，并用新的包含修改内容的文件来替换它。更进一步，在Snowflake中，如果对一个表做了写操作（数据插入、更新、删除），那么会对应产生一个新版本的表，旧版本表的文件都会被删除，新版本表的文件被重新添加进来。当然，除了涉及写操作的数据文件需要进行实际物理文件的删除和替换外，其他文件的删除和添加都是在元数据中进行操作。如前面章节所述，Snowflake的元数据管理就是key-value存储。
除了快照隔离外，Snowflake还使用快照来实现时间追踪和数据对象高效克隆。
剪枝。如何保证某个查询请求只访问和它相关的数据，是查询处理要解决的一个很重要的问题。传统数据库大多都会创建类似B+树索引来支持数据访问。尽管创建索引对于事务处理中的数据访问非常有效，对于类似Snowflake这样的系统来说，索引反而可能会带来很多问题。首先，索引会带来的很多的随机I/O访问请求，这对于采用列式存储（尤其带压缩）和S3的系统来说是一个非常严重的额外开销。其次，索引还会大幅增加实际存储的数据容量，以及增高数据加载时间。最后，索引还会降低用户的使用体验，尤其对于Snowflake来说：用户还需要花额外的时间和精力去主动地创建索引。
对于大规模数据分析场景来说，一个可以替代索引的技术为：min-max剪枝。对于一块数据来说（该块数据可以是一页，也可以是一个文件），系统会单独维护这块数据相关的元信息，其中最重要的元信息是这个块中数据的最大值和最小值。结合查询的过滤条件，这些min-max信息可以被用来判断该数据块内的数据是否会被查询用到。例如，假设数据块1中列x的min值是3、max值是5，数据块2中列x的min值是4、max值是6，那么对于包含where x>=6过滤条件的查询来说，数据块1中的数据肯定不会被用到，数据块2中的数据才会被用到。和索引不一样的是，类似min-max这样的元数据所消耗的空间非常小，而且访问会非常快。需要强调的是，这里的min-max不一定是数值（整数、浮点数）的min-max，还有可能是日期、字符等的min-max。
Snowflake非常适合采用这种剪枝技术：它不需要用户花时间和精力去做额外的操作；它所占空间比较小，具有良好的扩展性，并且易于维护；它非常适合大规模数据顺序访问的场景。另外，加载用来剪枝的元数据性能会非常快，而且分析这些元数据对于查询计划产生和执行来说开销并不大。Snowflake针对每个独立的表文件都会单独维护剪枝相关的元数据，元数据不仅会涉及到正常的关系型数据列，还会涉及到半结构化数据中的部分列。Snowflake会根据查询的过滤条件去检查对应的剪枝元数据，以便最小化查询执行时所需要的输入文件数。Snowflake的剪枝不仅能够处理简单的数值比较过滤条件，还能够处理类似in (5,6,7)这样的复杂过滤条件。除了上述的静态剪枝优化外，Snowflake还能够在执行时进行动态剪枝。例如，当在执行hash join的时候，Snowflake会收集build表数据中有关join键的分布信息，并将这些信息发送到probe表处理端，以便用来筛选和剔除probe表所不需要加载的数据文件。这些方案其实都是对现有技术（如bloom join）的扩展。

HDMI音视频接口原理（VR设备接口）

Eason66666 于 2017-06-21 16:59:06 发布 8427 收藏 18

名称： HDMI音视频接口原理
姓名：殷松
时间： 2017年6月7日

一、 HDMI接口性能
二、工作原理
三、HDMI标准发展之路

HDMI音视频接口原理
HDMI（High Definition Multimedia Interface），即高清晰度多媒体接口，以DVI（数字视频接口）为基础，采用TMDS（过度调制差分信号）编码机制，对视频信号，音频信号和控制信号进行时分控制，最高数据传输速度为5Gbit/s，克服了DVI对平板电视和广色域终端兼容性差，对影像版权保护缺乏支持，不支持数字音频信号，接口体积大等缺点。
一. HDMI接口性能
2002年岁末，高清晰数字多媒体接口HDMI1.0标准颁布。它最高支持5Gbps的传输带宽，相对于仅需2.2Gbps的HDTV来说，还有很大的带宽可以留给将来可能的更高标准的数字信号。HDMI的最大优点是，既能无压缩传送全数码的视频信号，也能同时传送数码音频信号，只靠一条HDMI线连接终端设备，就能同时欣赏到清晰的画面和立体的声音。不仅如此，HDMI接口也广泛应用于DVD和机顶盒等家电中，并且将应用范围扩大至Sony PlayStation3,PC等其他领域，强化了其市场地位。
HDMl支持以下视频和音频传输标准：
●SXGA：1280 x [email protected]：纵横比 5 ：4
●UXGA：1600×[email protected]：纵横比 4 ：3
●SDTV：480i、480p、576i、576p；
●HDTV：720p、1080i、1080p：
●CD：16位@32 KHz、44．1 KHz、48KHz：
●DVD—VIDEO：8通道数字音频；
●DVD—AUDIO：1通道的24位@192KHz。（p是逐行扫描，i是隔行扫描）
二. 工作原理
1. 接口系统原理
HDMI接口系统由数字信号编码、数字传输、信号解码三部分构成。见下图。

视频、音频和辅助信号(如场行同步信号)送入HDMI的编码发送芯片，进行数据编码，然后通过3路TMDS数据通道和1路TMDS时钟通道传送到信号接收端，接收端的HDMI解码芯片进行数据解码．将对应的音视频信号还原并送到数码显示终端。每个TMDS通道可以传输8位有效数据，3个TMDS通道就可以同时传输24位有效数据。对视频而言，每个像素点最高可以用24位来表示，点的传输速率最高可达165MHz．因此可以传输高清晰度的图像。音频信息也是通过TMDS通道传输，最高采样频率达192KHz。
DDC(Display Data Channel)通道建立了发送设备和显示终端之间的数据连接。发送设备通过它可以与显示终端通信，获得终端的相关参数，自动配置相应的传输格式。
CEC Line(Consumer Electronics 技术解析 Contr01)是为用户设置的高级HDMI设备控制线。它遵循CEC用户控制协议．可以实现单键播放、单键刻录及刻录时间控制等操作。CEC在HDMI接口中是可选协议。
HDCP(High．bandwidth Digital Content Protection)在HDMI发送器和接收器之间提供版权保护，系统需要在发送器和接收器两边都有HDCP的硬件．来实现保护功能。信源在数据传送之前需对数据进行HDCP的加密，接收器则需要一组密匙来开锁解密。
2. TMDS编码技术简介
HDMI协议和DVI协议一样，都是基于TMDS编码机理。TMDS(Transition Minimized Differential Signal最小变换差分信号)是DDWG的成员Silicon Imagine公司开发的．用于将图形数据送到显示器的技术，它通过异或及异或非等算法．将8位数据转换成10位，前8位数据由原始信号经运算后获得，第9位指示了运算的方式，第10位用来对应直流平衡(DC—balanced)。这种算法使得被传输信号过渡过程的上冲和下冲减小，直流信号也接近平衡。它以差分形式发送信号,信号的优化使信号对传输线的电磁干扰（EMI）减少，传送的数据也趋于直流平衡，另外这种先进的编码技术使数据在接收端能够得到可靠的恢复。因此通过TMDS传输，传输距离能够得到显著提高，HDMI传输线可以达到25m。
3. 视频音频传输原理
HDMI协议通过对视频信号、音频信号和控制信号的时分控制，实现了音视频的同时传输。下面以向电视机传输720×480p的图像信号和相应声音信号为例，解释其传输原理。HDMI的信号传输过程包括3个期间：视频数据传输期、岛屿数据传输期和控制数据传输期。如下图。

在视频数据传输期．HDMI数据线上传送视频象素信号。视频信号通过编码．生成3路共24位的TMDS数据流。HDMl支持多种方式的视频编码，通过对3个通道数据的合理分配，既可以传输RGB 4：4：4信号．也可以传输YCbCr
(4：2：2或4：4：4)信号。在信号源数据量太低时(如480i，传输速率只有13．5MHz)．HDMI还提供了点重复模式，从而使信号的传输速率不低于规定的25MHz。
在岛屿数据传输期，HDMI数据线上将出现音频数据和辅助数据(信息帧和场行同步信号)。该期间的数据采用TERC4(TMDS Error Reduction Coding)的编码方式，将4位数据转换成10位，如0000B转换成1010011100B表示．打包后送到3个TMDS通道。音频数据在接收端解码还原．以原来的采样频率重现。为了提高每个数据包的可靠性．及时检查出错误的数据，每个数据包中还含有经ECC(ErrorCorrection Code)运算后的校验位。协议规定，每个岛屿数据传输期，至少要传送1个数据包．最多18个数据包．每个数据包由包头、包体(包含4个子包)和校验位构成。在每两个视频数据传输期之间，至少要传送一个岛屿数据．这样可以保证音频数据有足够的传输速率。HDMl支持8声道的音频传输，将原来的8条线完全省掉，极大地方便了消费者。
在任意两个数据期之间是控制数据传输期，它用来传输文件头和场行同步控制信号。该期间传输6位数据，分别为HSYNC(行同步)、VSYNC(场同步)、CTLO、CTLl、CTL2、CTL3，采用2到10位的编码方式。每个TMDS传输2位有
效数据。CTL0、CTLl、CTL2、CTL3用来说明接下来的数据是视频数据还是岛屿数据，如表1。

二、 HDMI标准发展之路
1． HDMI接口类型
常见的HDMI类型有A、B、C三种类型。其中A型是标准的19针HDMI接口，普及率最高；B型接口尺寸稍大，但是有29个引脚，可以提供双TMDS传输通道。而C型接口和A型接口性能一致，但是体积较小，更加适合紧凑型便携设备使用。技术解析
2． HDMI标准演变
2002年2月，七家厂商成立HDMI Founders，共同开始着手制定HDMI标准。
2002年12月，HDMI1.0标准正是发布。
2004年5月，HDMI1.0标准的首个升级版HDMI 1.1标准发布，由于规格变化不大，没有引起广泛关注。
2005年8月，针对对PC领域设备支持不足的缺陷，HDMI 1.2发布。相比于之前的规格，HDMI 1.2版本增加了若干条非常重要的改进，在连接PC和数字音频时更加方便。
2005年12月，针对HDMI 1.2标准的修改版HDMI 1.2a发布，主要增加了可以利用一个遥控器控制多台电器的CEC功能，并且完善了各种HDMI设备的测试规则。
2006年5月，自HDMI标准推出以来，规格变更最大、指标最高的HDMI1.3标准正是亮相。在新的HDMI 1.3版本中，不仅带宽和数据传输速率增加了一倍，还加入了对xvYCC广色域、高bit色深以及更高HDTV/PC分辨率规格的支持。
3．HDMI收费模式
影音设备厂商们想要使用HDMI技术的话，就需要给HDMI Licensing公司支付相应的费用。而费用的构成也比较多，主要有以下几种收费项目。
1.每种使用HDMI的设备需要缴纳每年15，000美元的授权费，如果要加入HDCP功能，还需支付额外的15，000美元。对于HDCP功能，几乎很少有厂家会选择放弃，不然他们的产品将缺乏基本的竞争力。
2.为了保证装有HDMI接口的设备之间的兼容性，厂商们还需参加AUTHORIZED TESTING CENTER举办的HDMI ATC兼容性测试。针对不同的设备，收费如下：
1) 视频源设备（如DVD播放机）测试费: 7500美元一台；
2) 接收设备（如平板电视）测试费: 7500美元一台；
3) 多一个HDMI输出口: 2250美元；
4) 重测费用:视频源设备、接收设备、转发设备、线材最初分别是4500美元，4500美元，6600美元，1800美元；
3.每台用于商业化的设备，还需要单独缴纳15美分的专利费和4美分的HDCP专利费。如果使用HDMI的LOGO，每台设备还需交纳5美分。

汽油发动机GDI技术解析郑锡伟.pdf

维修技巧 Service Technic 汽油发动机GDI技术解析文/大连郑锡伟现今，大部分汽油发动机的燃料供丰田公司研制出一种G4型2.0L的来控制电动燃油泵，使低压燃油系统的油给方式一直都是采用“缸外混合”的方 GDI发动机，并已批量装车使用。随后，压达到50~500kPa，在冷启动时使低压式，也就是汽油通过喷油嘴喷到进气歧管又开发出1.6L、1.8L和2.0L的GDI发动燃油系统的压力可达650kPa。如果燃油中，在进气歧管内与新鲜的空气混合而成机。其D4型GDI发动机可降低油耗30％泵控制单元失效发动机将不能运转，电动为“混合汽”。在发动机汽缸进气门还没左右，提高功率约10％。燃油泵给高压泵供应压力约为600kPa的有打开之前，这些混合汽都储存在进气歧日本其他厂家也有多种GDI发动机上燃油。管内，直到气门打开后，混合汽才能够因市，如日产3.0L和2.5L的V6型发动机、 (2)高压系统为燃烧室的负压而进入到燃烧室内，然后富士重工2.5L的卧式对置4缸发动机、马高压系统由高压燃油泵、油压调节在活塞压缩行程的末端通过火花塞点燃剧自达2.0L的直列4缸发动机和本田1.0L的阀、油轨、压力限制阀、高压燃油压力传烈燃烧。这种“缸外混合”的缺点是显而直列3缸发动机。感器、高压喷射器(见图1)组成，燃油压易见的，进入燃烧室的混合汽只能够通过美国和欧洲的汽车厂家也都在积极力约为5~11MPa。气门的开闭来被动控制，对发动机不同工研究GDI技术和开发GDI产品，并使GDI 高压泵由凸轮轴驱动，经燃油计量况的适应程度还不理想，响应速度还不够发动机在热效率、功率及排放上有进一步阀建立压力，再经燃油分配管输送到高压快。而且喷油嘴离燃烧室有一定的距离，提高。喷油器上，压力缓冲器会吸收高压系统内汽油与空气的混合情况受进气气流的影响研究表明，GDI发动机可降低燃耗的压力波动。高压泵只提供喷射所需油量较大，并且微小的油颗粒会吸附在管道壁 8%~15%。因而，在全球节约能源的浪的燃油，供油时，发动机根据需要油量计上，不能充分利用。潮中，各汽车厂家都在积极深入研究GDI 算出柱塞泵的供油起始行程，燃油压力控直接喷射(Gasoline Direct Injection 发动机技术，纷纷在自己的车上装配GDI 制阀吸合切断进油阀，高压油泵将泵腔内缩写为GDI)则是如同柴油发动机一样将发动机。除日本和美国以外，大多数欧的燃油泵入油轨。燃油直接喷入汽缸，并以非常精确的方式洲汽车生产厂家也都开始装用GDI发动机 2.原理来控制，避免燃料浪费。缸内喷射发动机 (技术解析 1.4~2.0L)：奥迪公司的A3装备了新型 GDI发动机顾名思义是在汽缸内喷注采用了立式吸气口、弯曲顶面活塞、高压 GDI发动机，宝马公司为其12缸发动机引汽油，它将喷油嘴安装在燃烧室上方，将旋转喷油器等技术手段，产生与传统发动用了GDI技术，大众公司也有许多车型采汽油直接喷射在汽缸燃烧室内，空气则通机不同的缸内气流运动状态，使喷射入用了GDI发动机。过进气门进入燃烧室与汽油混合形成可燃汽缸的汽油与空气形成一种多层次的旋转纵观世界汽车产品技术的发展态混合汽被点燃做功，这种形式与直喷式柴涡流。缸内直接喷射(GDI)系统将燃油精势，GDI发动机正以其优异的性能得到日油机相似，如图2所示。确地喷射到汽缸燃烧室内，与进气管喷益广泛的重视和应用。 GDI汽油发动机的立式吸气口代替传射(PFI)系统

酶联免疫吸附试验

酶与抗体交联，常用戊二醛法和过碘酸盐氧化法。郭春祥建立的HRP标记抗体的改良过碘酸钠法简单易行，标记效果好，特别适用于实验室的小批量制备。其标记程序为：将5μg HRP溶于0.5ml蒸馏水中，加入新鲜配制的0.06 mol/L的过碘酸钠（NaIO4）水溶液0.5ml，混匀置4℃冰箱30分钟，取出加入0.16mol/L的乙二醇水溶液0.5ml，室温放置30分钟后加入含5g纯化抗体的水溶液1ml，混匀并装透析袋，以0.05mol/L、pH9.5的碳酸盐缓冲液于4℃冰箱中慢慢搅拌透析6小时（或过夜）使之结合，然后吸出，加硼氢化钠（NaBH4）溶液（5(g/ml)0.2ml，置4℃冰箱2小时，将上述结合物混合液加入等体积饱和硫酸铵溶液，置4℃冰箱30分钟后离心，将所得沉淀物溶于少许0.02mol/L、pH7.4PBS中，并对之透析过夜（4℃），次日离心除去不溶物，即得到酶标抗体，用0.02mol/L、pH7.4PBS稀至5ml，进行测定后，冷冻干燥或低温保存。

酶联免疫吸附试验效果测定

用于ELISA的结合物的酶量为400(g/ml时效果一般，为500(g/ml时效果较好，达 1000(g/ml时效果最好。mol.比值由于结合物中含的IgG并不完全可靠，所以不能作为主要参数。一般认为mol.比值为0.7时效果一般，1.0时效果较好，1.5-2.0时最好。酶结合率为 7%时效果一般，为9%－10%较好，达30%以上时最好。