导读：跟着数据量的爆炸性增长，当代企业在数据存储、处理与分析上濒临盛大挑战。在 IT 架构中，数据仓库承担着企业中要道的数据存储和分析任务，要是不行高效运作，必将导致资本飙升和决策效率低下。因此数据仓库的降本增效是企业IT部门延续的命题。

看成面向及时数据处理的器具，OLAP（联机分析处理）系统能匡助企业充分挖掘数据价值、扶植决策。然则，OLAP 在追求高效数据分析的同期，往往难以均衡资本与效率矛盾。

快节律的生意环境要求 OLAP 系统在保证数据准确性的前提下，尽可能驳斥数据处理和分析的期间。但高效的数据处理往往伴跟着更复杂的系统架构和更高的资源耗费，企业需要干涉荣华的狡计资源、干事器、存储资源等硬件资本以及大齐算法优化、运维、迁徙等软性资本。

01 问题与挑战

企业使用一款数据仓库居品，资本项不错辞别显性资本与隐性资本：

1. 显性资本挑战

硬件资本：代表了部署数据仓库软件的所需的硬件资本，包括狡计资源资本（CPU）与存储资源资本（磁盘、存储集群）。毫无疑问数据仓库触及 TB 以致 PB 级数据的存储与分析，对硬件的要求颇高。

性能资本：单元能效不高，导致在完成任务或处理数据时，需要配备更多的资源以弥补这一不及。一方面，在狡计能效上，需要加多更多的高性能狡计单元或优化现存的狡计武艺，以确保在合理的期间内完成复杂的狡计任务，幸免处理速率的滞后；另一方面在存储能效上，需要部署更大容量的存储修复以叮嘱日益增长的数据量，同期减少能耗，提高数据存储和检索的效率。

2. 隐性资本挑战

运维资本：代表了运维数据仓库的东说念主力与期间资本。

数据仓库看成极其复杂的软件居品，对运维东说念主员的专科要乞降元气心灵耗费自身极高。要是在数据系统中运行多款组件，如 ClickHouse、Elasticsearch、GreenPlum... 则会让复杂性指数级加多，运维东说念主员的妙技要求也指数级加多。

迁徙资本：代表了从旧的数据仓库或分析型数据库迁徙到 ByteHouse 的东说念主力与期间资本；

数据仓库之前的语法，架构各异时时极大，搬迁数据难于搬家，带来了极高的替换资本。

02 措置决策

1. 对于 ByteHouse

ByteHouse 是火山引擎数智平台VeDI旗下的一款云原生数仓居品，以 ClickHouse 手艺途径为基础，从 2017 年里面立项初始，截止到 2022 年 3 月，ByteHouse 节点总和也曾达到了 18，000，最大的行径分析集群杰出了 2，400 个节点，数据量杰出 700PB。

ByteHouse 在架构上解任新一代云原生理念，终显着容器化、存储狡计分离、多田户照应和读写分离等功能，同期撑持及时数据分析和海量数据离线分析，尤其对高费解、高并发、复杂查询等多种及时数据分析场景进行优化，能为用户提供极速分析体验。

ByteHouse 具备存储、狡计分离，高弹性扩展的特质，其狡计层接纳 Shared-nothing 架构，存储层接纳 Shared-everything 架构，能更好地赈济狡计和存储层的水平扩展。基于 ByteHouse 高性能的及时数据分析决策武艺，数据从导入到分析决策仅需几秒，99% 的查询齐能取得秒级保险。除了高可用的基础武艺，ByteHouse 还提供免托管运维干事，包括丰富的集群照应器具、全面的系统监控武艺，匡助企业自负了解业务气象，让故障排查与问题会诊变得浅近。

2. 四招直击“降本之痛”

云原生数据仓库 ByteHouse 在架构、手艺、生态、交融四个方面上均能带来红利，能权臣地驳斥显性资本与隐性资本。通过引入像 ByteHouse 这么“能省钱”的云原生数据库，企业大要在赈济大范围数据查询的同期，有用收尾硬件资本、迁徙资本与运维资本的干涉，晋升系统性能，终了数据驱动的业务增长。

架构红利：ByteHouse 接纳私有的存算分离架构，终显着资源的高效讹诈和生动扩展。这一架构措置了传统数据仓库在狡计和存储资源上的紧耦合问题，使企业大要凭据施行需求零丁扩展狡计或存储资源，从而幸免了资源耗费。

手艺红利：在狡计层面，ByteHouse 自研的查询优化器晋升了多表查询性能，点查优化手艺则提高了系统的并发性能。在存储层面，通过分享对象存储、存储分级、数据压缩等极致优化，ByteHouse 进一步驳斥了存储资本。

生态红利：ByteHouse 赈济丰富的凹凸游生态，包括数据导入、加工器具、颐养器具、BI 器具以及谈话 Driver 和开导器具等。同期，与 ClickHouse、MySQL 生态透顶兼容，驳斥了用户数据迁徙的门槛和额外资本。

交融红利：ByteHouse 交融了及时查询、团员查询、东说念主群圈选、文本检索等各类场景，简化了企业的手艺栈照应，驳斥了运维资本。此外，在湖仓交融方面，ByteHouse 赈济业界常见数据湖的外在引导神情，能终了多种外在和 ByteHouse 内表的联邦查询，进一步提高了分析效率并驳斥了数据冗孑遗储和转化资本。

03 架构红利

起初，ByteHouse 赈济存算分离架构，亦然让 ByteHouse“更省钱”的进军原因，存算分离通过更高效的资源分拨和生动的扩展神情，匡助企业在数据照应和狡计任务中有用收尾资源资本并晋升效率。

1. 资源讹诈率的瓶颈

传统的数据仓库时时使用无分享（shared-nothing）的架构，使得狡计资源和存储资源是紧耦合的，因此集群时狡计和存储资源的配比和容量就也曾固定，无法赈济二者零丁扩缩容。这就意味着狡计与存储必有一项存在资源耗费情况。

举例，当业务不需要太多狡计资源，但存储的数据量激增，也需要新购大齐干事器；另一些情况下，一些集群的存储资源冗余，但 CPU 讹诈率很高，用户的查询体验差；且上述两种情况无法分享 CPU 与存储资源，收尾便是资源成倍耗费。

同期，传统的架构面对狡计资源岑岭低谷，比如举例早上查询业务岑岭期，夜间ETL任务岑岭期，只可通过生硬的羼杂部署神情来叮嘱；这种神情不够生动，同期也可能会发生夜晚ETL任务未完成，影响上昼业务的情况，从而导致连环影响。

恰是基于上述痛点，ByteHouse 研发了存算分离的云原生新架构。

狡计和存储分离架构

如上图所示，狡计节点（VW）与数据存储（Data Storage）是清贫的。从狡计节点的角度来看，他们将看到一个全局分享的数据池，即数据存储层。这意味着该池中的所稀疏据齐不错跨所有狡计资源分享。

接纳这种存算分离架构架构具有三大上风：

生动的伸缩武艺，因为狡计资源和存储是分离的，它们不错凭据需求，对狡计或存储资源零丁扩展。

无限的可扩展性。由于数据是在存储层中分享的，表面上不错横向扩展以讹诈尽可能多的狡计资源。

对于集群照应者来说愈加友好，因为他们不需要惦念数据一致性、数据副本和数据收费问题；所有这些齐不错请托给云干事提供的数据存储层来终了，如对象存储或 HDFS。

2. 基于存算分离的要道本性

1. 狡计清贫，按需购买

弹性战略叮嘱各类业务场景：当您领有多个狡计组资源，每个狡计组资源叮嘱不同行务；当责任负载各不疏导期，用户不错凭据业务场景针对不同的狡计组缔造不同的战略；

2. 弹性计费，自动启停

ByteHouse 狡计组自动启寝兵略，匡助用户量入计出 ～20%+ 资本：当 VW 简洁杰出 5 分钟时，自动启停 会自动关闭集群，VW 在关闭期间不会产生任何用度。

3. 按需扩展，无损弹性

弹性扩展，生动自动：凭据期间，资源负载等条款进行扩容/缩容建设；收缩手动照应的职守，晋升资源讹诈率。

量入计出资本：凭据施行业务需求生动诊疗狡计资源范围，无需提前购买全部资源。

04 手艺红利

存算分离决定了全体架构的高效率，低资本。

但真切“存”和“算”的畛域，ByteHouse 仍然有颠倒多的极致的手艺优化，让所有这个词数据仓库“省上加省”。

1. 狡计手艺上风

凭据 ByteHouse 性能白皮书的范例数据集性能参考，ByteHouse 性能比开源的 ClickHouse 强 40%-50%。性能晋升意味着在疏导的查询单元算力下，ByteHouse 需要的算节点数目的减少，因此能带来资本的等比例驳斥。

（如上图，开源 ClickHouse 在 TPC-DS 99 条查询中只可跑出 28 条 SQL，而 ByteHouse 能跑出 99 条，同期 ByteHouse 每一条齐更快）

假定在面前业务需求下，ClickHouse 需要 100 个节点来处理逐日的数据量。使用 ByteHouse 后，由于性能的晋升，可能只需要 60-70 个节点。

那为何 ByteHouse 的性能如斯建壮？有以下两个要道手艺点：

（1）多表查询性能优化

起初，ByteHouse 自研了查询优化器，使得多表查询性能出众。

ByteHouse 的查询优化器同期基于 CBO（基于代价优化） 与 RBO（基于步骤优化）：

语法赈济：ClickHouse/ANSI/MySQL；

Join 优化：Join-Reorder，bucket join，Runtime filter ；

Filter 下推：多层嵌套下推。赈济下推 join 子查询；

分散式策划优化：将这单机版策划和分散式策划两个阶段交融在一齐，在所有这个词 CBO 寻求更优解的经过中寻求更优解。

（2）点查性能优化

其次，ByteHouse 赈济多种点查优化手艺，晋升了全体系统的并发性能：

赈济事先注册查询模板，幸免对模版 sql 的分析和优化的支拨；

赈济使用 unique 引擎生成的内存中唯独键索引；

优化 TopN 类型 SQL 形式（select column from {} where condition order by column limit 10; ），使数据读取量更少，查询更快：

2. 存储手艺上风

（1）对象存储，优化资本

ByteHouse 的存储层基于分享对象存储，存储资本下落 10 倍；

资源按需计费，存储资源无限容量且弹性扩缩。

（2）存储分级，温冷清贫

温数据使用对象存储范例规格存储，冷数据使用对象存储深度存档规格存储；

温冷分层，存储资本进一步驳斥 2~5 倍；

（3）数据压缩，极致优化

ByteHouse 赈济 LZ4、ZSTD 等高效压缩算法，基于压缩算法下的存储资本再次驳斥75%+；

05 生态红利

行业上有这么的说法，“客户价值=新址品价值-老居品价值-迁徙资本”。可见迁徙资本对于居品遴荐是如斯的进军，数据仓库这类重型居品，无论居品的架构、手艺若何优秀，迁徙资本是否弥散低，仍然是能否弥散“省钱”的中枢考量。

ByteHouse 搬迁 ClickHouse 生态、MySQL 生态齐颠倒丝滑，将迁徙资本降到最低。同期 ByteHouse 自身凹凸游生态丰富，易于集成进现存的坐蓐系统。

1. 多元化生态

ByteHouse 赈济丰富的凹凸游生态，包含各类数据导入加工器具，如 Flink，Spark，DataX，DataSail；各类颐养器具，如 Airflow，DophinScheduler，各类 BI 器具，如 Superset，Tableau，FineBI，DataWind，各谈话 Driver，各类开导器具等等。便捷集成进每一个现存系统。

2. ClickHouse 生态兼容

ByteHouse 与 ClickHouse 23.3 主流的版块的语法、函数、客户端、驱动均兼容，恒指期货况且赈济 ClickHouse->ByteHouse 的迁徙器具，替换资本极低；

有诸多客户通过 ByteHouse 大范围替换了开源居品。举例在某头部股份制银行，已通过器具替换了杰出 200 个节点的 ClickHouse。

3. MySQL 生态兼容

MySQL 是市面上分析型数据库的粗拙兼容的一种语法之一。ByteHouse 原生兼容各类 SQL 语法，也自研赈济了 90% 的 MySQL 语法，因此，从 MySQL 生态的数据库、数据仓库搬栈到 ByteHouse，现成 SQL 的改变量少，体验丝滑；

同期，ByteHouse 赈济 Zero-ETL 的武艺，不错将 MySQL 坐蓐库的数据通过 Binlog 及时同步到 ByteHouse，全体数据延伸在分钟级别，终了 AP-TP 的一体化。

06 交融红利

分析型数据库有一个须生常谭的问题：

各类手艺栈琳琅满目，各有长处，如 ClickHouse 善于宽表查询，HBase 善于点查，Kylin 善于集聚狡计，ES 善于措置文分内析，还有 Presto，SparkSQL，Impala 等各类用于分析的组件。

为了措置各类的分析问题，从而遴荐各类的底层手艺栈，进而导致的热心资本激增。

ByteHouse 的武艺全面，少有短板；因此，不错看成一个 All in One 的大一统云原生数仓，交融各类使用场景。

1. 多手艺栈交融

字节向上在很多年前就碰到了上述问题。其时面对上亿的行径日记分析，业务建议了及时数据、离线数据、明细查询等业务需求，当先的措置决策是接纳了 Druid，Apache Kylin，SparkSQL，Redis 比物丑类措置各个问题，但带来了各类手艺栈的学习资本，热心数据一致性的资本，另外部分手艺栈如 Apache Kylin，SparkSQL 稀疏据扩张问题，资源资本自身就很高。

如今，ByteHouse 的查询分析武艺也曾隐蔽及时查询，团员查询，东说念主群圈选，文本检索，向量检索，地舆检索等，且多场景下齐比开源更快。为多种不同行务场景提供了一致的使用体验。

2. 和洽运维

交融手艺栈后，不仅意味着丰富的场景下，只需要运维 ByteHouse 一种手艺栈，那也只需要学习一套常识体系，一种优化设施，一套排障战略。

同期，ByteHouse 提供完善的自动化与可视化运维武艺，比如大查询会诊，集群健康神情盘，Schema 智能保举器具，自动化扩容器具等，进一步驳斥运维资本。这就意味着在照应数据库集群时，不再需要特地的 DBA 团队来真切相识开源居品的旨趣，才能用好 ByteHouse。

对于 ByteHouse 的使用者而言，ByteHouse 能通过完善的居品运维体系，群众团队延续提供专科的居品运维建议，能大幅驳斥客户的东说念主力资本。

3. 湖仓交融

Databricks 等手艺公司于 2017 年头度建议了“湖仓一体”的主见，并在之后冉冉取得粗拙招揽。湖仓一体架构的标的是将数据湖的生动存储与数据仓库的高效查询和照应功能聚积起来，提供一种和洽的架构，既能赈济大范围数据存储，也能赈济高性能数据分析。

湖仓一体架构不仅能提高分析效率，减少多分数据带来的不一致问题。同期也大要减少数据的冗孑遗储和转化资本，还不错驳斥企业热心多个系统的运维资本。

ByteHouse 也鼎力干涉了湖仓一体，起初 ByteHouse 赈济业界常见数据湖的外在引导神情，包括 Hive，Hudi，Paimon，Iceberg（Q4），终了多种外在和 ByteHouse 内表的联邦查询；

其次，面对外在分析性能有限的问题，ByteHouse 也赈济 Zero-ETL 手艺，行将数据湖中的数据通过耗损视图，自动同步到数仓中，终了透明加快。由优化器来辨识径直查询外在，照旧查询仓内也曾落地的内表数据，这么更增进了湖仓查询体验的一致性。

湖仓交融也不错合计是 ByteHouse 存算分离架构的延续和扩展，不仅延续了存算分离在弹性和资本方面的上风，还在和洽数据处理和扩展性方面作念出了进一步的晋升，成为当代数据处理架构中进军的一环。

07 案例实践

1. 抖音集团告白集群上云业务：QPS 晋升 35%，资本驳斥 60%

业务布景：

抖音集团原先接纳物理机看成其里面基础武艺，具有低软件冗余的上风。然则，在构建表层 ByteHouse 系统时，为了知够数据高可用性的需求，需要零丁斟酌并执行数据副本战略，这径直导致了存储资源的双倍使用。面对这一挑战，抖音集团决定接纳存算分离的架构进行优化，并随后决定将其业务系统上云。

措置决策：

上云后，抖音集团基于 ByteHouse 对象存储看成底层存储措置决策。对象存储自身具备高可用性和数据冗余本性，即底层自动存储三份数据副本，以确保数据的长久性和可靠性。这一本性使得表层软件层无需再额外建设数据副本，从而简化了系统架构，减少了分片数和副本数。此外，尽管云上的诬捏机相对于物理机在单机资本（TCO）上可能略高，但云环境的弹性扩展、按需付费以及运维简化等上风为全体资本量入计出提供了可能。

最终成果：

通过 ByteHouse 存算分离架构和接纳对象存储，抖音集团最终将全体资本驳斥了 60%。此外，优化后的架构还提高了系统的生动性和可扩展性，让业务 QPS 晋升了 35%。

2. 抖音集团行径分析业务：仅需运维 1 套系统，100T 数据查询只须 5 秒

业务布景：

在面前的数据生态中，存在多种开源数据措置决策，如 ClickHouse、Doris、Apache Kylin 等，各自擅长不同的分析场景。这种各类性也带来了“烟囱林立”的问题，即每个措置决策齐像一座零丁的烟囱，道不相谋，衰退和洽的照应和整合。这导致使用者需要练习多种不同的 SQL 语法和手艺栈，而运维团队则濒临更大的挑战，他们需要掌持多种手艺栈的性能优化和问题排查设施。

在抖音集团里面，时时会用行径分析来赈济其业务决策，包括用户行径转化分析、行径流图分析等，这些分析需要处理大齐的及时和离线数据。然则，由于之前使用了多种不同的开源架构来措置这些问题，如 Druid 用于及时期析、Apache Kylin、Spark SQL 用于离线分析、Hbase 则用于明细查询。这些架构不仅存在各自的瓶颈，无法全面知足需求，且全体运维支拨盛大。

措置决策：

迁徙到 ByteHouse 之后，由于 ByteHouse 能赈济及时数据消费，并具备建壮的查询武艺，同期赈济多个不同的查询维度，最多能达到 1000 列，大大杰出了之前使用的任何单一架构。

此外，ByteHouse 还提供了很多器具来匡助运维团队进行监控、集群照应、SQL 优化等。这些器具使得运维团队大要更高效地照应大齐的集群和干事器，同期驳斥了对东说念主力干涉的需求。

最终成果：

起初，ByteHouse 在性能方面说明出色，在 100TB 级别的数据量基础上，90% 的查询齐能在 5 秒钟阁下完成。

其次，迁徙到 ByteHouse 后，抖音集团将原来的 4 套系统整合为 1 套系统，大大驳斥了运维团队的责任量和复杂度。运维团队不再需要练习多种不同的手艺栈和 SQL 语法，只需要掌持 ByteHouse 即可，提高运维效率，驳斥运维资本。

临了，ByteHouse 提供的器具使得运维团队大要更高效照应大齐的集群和干事器。在抖音集团里面，SRE 团队唯有 5 个东说念主，但共同照应了 400 个集群和 18000 台干事器，大大晋升东说念主效。

3. 某头部游戏企业迁徙案例：QPS 晋升 200%，资本驳斥 30%

业务布景：

某头部游戏厂商原先使用其他云干事商的数据分析居品，但在濒临业务增长和数据分析需求晋升的布景下，无法知足性能和资本的需求，因而决定迁徙到火山引擎 ByteHouse。

措置决策：

迁徙前，该头部游戏厂商在云平台上部署了 896 个 CPU core，并发峰值仅能达到 15 万。迁徙至火山引擎后，该游戏厂商接纳了更为高效和生动的 ByteHouse 措置决策，收成于架构优化和高效处理武艺，仅需 640 个 CPU 中枢就能终了更高的并发处理武艺，峰值并发量达到了 30 万。

此外，基于 ByteHouse 弹性伸缩武艺，在寒暑假等岑岭期，该头部游戏厂商不错自负扩容到 640 核以知足业务需求；而在非岑岭期，则不错缩容到 320 核，以保管与原云平台疏导的 15 万并发峰值，同期驳斥资本。

最终成果：

通过迁徙到火山引擎 ByteHouse，该游戏厂商不仅终显着资本的驳斥，还权臣晋升了数据处感性能。这种弹性使用的神情不仅知足了业务岑岭期的需求，还在非岑岭期有用量入计出了资源资本，在干事器核数减少 30% 情况下，并发性能晋升 2 倍。

08 结语

ByteHouse 通过私有的存算分离架构、自研的查询优化器以及存储层面的极致优化，为企业带来了权臣的“架构红利”和“手艺红利”。这些红利不仅体当今资源资本的大幅驳斥上，更为企业晋升了数据处理和分析效率。同期，ByteHouse 丰富的生态兼容性和建壮的“交融红利”，进一步简化了企业的手艺栈照应，驳斥了运维资本，并为企业提供了愈加丰富和一体化的使用体验。

改日，ByteHouse 将络续聚焦降本增效，匡助更多企业加快数字化转型，终了数据驱动下的业务增长。

• 若何
• 抖音
• 集团
• 巧用
• 数仓