将 Amazon Redshift 从 DC2 迁移到 RA3，以满足日益增长的数据量和分析需求 大

从 DC2 迁移到 RA3 的 Amazon Redshift 以应对数据量和分析需求的增长

关键要点

本文由 Valdiney Gomes、Hlio Leal、Flvia Lima 和 Fernando Saga 从 Dafiti 提供。

随着企业努力做出明智的决策，生成和分析所需的数据量正以指数级增长。作为一个电商公司，Dafiti 深知利用数据推动战略决策的重要性。面对日益增加的数据量，Dafiti 必须有效管理并提取有价值的见解，以便在竞争中占据优势。

Amazon Redshift 是 Dafiti 数据分析的主要工具，每天支持来自 400 多名用户的约 100000 次查询。这些查询包括数据提取、转换和加载ETL，以及数据提取、加载和转换ELT过程和一次性分析。Dafiti 的数据基础架构高度依赖 ETL 和 ELT 过程，每天平均运行约 2500 个独特过程。这些过程从大约 90 个不同的数据源中提取数据，更新了约 2000 个数据仓库表和 3000 个 Parquet 格式的外部表，后者通过 Amazon Redshift Spectrum 和 Amazon Simple Storage Service (Amazon S3) 访问。

随着存储需求的增长，以及新Amazon Redshift 节点类型提供的托管存储、数据共享和零 ETL 集成等功能，我们决定从 DC2 节点迁移到 RA3 节点。

在这篇文章中，我们将分享我们的迁移过程，并提供我们经验的更多印象。

Dafiti 的 Amazon Redshift

Amazon Redshift 是一项完全托管的数据仓库服务，自 2017 年起被 Dafiti 采用。自那时起，我们经历了多次创新，并经过三种不同的节点类型。起初我们使用 115 个 dc2large 节点，随着 Redshift Spectrum 的推出以及冷数据迁移到数据湖，我们的架构得到了显著改善，迁移至四个 dc28xlarge 节点。RA3 引入了许多功能，使我们能够独立扩展计算和存储。这使我们目前在生产环境中有八个 ra34xlarge 节点，而开发环境中则有一个 ra3xlplus 集群。

考虑到我们的场景，面临着众多数据源和大量实时生成的新数据，我们遇到了一项挑战：我们集群中可用的 10 TB 存储不足以满足需求。虽然目前大部分数据存储在数据湖中，但数据仓库中仍需更多存储空间。RA3 节点的出现解决了这一问题，能够独立扩展计算和存储。此外，通过零 ETL，我们简化了数据管道，几乎实时地从 Amazon Relational Database Service (Amazon RDS) 实例中摄取大量数据，同时数据共享使得我们可以采用数据网格方法。

迁移至 RA3 的过程

我们迁移的第一步是了解新集群应如何进行配置；为此，AWS 提供了一份推荐表。

根据我们四个 dc28xlarge 节点的集群配置，建议我们切换到 ra34xlarge。

此时，一个顾虑是关于 vCPU 和内存的减少。在 DC2 中，我们的四个节点提供了总计 128 个 vCPU 和 976 GiB；而在 RA3 中，即使是八个节点，这些值降至 96 个 vCPU 和 768 GiB。然而，性能却得到了提升，工作负载处理速度普遍提高了 40。

AWS 提供了 Redshift Test Drive 来验证所选择的 Amazon Redshift 配置是否适合您的工作负载。在 Dafiti，鉴于我们的工作负载特点，灵活性很大，因此我们无需使用 Redshift Test Drive。

我们的迁移过程如下：

以下图解显示了迁移架构。

在迁移过程中，我们确定了一些检查点，以便在出现意外情况时进行回滚。第一个检查点是在步骤 3，如果用户查询的性能下降，则会回滚。第二个检查点是在步骤 4，如果 ETL 和 ELT 过程出现错误，或与 DC2 收集的流程指标相比性能下降。在这两种情况下，回滚将通过更改 DNS 再次指向 DC2 进行，因为在定义的维护窗口内仍然可以重建所有流程。

结果

RA3 系列引入的众多功能使我们能够独立扩展并支付计算和存储费用，这在 Dafiti 改变了游戏规则。以前，我们的集群表现如预期，但存储受到限制，要求我们每日维护以控制磁盘空间。

RA3 节点表现更佳，工作负载整体运行速度提高了 40。这显著缩短了我们关键数据分析过程的交付时间。

在迁移后几天，这种改进更加明显，因为 Amazon Redshift 能够优化缓存、统计信息，并应用性能建议。此外，Amazon Redshift 能通过 Amazon Redshift Advisor 推荐 为我们的集群优化提供建议，并提供 自动表优化，这在实现顺利过渡方面发挥了关键作用。

更重要的是，存储容量从 10 TB 跃升至多个 PB，解决了 Dafiti 面对的主要挑战应对不断增长的数据量。存储能力的显著提升，加上意想不到的性能增强，证明了迁移到 RA3 节点是一个成功的战略决策，满足了 Dafiti 不断发展的数据基础设施需求。

自迁移以来，我们一直在利用数据共享，在生产和开发环境之间共享数据，但自然的发展是通过这一资源让 Dafiti 实现数据网格。我们的一个限制是需要激活区分大小写，这对于数据共享是一个前提条件，迫使我们更改一些损坏的流程。然而，相比于我们从迁移 RA3 中获得的益处，这些都是微不足道的。

结论

在这篇文章中，我们讨论了 Dafiti 如何处理迁移至 Redshift RA3 节点，以及此次迁移所带来的好处。

想了解更多关于 Dafiti 在数据领域的工作吗？可以查看以下资源：

Dafiti 如何使 Amazon QuickSight 成为其主要的数据可视化工具2022 年 AWS Summit SP Dafiti， 在 AWS 上启用数据驱动的公司成功案例：Dafiti 节省 70 的成本，利用 AWS 云数据优化决策

这篇文章的内容和观点均属于 Dafiti 的作者，AWS 对本文的内容或准确性不承担任何责任。

作者介绍

Valdiney Gomes 是 Dafiti 的数据工程协调员。他在软件工程领域工作多年，随后转向数据工程，目前负责领导 Dafiti 拉丁美洲的数据平台团队。

Hlio Leal 是 Dafiti 的数据工程专家，负责维护和发展 Dafiti 使用 AWS 解决方案的数据平台。

Flvia Lima 是 Dafiti 的数据工程师，负责维护数据平台，并为内部客户提供来自多个来源的数据。

Fernando Saga 是 Dafiti 的数据工程师，负责维护 Dafiti 使用 AWS 解决方案的数据平台。