一学就会 系列教程002 - dbt入门

一学就会 系列教程002 - dbt入门

作为一个合格的数据人,拥有过硬的ETL技术是大家的必备技能。ETL的方式,工具有很多,今天老徐就给大家介绍现在比较流行的一个工具:dbt。

dbt (Data Build Tool)就像是一个神奇的数据烹饪工具,它帮助你把原始的、不加工的数据变成有用、可理解、可消费的美食。

假设你是一个大厨,数据就是你的食材,dbt就是你的烹饪工具。你的食材可能来自各种地方,可能有新鲜的蔬菜(实时数据),也有冷冻肉(历史数据),甚至有些食材你可能不知道该怎么处理(比如非结构化数据)。你的目标是把这些食材烹饪成美味的菜肴,让你的客人(product team、data scientist或者其他数据用户)享用。

dbt就是帮助你实现这个目标的工具。它提供了各种强大的功能,让你可以灵活地处理各种食材。比如,你可以用dbt的数据转换功能来清洗食材,去掉不需要的部分;你可以用dbt的数据建模功能来烹饪食材,把原始数据变成有意义的报告或者分析;你甚至可以用dbt的测试功能来检查你的菜肴,确保它们的质量。

总的来说,dbt就像是一把瑞士军刀,无论你是想做简单的沙拉,还是复杂的五星级大餐,dbt都能帮你处理好。它使得数据的处理变得更加简单、高效,让你可以专注于做出最好的菜肴,而不用花太多时间在繁琐的预处理工作上。

不熟悉dbt的小伙伴可以参考dbt官网:

What is dbt?
dbt is a data transformation tool that enables data analysts and engineers to transform data in a cloud analytics warehouse.

教程分为三部分:

架设和准备Postgres数据库

一学就会 2-1 - 架设Postgres练习环境
大家好,我是老徐,之前的教程中我们已经成功的在本地假设好了本地的SQL Server,那么有了数据库了,希望小伙伴们已经开始练习自己的SQL技能了。 之前给大家介绍SQL Server是因为SQL Server自己的练习资源还有tutorial非常丰富。是非常好的起点。但是由于在Mac环境下连接SQL Server相对复杂,不一定适合所有初学者,所以老徐为了让大家都能够快速上手,这次我们就用Postgres作为服务器,学习使用dbt。 前言 作为一个合格的数据人,拥有过硬的ETL技术是大家的必备技能。ETL的方式,工具有很多,今天老徐就给大家介绍现在比较流行的一个工具:dbt。 db…

创建我们的第一个dbt项目

一学就会 2-2 建立我的第一个dbt项目
还没有把Postgres弄好的小伙伴请先参考老徐的上一个教程 一学就会 2-1 - 架设Postgres练习环境为了简化大家设置调试本地服务器,我们这次的教程引入PostgreSQL数据库。上次的SQL Server大家可以继续使用继续练习,大家也可以替换成PostgreSQL,这样dbt的setup部分就会简单很多。 老徐的教程会在Mac下面演示,由于每个人的电脑,环境都不太一样,很难保证教程适用于每个小伙伴,大家需要自己在学习过程中调整命令,设置,这里就不一一解答了。 需要用到的软件 (点击展开) VSCode:https://code.visualstudio.com/download…

使用dbt建立我们的第一个model

一学就会 2-3 让dbt开跑
上一次教程我们成功的建立了自己的第一个dbt项目并且测试了连接,还没有搞定的小伙伴请参考上一期教程 一学就会 2-2 建立我的第一个dbt项目还没有把Postgres弄好的小伙伴请先参考老徐的上一个教程 一学就会 2-1 - 架设Postgres练习环境为了简化大家设置调试本地服务器,我们这次的教程引入PostgreSQL数据库。上次的SQL Server大家可以继续使用继续练习,大家也可以替换成PostgreSQL,这样dbt的setup部分就会简单很多。 老徐的教程会在Mac下面演示,由于每个人的电脑,环境都不太一样,很难保证教程适用于每个小伙伴,大家需要自己在学习过程中调整命令,设置,…