一学就会 系列教程002 - dbt入门
作为一个合格的数据人,拥有过硬的ETL技术是大家的必备技能。ETL的方式,工具有很多,今天老徐就给大家介绍现在比较流行的一个工具:dbt。
dbt (Data Build Tool)就像是一个神奇的数据烹饪工具,它帮助你把原始的、不加工的数据变成有用、可理解、可消费的美食。
假设你是一个大厨,数据就是你的食材,dbt就是你的烹饪工具。你的食材可能来自各种地方,可能有新鲜的蔬菜(实时数据),也有冷冻肉(历史数据),甚至有些食材你可能不知道该怎么处理(比如非结构化数据)。你的目标是把这些食材烹饪成美味的菜肴,让你的客人(product team、data scientist或者其他数据用户)享用。
dbt就是帮助你实现这个目标的工具。它提供了各种强大的功能,让你可以灵活地处理各种食材。比如,你可以用dbt的数据转换功能来清洗食材,去掉不需要的部分;你可以用dbt的数据建模功能来烹饪食材,把原始数据变成有意义的报告或者分析;你甚至可以用dbt的测试功能来检查你的菜肴,确保它们的质量。
总的来说,dbt就像是一把瑞士军刀,无论你是想做简单的沙拉,还是复杂的五星级大餐,dbt都能帮你处理好。它使得数据的处理变得更加简单、高效,让你可以专注于做出最好的菜肴,而不用花太多时间在繁琐的预处理工作上。
不熟悉dbt的小伙伴可以参考dbt官网:
教程分为三部分:
架设和准备Postgres数据库
创建我们的第一个dbt项目
使用dbt建立我们的第一个model