Career Visa by AX

Career Visa by AX

Data Analytics Ideas, Tutorials, Random Thoughts

一学就会 2-3 让dbt开跑
Apple Silicon

一学就会 2-3 让dbt开跑

上一次教程我们成功的建立了自己的第一个dbt项目并且测试了连接,还没有搞定的小伙伴请参考上一期教程 一学就会 2-2 建立我的第一个dbt项目还没有把Postgres弄好的小伙伴请先参考老徐的上一个教程 一学就会 2-1 - 架设Postgres练习环境为了简化大家设置调试本地服务器,我们这次的教程引入PostgreSQL数据库。上次的SQL Server大家可以继续使用继续练习,大家也可以替换成PostgreSQL,这样dbt的setup部分就会简单很多。 老徐的教程会在Mac下面演示,由于每个人的电脑,环境都不太一样,很难保证教程适用于每个小伙伴,大家需要自己在学习过程中调整命令,设置,这里就不一一解答了。 需要用到的软件 (点击展开) VSCode:https://code.visualstudio.com/download…Career Visa by AXAllen Xu 现在,我们马上开启你的第一次dbt之旅。 还是上次的dbt_tutorial文件夹,大家可以把example文件夹和里面的文件都删除,这里不需要。 第一步,我们在models文件夹下建立一个新的文
12 min read
一学就会 2-2 建立我的第一个dbt项目
Apple Silicon

一学就会 2-2 建立我的第一个dbt项目

还没有把Postgres弄好的小伙伴请先参考老徐的上一个教程 一学就会 2-1 - 架设Postgres练习环境为了简化大家设置调试本地服务器,我们这次的教程引入PostgreSQL数据库。上次的SQL Server大家可以继续使用继续练习,大家也可以替换成PostgreSQL,这样dbt的setup部分就会简单很多。 老徐的教程会在Mac下面演示,由于每个人的电脑,环境都不太一样,很难保证教程适用于每个小伙伴,大家需要自己在学习过程中调整命令,设置,这里就不一一解答了。 需要用到的软件 (点击展开) VSCode:https://code.visualstudio.com/download 开发用的IDE DBeaver: https://dbeaver.io/download/ 连接数据库跑…Career Visa by AXAllen Xu 这次教程架设大家已经安装好了所有上一个教程中提到的软件,这边就不再复述了。 我们首先在任意一个位置建立一个文件夹作为我们的项目目录。然后安装相应的dbt包,我们这里使用的是Postgres的数据库,所以用pipenv/pip安装dbt-
6 min read
一学就会 系列教程002 - dbt入门
Apple Silicon Featured

一学就会 系列教程002 - dbt入门

作为一个合格的数据人,拥有过硬的ETL技术是大家的必备技能。ETL的方式,工具有很多,今天老徐就给大家介绍现在比较流行的一个工具:dbt。 dbt (Data Build Tool)就像是一个神奇的数据烹饪工具,它帮助你把原始的、不加工的数据变成有用、可理解、可消费的美食。 假设你是一个大厨,数据就是你的食材,dbt就是你的烹饪工具。你的食材可能来自各种地方,可能有新鲜的蔬菜(实时数据),也有冷冻肉(历史数据),甚至有些食材你可能不知道该怎么处理(比如非结构化数据)。你的目标是把这些食材烹饪成美味的菜肴,让你的客人(product team、data scientist或者其他数据用户)享用。 dbt就是帮助你实现这个目标的工具。它提供了各种强大的功能,让你可以灵活地处理各种食材。比如,你可以用dbt的数据转换功能来清洗食材,去掉不需要的部分;你可以用dbt的数据建模功能来烹饪食材,把原始数据变成有意义的报告或者分析;你甚至可以用dbt的测试功能来检查你的菜肴,确保它们的质量。 总的来说,dbt就像是一把瑞士军刀,无论你是想做简单的沙拉,还是复杂的五星级大餐,dbt都能帮你处理
6 min read
一学就会 2-1 - 架设Postgres练习环境
Apple Silicon

一学就会 2-1 - 架设Postgres练习环境

为了简化大家设置调试本地服务器,我们这次的教程引入PostgreSQL数据库。上次的SQL Server大家可以继续使用继续练习,大家也可以替换成PostgreSQL,这样dbt的setup部分就会简单很多。 老徐的教程会在Mac下面演示,由于每个人的电脑,环境都不太一样,很难保证教程适用于每个小伙伴,大家需要自己在学习过程中调整命令,设置,这里就不一一解答了。 需要用到的软件 (点击展开) VSCode:https://code.visualstudio.com/download 开发用的IDE DBeaver: https://dbeaver.io/download/ 连接数据库跑SQL 不是必需的,但是强烈推荐使用。本教程也会使用到相应的功能。 homebrew:https://docs.brew.sh/Installation 一个软件管理器 Pyenv:https://github.com/pyenv/pyenv 可以下来和管理多个Python环境。可以用homebrew安装,参考这里 pipenv:https://pipenv.
6 min read
一学就会 系列教程001 - Mac也有SQL Server用
Apple Silicon Featured

一学就会 系列教程001 - Mac也有SQL Server用

小伙伴们大家好,之前网站出现了一些问题,造成数据丢失,只能重新做一次教程。 老徐创造的《一学就会》系列目的是为了给大家一个简单的方式开始自己的数据旅程。数据这个大类其实分很多不同的侧重,比如Data Engineering,Data Science,Data Analytics和Business Intelligence。很多小伙伴都会在工作中做不止一项工作,所以教程会包括不同的内容,目的是为了让大家能够顺利的入门。至于深入的分析,培养大家的Business Accumen,这个还需要在工作和日常学习中积累。 为了让大家能够都跟得上,学得会,老徐拆分成了3个部分: 一学就会 1-1 - Mac安装Docker首先,我们在下面这个网页里面下载自己系统对应的Docker版本: Get DockerDownload and install Docker on the platform of your choice, including Mac, Linux, or Windows.Docker Documentation 使用Mac的小伙伴拖进去Applications文件夹就好了。
3 min read
一学就会 1-3 - 导入AdventureWorks
Apple Silicon

一学就会 1-3 - 导入AdventureWorks

还没有把服务器加起来的小伙伴,可以看一下前两个教程: Mac安装Docker参考: 一学就会 1-1 Mac安装Docker首先,我们在下面这个网页里面下载自己系统对应的Docker版本: Get DockerDownload and install Docker on the platform of your choice, including Mac, Linux, or Windows.Docker Documentation 使用Mac的小伙伴拖进去Applications文件夹就好了。 打开Docker,等待窗口左下角那一条变成绿色就证明Docker已经在运行了 现在测试一下Docker,可以打开terminal,输入以下指令,在Containers下面看看能不能运行起来 docker run…Career Visa by AXAllen Xu 架设SQL Edge服务器参考: 一学就会 1-2 - 架设Azure SQL Edge服务器还没有安装好Docker的小伙伴可以参考上一篇教程。 一学就会 1-1 Mac安装Docker⬇
5 min read
一学就会 1-2 - 架设Azure SQL Edge服务器
Mac

一学就会 1-2 - 架设Azure SQL Edge服务器

还没有安装好Docker的小伙伴可以参考上一篇教程。 一学就会 1-1 Mac安装Docker⬇️首先下载自己系统对应版本的Docker并且安装:https://docs.docker.com/get-docker/ 使用Mac的小伙伴拖进去Applications文件夹就好了。 打开Docker,等待窗口左下角那一条变成绿色就证明Docker已经在运行了 现在测试一下Docker,可以打开terminal,输入以下指令,在Containers下面看看能不能运行起来 docker run -d -p 80:80 docker/getting-started 如果Status是Running就证明成功了Career Visa by AXAllen Xu 那么Docker安装测试成功以后,我们就可以开始动手建立自己的服务器了。由于SQL Server只能安装和运行在Windows平台下,造成很多不使用Win电脑的小伙伴没有太多机会练习,所以今天我们就来架设一个SQL Server的平替,叫做Azure SQL Edge,这个服务器可以假设在包括M1/M2平台的Mac上面。喜欢看视频
5 min read
一学就会 1-1 - Mac安装Docker
Mac

一学就会 1-1 - Mac安装Docker

首先,我们在下面这个网页里面下载自己系统对应的Docker版本: Get DockerDownload and install Docker on the platform of your choice, including Mac, Linux, or Windows.Docker Documentation 使用Mac的小伙伴拖进去Applications文件夹就好了。 打开Docker,等待窗口左下角那一条变成绿色就证明Docker已经在运行了 现在测试一下Docker,可以打开terminal,输入以下指令,在Containers下面看看能不能运行起来 docker run -d -p 80:80 docker/getting-started 如果Status是Running就证明成功了 下一篇,部署本地服务器 一学就会 1-2 - 架设Azure SQL Edge服务器还没有安装好Docker的小伙伴可以参考上一篇教程。 一学就会 1-1 Mac安装Docker⬇️首先下载自己系统对应版本的Docker并且安装:https://docs.
2 min read