添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

dbt (Data Build Tool) 是一種開放原始碼架構,可簡化資料轉換和分析工程。 其著重于分析層內的 SQL 型轉換,並將 SQL 視為程式碼。 dbt 支援版本控制、模組化、測試和檔。

Microsoft Fabric 的 dbt 配接器可用來建立 dbt 專案,然後部署至 Fabric Synapse Data Warehouse。

您也可以直接變更配接器來變更 dbt 專案的目標平臺;例如;針對 Azure Synapse專用 SQL 集 區建置的專案可以在幾秒鐘內升級至 網狀架構 Synapse Data Warehouse

Microsoft Fabric dbt 配接器的必要條件

請遵循這份清單來安裝和設定 dbt 必要條件:

  • Python 3.7 版 (或更高版本)

  • Microsoft ODBC Driver for SQL Server

  • 使用 從 PyPI (Python 套件索引) 存放庫的最新版本 dbt-fabric 配接器 pip install dbt-fabric

    pip install dbt-fabric
    

    藉由變更 pip install dbt-fabricpip install dbt-synapse 並使用下列指示,您可以 安裝 Synapse 專用 SQL 集區的 dbt 配接器

  • 請務必使用 pip list 命令來確認已安裝 dbt-fabric 及其相依性:

    pip list
    

    應該從此命令傳回套件和目前版本的完整清單。

  • 如果您尚未這麼做,請建立倉儲。 您可以使用此練習的試用容量: 註冊 Microsoft Fabric 免費試用建立工作區,然後 建立倉儲

    開始使用 dbt-fabric 配接器

    本教學課程使用Visual Studio Code,但您可以使用您選擇的慣用工具。

  • 將示範 dbt 專案從 https://github.com/dbt-labs/jaffle_shop 複製到您的電腦。

  • 您可以使用Visual Studio Code的內建原始檔控制來複製存放庫
  • 例如,您可以使用 git clone 命令:
  • git clone https://github.com/dbt-labs/jaffle_shop.git
    
  • jaffle_shop Visual Studio Code 中開啟專案資料夾。

  • 如果您已經建立倉儲,則可以略過註冊。

  • 建立 profiles.yml 檔案。 將下列組態新增至 profiles.yml 。 此檔案會使用 dbt-fabric 配接器來設定與 Microsoft Fabric 中倉儲的連線。

    config:
      partial_parse: true
    jaffle_shop:
      target: fabric-dev
      outputs:    
        fabric-dev:
          authentication: CLI
          database: <put the database name here>
          driver: ODBC Driver 18 for SQL Server
          host: <enter your sql endpoint here>
          schema: dbo
          threads: 4
          type: fabric
    

    type視需要將 從 fabric 變更為 synapse ,將資料庫配接器切換為 Azure Synapse Analytics。 您可以變更資料庫配接器來更新任何現有的 dbt 專案資料平臺 。 如需詳細資訊,請參閱 支援的資料平臺 dbt 清單

  • 在Visual Studio Code終端機中自行向 Azure 驗證。

  • 如果您使用 Azure CLI 驗證,請在Visual Studio Code終端機中執行 az login
  • 如需 Microsoft Fabric 中 Synapse Data Warehouse的服務主體或其他 Azure Active Directory 驗證,請參閱dbt (Data Build Tool) 安裝和dbt 資源設定。
  • 現在您已準備好測試連線能力。 在Visual Studio Code終端機中執行 dbt debug ,以測試與倉儲的連線。

    dbt debug
    

    所有檢查都會通過,這表示您可以從 jaffle_shop dbt 專案使用 dbt-fabric 配接器來連線倉儲。

  • 現在,是時候測試配接器是否正常運作。 先執行 dbt seed ,將範例資料插入倉儲中。

  • 執行 dbt test 以執行示範 dbt 專案中定義的模型。

    dbt test
    

    就這麼簡單! 您現在已將 dbt 專案部署至 Fabric 中的 Synapse Data Warehouse。

    在不同的倉儲之間移動

    在不同的倉儲之間移動 dbt 專案很簡單。 您可以使用下列三個步驟程式,快速移轉任何支援倉儲上的 dbt 專案:

  • 安裝新的配接器。 如需詳細資訊和完整安裝指示,請參閱 dbt 配接器

  • type更新 檔案中的 profiles.yml 屬性。

  • 建置專案。

    使用 dbt-fabric 配接器時要考慮的重要事項:

  • 閱 Microsoft Fabric 資料倉儲中的目前限制

  • Fabric 支援 Azure Active Directory (Azure AD) 驗證使用者主體、使用者身分識別和服務主體。 在倉儲上以互動方式運作的建議驗證模式是 CLI (命令列介面) 並使用服務主體進行自動化。

  • 檢閱 Microsoft Fabric 中 Synapse Data Warehouse 不支援的 T-SQL (Transact-SQL) 命令

  • dbt-fabric 配接器使用 (CTAS) 和 命令,支援某些 T-SQL 命令,例如 ALTER TABLE ADD/ALTER/DROP COLUMNMERGETRUNCATEsp_renameDROPCREATECreate Table as Select

  • 檢閱 不支援的資料類型 ,以瞭解支援的和不支援的資料類型。

  • 您可以造訪 問題 · microsoft/dbt-fabric ·GitHub

  • 什麼是 Microsoft Fabric 中的資料倉儲?
  • 教學課程:在 Microsoft Fabric 中建立倉儲
  • 教學課程:使用預存程式轉換資料
  •