与 TikTok 集成

本页面介绍了将 TikTok 数据作为 Cortex Framework Data Foundation 的营销工作负载的数据源所需的配置。

TikTok 是一款以短视频而闻名的热门社交媒体应用，Cortex Framework 可以提取其数据来分析整体营销效果。通过整合来自 TikTok 和各种来源的数据，您可以更全面地了解目标受众，以及您的社交媒体广告系列在不同平台上的效果。

下图介绍了如何通过 Cortex Framework Data Foundation 的营销工作负载获取 TikTok 数据：

TikTok 数据源

图 1. TikTok 数据源。

配置文件

config.json 文件用于配置连接到数据源所需的设置，以便从各种工作负载转移 数据。此文件包含以下 TikTok 参数：

   "marketing": {
        "deployTikTok": true,
        },
        "TikTok": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_TikTok"
            }
        }

下表介绍了每个营销参数的值：

参数 含义 默认值 说明
marketing.deployTikTok 部署 TikTok true 执行 TikTok 数据源的部署。
marketing.TikTok.deployCDC 为 TikTok 部署 CDC 脚本 true 生成 TikTok CDC 处理脚本，以便在 Managed Service for Apache Airflow 中作为 DAG 运行。
marketing.TikTok.datasets.cdc TikTok 的 CDC 数据集 TikTok 的 CDC 数据集。
marketing.TikTok.datasets.raw TikTok 的原始数据集 TikTok 的原始数据集。
marketing.TikTok.datasets.reporting TikTok 的报告数据集 "REPORTING_TikTok" TikTok 的报告数据集。

数据模型

本部分使用实体关系图 (ERD) 介绍了 TikTok 数据模型。

TikTok 的实体关系图

图 2. TikTok：实体关系图。

基本视图

这些是 ERD 中的蓝色对象，是 CDC 表的视图，除了某些列名称别名之外，没有其他转换。请参阅 src/marketing/src/TikTok/src/reporting/ddls中的脚本。

报告视图

这些是 ERD 中的绿色对象，是包含汇总指标的报告视图。请参阅 src/marketing/src/TikTok/src/reporting/ddls中的脚本。

API 连接

v1.3Cortex Framework uses the 同步 模式，并调用 Basic Reporting API 来检索广告和广告组的效果指标。 这可确保 Cortex Framework 能够访问 TikTok 的最新准确信息，从而实现有效的数据分析和报告。

如需详细了解 API 连接，请参阅 TikTok Reporting API。

账号身份验证

如需配置 TikTok 账号和账号身份验证，请按以下步骤操作：

  1. 设置 TikTok 开发者账号 （如果您还没有该账号）。
  2. 创建用于 Cortex Framework 集成的应用。如需了解详情，请参阅 TikTok API for Business 。确保在应用的范围中选择以下两项：
    • Ad Account Management/Ad Account Information
    • Reporting/All
  3. 按照 TikTok 指南中的说明获取应用 ID、Secret和长期访问令牌，并将它们分别存储在Secret Manager中，并使用以下名称：
    • 应用 ID: cortex_tiktok_app_id
    • 密钥: cortex_tiktok_app_secret
    • 长期访问令牌：cortex_tiktok_access_token

数据新鲜度和延迟时间

一般来说，Cortex Framework 数据源的数据新鲜度受上游连接允许的范围以及 DAG 执行频率的限制。请调整 DAG 执行频率，使其与上游频率、资源限制和业务需求保持一致。

借助 TikTok Marketing API， 大多数数据（不包括转化）都可以近乎实时地提供。

Managed Airflow 连接

在 Managed Airflow 中创建以下连接。如需了解详情， 请参阅管理 Airflow 连接文档。

连接名称 目的
tiktok_raw_dataflow 适用于 TikTok API > BigQuery 原始数据集
tiktok_cdc_bq 适用于原始数据集 > CDC 数据集转移
tiktok_reporting_bq 适用于 CDC 数据集 > 报告数据集转移

Managed Service for Apache Airflow 服务帐号权限

向 Managed Airflow 中使用的服务帐号（如 tiktok_raw_dataflow 连接中所配置）授予 Dataflow 权限。请参阅 Dataflow 文档 中的说明。

此外，同一服务帐号还应具有 Secret Manager Accessor 访问权限。

提取设置

通过 src/TikTok/config/ingestion_settings.yaml 文件中的设置控制 Source to Raw 和 Raw to CDC 数据流水线。本部分介绍了每个数据流水线的参数。

源表到原始表

本部分包含一些条目，用于控制如何提取 TikTok 中的数据以及数据在原始数据集中的最终位置。每个条目都对应一个原始表，该表包含从 TikTok API 为该实体提取的数据。根据此配置参数，Cortex Framework 会创建 Airflow DAG，这些 DAG 会运行 Dataflow 流水线来处理来自 TikTok API 的数据。

以下参数控制每个条目的 Source to Raw 设置：

参数 说明
base_table 原始数据集中的表，用于存储实体的数据 （例如“广告”数据）。
load_frequency 为此实体运行 DAG 以 处理数据的频率。如需详细了解可能的值，请参阅 Airflow 文档 。
schema_file src/table_schema 目录中的架构文件，用于将 API 响应字段映射到目标表的列名称。
partition_details 可选：如果您希望此表根据性能考虑因素进行 分区。如需了解详情，请参阅 表分区。
cluster_details 可选：如果您希望此表根据性能考虑因素进行 聚簇。如需了解详情，请参阅 聚簇设置。

原始表到 CDC 表

本部分包含一些条目，用于控制数据如何从原始表移动到 CDC 表。每个条目都对应一个 CDC 表（该表又对应于为 Source to Raw table 提及的实体）。

以下参数控制每个条目的 Raw to CDC 设置：

参数 说明
base_table CDC 数据集中的表，用于存储经过 CDC 转换后的原始 数据（例如auction_ad_performance）
load_frequency 为此实体运行 DAG 以填充 CDC 表的频率 。如需详细了解可能的值，请参阅 Airflow 文档 。
row_identifiers 构成此表的唯一记录的列列表（以英文逗号分隔） 。
partition_details 可选：如果您希望此表根据性能考虑因素进行分区。如需了解详情，请参阅 表分区。
cluster_details 可选：如果您希望此表根据性能考虑因素进行 聚簇。如需了解详情，请参阅 聚簇设置。

报告设置

使用报告设置文件 src/TikTok/config/reporting_settings.yaml 配置和控制 Cortex Framework 如何为 TikTok 最终报告层生成数据。 此文件控制如何生成报告层 BigQuery 对象（表、视图、函数或存储过程）。

如需了解详情，请参阅自定义报告设置文件。

接下来怎么做？