טעינת נתונים מ-MySQL ל-BigQuery

המסוף

1. נכנסים לדף העברות נתונים.

   מעבר אל "העברות נתונים"

2. ‫לוחצים על add Create transfer.

3. בקטע Source type, בשדה Source בוחרים באפשרות MySQL.

4. בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:

   • בשדה Network attachment, בוחרים חיבור רשת קיים או לוחצים על Create Network Attachment. למידע נוסף, קראו את הקטע חיבורי רשת במסמך הזה.
   • בשדה Host, מזינים את שם המארח או את כתובת ה-IP של שרת מסד הנתונים של MySQL.
   • בשדה מספר יציאה, מזינים את מספר היציאה של שרת מסד הנתונים של MySQL.
   • בשדה Database name, מזינים את השם של מסד הנתונים ב-MySQL.
   • בשדה שם משתמש, מזינים את שם המשתמש של משתמש MySQL שיזם את החיבור למסד הנתונים של MySQL.
   • בשדה Password, מזינים את הסיסמה של משתמש MySQL שיוזם את החיבור למסד הנתונים של MySQL.
   • בקטע מצב TLS, בוחרים אפשרות מהתפריט. מידע נוסף על מצבי TLS זמין במאמר בנושא הגדרת TLS.
   • בשדה Trusted PEM Certificate, מזינים את האישור הציבורי של רשות האישורים (CA) שהנפיקה את אישור ה-TLS של שרת מסד הנתונים. מידע נוסף זמין במאמר אישור שרת מהימן (PEM).
   • בשדה Enable legacy mapping, בוחרים באפשרות true (ברירת המחדל) כדי להשתמש במיפוי סוגי הנתונים הקודם. בוחרים באפשרות false כדי להשתמש במיפוי המעודכן של סוגי הנתונים. אם אתם מבצעים העברה מצטברת, הערך הזה חייב להיות false. מידע נוסף על העדכונים במיפוי סוגי הנתונים זמין בקטע 16 במרץ 2027.
   • בקטע סוג ההטמעה, בוחרים באפשרות מלאה או מצטברת.
     • אם בוחרים באפשרות מצטבר (תצוגה מקדימה) במצב כתיבה, בוחרים באפשרות הוספה או עדכון והוספה. מידע נוסף על מצבי הכתיבה השונים זמין במאמר בנושא העברות מלאות או מצטברות.

   • בקטע MySQL objects to transfer, לוחצים על Browse.

     בוחרים את האובייקטים שרוצים להעביר למערך הנתונים ב-BigQuery. אפשר גם להזין ידנית בשדה הזה את כל האובייקטים שרוצים לכלול בהעברת הנתונים.

     • אם בחרתם באפשרות הוספה כמצב הכתיבה המצטבר, אתם צריכים לבחור עמודה כעמודת סימן המים.
     • אם בחרתם באפשרות עדכון או הוספה (upsert) כמצב הכתיבה המצטברת, אתם צריכים לבחור עמודה כעמודת סימן המים, ואז לבחור עמודה אחת או יותר כמפתח הראשי.

5. בקטע Transfer config name, בשדה השם המוצג, מזינים שם להעברה. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

6. בקטע Schedule options:

   • בוחרים את תדירות החזרה. אם בוחרים באפשרות שעות, ימים (ברירת המחדל), שבועות או חודשים, צריך גם לציין תדירות. אפשר גם לבחור באפשרות בהתאמה אישית כדי ליצור תדירות חזרה ספציפית יותר. אם בוחרים באפשרות על פי דרישה, העברת הנתונים הזו מתבצעת רק כשמפעילים את ההעברה באופן ידני.
   • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה מוגדרת ומזינים תאריך התחלה וזמן הפעלה.

7. בקטע Destination settings, בשדה Dataset בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים, או לוחצים על Create new dataset ויוצרים מערך נתונים חדש שישמש כמערך הנתונים של היעד.

8. אופציונלי: בקטע אפשרויות התראה, מבצעים את הפעולות הבאות:

   • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל כדי להעביר אותו למצב מופעל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם הפעלת ההעברה נכשלת.
   • כדי להגדיר התראות ב-Pub/Sub להעברה, לוחצים על המתג Pub/Sub notifications (התראות Pub/Sub) למצב מופעל. אפשר לבחור את שם הנושא או ללחוץ על Create a topic כדי ליצור נושא.

9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים פרויקט מסוים באמצעות הדגל --project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
• ‫DATA_SOURCE: מקור הנתונים, שהוא mysql.
• ‫DISPLAY_NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
• ‫DATASET: קבוצת הנתונים שאליה רוצים להעביר את הנתונים בהגדרות ההעברה.

• ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברה של MySQL:

  • ‫connector.networkAttachment (אופציונלי): השם של מחבר הרשת שאליו רוצים להתחבר למסד הנתונים של MySQL.
  • ‫connector.database: השם של מסד הנתונים ב-MySQL.
  • ‫connector.endpoint.host: שם המארח או כתובת ה-IP של מסד הנתונים.
  • ‫connector.endpoint.port: מספר היציאה של מסד הנתונים.
  • ‫connector.authentication.username: שם המשתמש של המשתמש במסד הנתונים.
  • ‫connector.authentication.password: הסיסמה של המשתמש במסד הנתונים. connector.connectionType
  • ‫connector.connectionType (אופציונלי): סוג החיבור שקובע את כתובת ה-URL של החיבור. הערך יכול להיות SERVICE, SID או TNS. אם לא מציינים ערך, ברירת המחדל היא SERVICE.
  • ‫connector.legacyMapping: מגדירים את הערך true (ברירת המחדל) כדי להשתמש במיפוי סוגי הנתונים הקודם. כדי להשתמש במיפוי המעודכן של סוגי הנתונים, מגדירים את הערך false. אם מבצעים העברה מצטברת, הערך הזה חייב להיות false. מידע נוסף על עדכוני מיפוי סוגי הנתונים זמין במאמר בנושא 16 במרץ 2027.
  • ‫connector.tls.mode: מציינים הגדרת TLS לשימוש בהעברה הזו:
    • ‫ENCRYPT_VERIFY_CA_AND_HOST כדי להצפין נתונים, ולאמת את רשות האישורים ואת שם המארח
    • ‫ENCRYPT_VERIFY_CA כדי להצפין נתונים, ולאמת את רשות האישורים בלבד
    • ‫ENCRYPT_VERIFY_NONE להצפנת נתונים בלבד
    • DISABLE ללא הצפנה או אימות
  • ‫connector.tls.trustedServerCertificate: (אופציונלי) מספקים אישור אחד או יותר בקידוד PEM. חובה רק אם הערך של connector.tls.mode הוא ENCRYPT_VERIFY_CA_AND_HOST או ENCRYPT_VERIFY_CA.
  • ‫ingestionType: מציינים full או incremental. העברות מצטברות נתמכות בגרסת טרום-השקה (Preview). למידע נוסף, קראו את המאמר העברות מלאות או מצטברות.
  • ‫writeMode: מציינים WRITE_MODE_APPEND או WRITE_MODE_UPSERT.
  • ‫watermarkColumns: מציינים עמודות בטבלה כעמודות של סימני מים. השדה הזה נדרש להעברות מצטברות.
  • ‫primaryKeys: מציינים עמודות בטבלה כמפתחות ראשיים. השדה הזה נדרש להעברות מצטברות.
  • ‫assets: רשימה של שמות הטבלאות ב-MySQL שיועברו ממסד הנתונים של MySQL כחלק מההעברה.

לדוגמה, הפקודה הבאה יוצרת העברה של MySQL בשם My Transfer:

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=mysql
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.encryptionMode":"FULL",
        "connector.database":"DB1",
        "connector.endpoint.host":"54.74.220.23",
        "connector.endpoint.port":3306
        "ingestionType":"incremental",
        "writeMode":"WRITE_MODE_APPEND",
        "watermarkColumns":["createdAt","createdAt"],
        "primaryKeys":[['dep_id'], ['report_by','report_title']],
        "connector.tls.mode": "ENCRYPT_VERIFY_CA_AND_HOST",
        "connector.tls.trustedServerCertificate": "PEM-encoded certificate"}'

כשמציינים כמה נכסים במהלך העברה מצטברת, הערכים בשדות watermarkColumns ו-primaryKeys תואמים למיקום של הערכים בשדה assets. בדוגמה הבאה, dep_id תואם לטבלה DB1/USER1/DEPARTMENT, ו-report_by ו-report_title תואמים לטבלה DB1/USER1/EMPLOYEES.

      "primaryKeys":[['dep_id'], ['report_by','report_title']],
      "assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"],
  

API

משתמשים ב-method‏ projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.