ClickHouse

אתם יכולים לחבר את Looker למסד הנתונים של ClickHouse כדי לנתח את הנתונים וליצור לוחות בקרה אינטראקטיביים. החיבור הזה מאפשר לכם להשתמש בנתוני ClickHouse לדיווח ולניתוח ב-Looker, וכך לקבל החלטות מושכלות שמבוססות על נתונים.

בדף הזה מוסבר איך להגדיר את המכונה של ClickHouse ואת הגדרות החיבור ל-Looker, כולל איך להצפין את התנועה ברשת, להגדיר הרשאות משתמשים ולבדוק את התכונות הנתמכות. ‫Looker תומך ב-ClickHouse בגרסה 0.2 ואילך, וב-ClickHouse בגרסה 26 ואילך באמצעות מנהלי התקנים מודרניים של JDBC ותמיכה בצבירה סימטרית.

הצפנה של תנועה ברשת

מומלץ להצפין את התנועה ברשת בין אפליקציית Looker לבין מסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף התיעוד הפעלת גישה מאובטחת למסד נתונים.

כדי להפעיל הצפנת SSL בצד השרת, עיינו במסמכי התיעוד של הגדרות השרת הגלובליות של ClickHouse.

משתמשים ואבטחה

קודם כל, מגדירים את משתמש Looker בשרת ClickHouse. אפשר להגדיר משתמשים במסד נתונים של ClickHouse באמצעות SQL ‏ (CREATE USER) או דרך הקטע users בקובץ users.xml. כדי להגדיר גישת משתמשים, פועלים לפי התיעוד בנושא הרשאות גישה ב-ClickHouse. בדוגמה הבסיסית הבאה נעשה שימוש ב-users.xml:

<!-- Users and ACL. -->
<users>
    <looker>
        <password>CHANGEIT</password>
        <networks incl="networks" />
        <profile>default</profile>
        <quota>default</quota>
    </looker>

    <web>
        <password></password>
        <networks incl="networks" />
        <profile>web</profile>
        <quota>default</quota>
        <allow_databases>
           <database>test</database>
        </allow_databases>
        <allow_dictionaries>
           <dictionary>test</dictionary>
        </allow_dictionaries>
    </web>
</users>

בנוסף, צריך להגדיר בקובץ הזה את הגישה המתאימה למסד הנתונים:

<allow_databases>
    <database>database_1</database>
    <database>database_2</database>
    <database>database_3</database>
</allow_databases>

יצירת חיבור Looker למסד הנתונים

בקטע Admin ב-Looker, בוחרים באפשרות Connections ולוחצים על Add Connection.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף חיבור Looker למסד הנתונים. הנה תיאור של חלק מההגדרות:

  • ‫Dialect: בוחרים באפשרות ClickHouse 26+‎ או ClickHouse.
  • ‫Host: שם המארח או כתובת ה-IP של שרת ClickHouse שאפשר להגיע אליהם.
  • Port: היציאה שדרכה אפשר להגיע לשירות ClickHouse דרך HTTP(S).
    • כברירת מחדל, חיבורי HTTP משתמשים ב-8123 וחיבורי HTTPS משתמשים ב-8443.
    • כברירת מחדל, היציאות 9000 ו-9440 משמשות את לקוח שורת הפקודה המקורי של ClickHouse ב-TCP, אבל Looker צריך להשתמש ביציאות HTTP(S) כדי להתחבר ל-ClickHouse.
    • יכול להיות שהאדמין של ClickHouse בחר יציאות חלופיות באמצעות ההגדרות http_port או https_port בהגדרות האישיות של ClickHouse. צריך לבקש מהאדמין של ClickHouse את ההגדרות שמתאימות להגדרה שלכם.
  • מסד נתונים: שם מסד הנתונים (חייב להיות אחד ממסדי הנתונים שמותרים בהרשאות ClickHouse).
  • ‫Username: שם המשתמש של מסד הנתונים.
  • סיסמה: סיסמת מסד הנתונים.
  • ‫SSL: מסמנים את האפשרות הזו כדי להתחבר ל-ClickHouse באמצעות SSL/TLS.
  • אימות SSL: (אופציונלי) מסמנים את התיבה כדי לאכוף אימות קפדני של אישור SSL ושם המארח בשרת ClickHouse. בוחרים באפשרות Verify SSL רק אם משתמשים באישור SSL שנחתם על ידי רשות אישורים מהימנה באופן כללי. אם אתם משתמשים באישור SSL בחתימה עצמית, אל תסמנו את ההגדרה הזו.
  • ‫Additional JDBC parameters: (אופציונלי) פרמטרים נוספים של מחרוזת JDBC. בקטע פרמטרים נתמכים של JDBC שבדף הזה מפורטים הפרמטרים שנתמכים ב-Looker.

כדי לוודא שהחיבור בוצע בהצלחה, לוחצים על הלחצן בדיקת החיבור בקטע פרטי הסטטוס בחלק התחתון של הדף הגדרות החיבור.

אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Admin (ניהול) בקטע Connections (חיבורים) ב-Looker.

פרמטרים נתמכים של JDBC

ב-ClickHouse, ‏ Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters (פרמטרים נוספים של JDBC) לחיבור. מידע על הפרמטרים האלה מופיע במסמכי התיעוד של מסד הנתונים.

פרמטרים של ClickHouse 26+

  • async_insert
  • autoCommit
  • compress
  • compress_algorithm
  • compress_level
  • connect_timeout
  • connection_timeout
  • continueBatchOnError
  • createDatabaseIfNotExist
  • custom_settings
  • database
  • databaseTerm
  • externalDatabase
  • fetchSize
  • format
  • jdbcCompliant
  • keep_alive_timeout
  • max_buffer_size
  • max_execution_time
  • max_result_bytes
  • max_result_rows
  • max_threads
  • namedParameter
  • query_timeout
  • receive_timeout
  • result_overflow_mode
  • retry
  • session_check
  • session_id
  • session_timeout
  • session_timezone
  • socket_timeout
  • ssl
  • sslmode
  • transactionSupport
  • use_server_time_zone
  • use_time_zone
  • wait_for_async_insert
  • wrapperObject

פרמטרים של ClickHouse (גרסה קודמת)

  • beta.row_binary_for_simple_insert
  • compress
  • connection_timeout
  • continueBatchOnError
  • createDatabaseIfNotExist
  • custom_http_headers
  • custom_http_params
  • default_query_settings
  • disable_frameworks_detection
  • jdbc_ignore_unsupported_values
  • jdbc_resultset_auto_close
  • jdbc_sql_parser
  • jdbc_use_max_result_rows
  • jdbcCompliance
  • max_execution_time
  • password
  • session_timezone
  • socket_timeout
  • typeMappings
  • use_server_time_zone
  • use_time_zone
  • user
  • wrapperObject

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, הניב של מסד הנתונים צריך לתמוך בהן גם כן.

תמיכה בתכונות של ClickHouse 26 ואילך

החל מגרסה 26.20 של Looker, גרסה 26 ומעלה של ClickHouse תומכת בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
SQL Runner Show Processes
SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
SQL Runner Select 10
מספר המשתמשים ב-SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
הערות להוספת הקשר
מאגר חיבורים (connection pooling)
HLL sketches
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

תמיכה בתכונות של ClickHouse

החל מגרסה 26.20 של Looker, ‏ClickHouse תומך בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
SQL Runner Show Processes
SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
SQL Runner Select 10
מספר המשתמשים ב-SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
הערות להוספת הקשר
מאגר חיבורים (connection pooling)
HLL sketches
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

השלבים הבאים

אחרי שמסיימים לקשר את מסד הנתונים, מגדירים את אפשרויות האימות.