סקירה כללית של Cloud Storage

בדף הזה מוסבר איך Cloud Storage פועל ומהם תרחישי השימוש שהוא תומך בהם.

איך פועל Cloud Storage

‫Cloud Storage הוא שירות אחסון מנוהל וניתן להתאמה שלGoogle Cloud , שמאפשר לאחסן נתונים כאובייקטים בקונטיינרים שנקראים קטגוריות.

כל הקטגוריות משויכות לפרויקט, ואפשר לקבץ את הפרויקטים בארגון. אחרי שיוצרים פרויקט, אפשר ליצור קטגוריות, להעלות אובייקטים לקטגוריות ולהוריד אובייקטים מהקטגוריות. אפשר גם להעניק הרשאות כדי שהנתונים יהיו נגישים לחשבונות משתמשים ספציפיים, או נגישים לכל אחד באינטרנט הציבורי. היכולות של ספריות מאפשרות לכם להשתמש ב-Cloud Storage באופן דומה יותר לשימוש בכונן קשיח או ב-Network Attached Storage‏ (NAS): תיקיות מאפשרות לכם לארגן אובייקטים במבנה של ספריות, ותיקיות מנוהלות מאפשרות לכם לפשט את בקרת הגישה לאובייקטים.

כל פרויקט, קטגוריה, אובייקט, תיקייה ותיקייה מנוהלת הם משאב ב-Google Cloud, כמו גם מכונות של Compute Engine.

ההיררכיה של Google Cloud

כך המבנה של Cloud Storage יכול לחול על מקרה בעולם האמיתי:

  • ארגון: החברה, שנקראת Example Inc.‎, יוצרת ארגון ב- Google Cloudבשם exampleinc.org.

  • פרויקט: .Example Inc בונה מספר אפליקציות, וכל אחת מהן משויכת לפרויקט. לכל פרויקט יש קבוצה משלו של ממשקי API של Cloud Storage וגם משאבים אחרים.

  • קטגוריה: כל פרויקט יכול להכיל כמה קטגוריות, שהן קונטיינרים לאחסון האובייקטים. לדוגמה, אפשר ליצור קטגוריה של photos לכל קובצי התמונות שהאפליקציה יוצרת וקטגוריה נפרדת של videos. ב-Cloud Storage יש סוגי אחסון ומיקומים שונים לקטגוריות, כך שאתם יכולים לבחור את העמידות והזמינות של הנתונים בהתאם לצורכי עומסי העבודה שלכם.

    קטגוריות משמשות כבסיס נתונים ראשי בסביבה העסקית הרחבה יותר של Google Cloud. אתם יכולים לחבר את הקטגוריות שלכם כקצה עורפי לאחסון בשירותים אחרים שלGoogle Cloud , כמו AI Hypercomputer,‏ Vertex AI ו-Google Kubernetes Engine.

  • אובייקט: קטגוריות מכילות אובייקטים, כמו תמונה בשם puppy.png. אובייקט הוא חלק של נתונים שלא ניתנים לשינוי, שמורכב מקובץ בכל סוג של פורמט. כל קטגוריה יכולה להכיל מספר בלתי מוגבל של אובייקטים נפרדים.

  • תיקייה: קטגוריות שמופעל בהן מרחב שמות היררכי יכולות להכיל תיקיות. תיקיות מאפשרות מערכת קבצים אמיתית לאחסון אובייקטים, בניגוד למערכת קבצים מדומה. אתם יכולים לשנות את השם של תיקייה ושל כל האובייקטים שבתוכה בפעולה אטומית אחת.

  • תיקייה מנוהלת: כל קטגוריה יכולה להכיל גם תיקיות מנוהלות, שמעניקות או מבטלות גישה נוספת מעבר להרשאות IAM שמוגדרות בקטגוריה. תיקיות מנוהלות לא משתמשות במבנה עץ ספריות אמיתי, אלא הן שכבת-על של משאבים שמשמשת רק לבדיקת הרשאות.

שמות המשאבים

לכל משאב יש שם ייחודי שמזהה אותו, בדומה לשם קובץ. לקטגוריות יש שם משאב בצורת projects/_/buckets/BUCKET_NAME, כאשר BUCKET_NAME הוא מזהה הקטגוריה. לאובייקטים יש שם משאב בצורת projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, כאשר OBJECT_NAME הוא מזהה האובייקט.

הסיומת #NUMBER המצורפת לסוף שם המשאב מציינת יצירה ספציפית של האובייקט. ‫#0 הוא מזהה מיוחד של הגרסה העדכנית של האובייקט. כדאי להוסיף את #0 כששם האובייקט מסתיים במחרוזת שאפשר לפרש כמספר גנרציה.

כלים ל-Cloud Storage

אפשר ליצור אינטראקציה עם Cloud Storage באמצעות הכלים הבאים:

  • Google Cloud המסוף: המסוף Google Cloud מספק ממשק חזותי לניהול הנתונים בדפדפן.

  • ‫Google Cloud CLI: ‏ ה-CLI של gcloud מאפשר אינטראקציה עם Cloud Storage דרך טרמינל באמצעות פקודות של gcloud storage.

  • ספריות לקוח: ספריות הלקוח של Cloud Storage מאפשרות לנהל את הנתונים באחת מהשפות המועדפות עליכם, כולל C++‎,‏ C#‎,‏ Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby.

  • ‫API בארכיטקטורת REST: ניהול הנתונים באמצעות API בפורמט JSON או API בפורמט XML.

  • ‫Terraform: ‏Terraform הוא כלי של תשתית כקוד (IaC), שבעזרתו אפשר להקצות את התשתית ל-Cloud Storage. מידע נוסף זמין במאמר הקצאת משאבים באמצעות Cloud Storage.

  • ‫gRPC: ‏ gRPC מאפשר לכם ליצור אינטראקציה עם Cloud Storage. ‏gRPC הוא פריימוורק RPC אוניברסלי בקוד פתוח עם ביצועים גבוהים שפותח על ידיGoogle , ואפשר להשתמש בו כדי להגדיר את השירותים שלכם באמצעות Protocol Buffers.

  • ‫Cloud Storage FUSE: Cloud Storage FUSE מאפשר לטעון קטגוריות של Cloud Storage למערכת הקבצים המקומית. כך האפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

  • ספריית GCSFS Python: ספריית GCSFS היא ספריית Python שמספקת ממשק של מערכת קבצים פייתונית ל-Cloud Storage.

תרחישי שימוש ותכונות עיקריות

‫Cloud Storage מספק מאגר אובייקטים עמיד וזמין בכל העולם, שמתאים למגוון רחב של עומסי עבודה ארגוניים, החל מאימון של בינה מלאכותית (AI) ולמידת מכונה (ML) עם ביצועים גבוהים ועד לארכוב לצורכי רגולציה.

אחסון נתונים וגישה לנתונים לצורך AI/ML וניתוח נתונים

אפשר להאיץ את צינורות עיבוד הנתונים של AI/ML ואת התובנות האנליטיות באמצעות גישה לנתונים עם תפוקה גבוהה וזמן אחזור קצר, שמיועדת לעיבוד בקנה מידה גדול.

יכולת יכולת, מוצר או תכונה
Cloud Storage Rapid אחסון בעל ביצועים גבוהים שממוקם באותו מקום כמו המחשוב, כדי לאפשר גישה בפחות מאלפית השנייה וקצב העברת נתונים מצטבר של כמה טרה-בייטים לשנייה. כולל:
  • ‫Rapid Bucket: מאגר אובייקטים אזורי בסיווג Rapid Storage, שנועד לעומסי עבודה של AI/ML וניתוח נתונים שדורשים הרבה נתונים.
  • ‫Rapid Cache: מטמון קריאה אזורי שמגובה על ידי SSD, מנוהל באופן מלא ומתאים באופן אוטומטי את הקיבולת ורוחב הפס כדי לשפר את ביצועי הקריאה.
מרחב שמות היררכי הנתונים מאורגנים במבנה ספרייה לוגי עם פעולות תיקייה אטומיות, ומגבלות ה-QPS הראשוניות גבוהות עד פי 8 מאשר בקטגוריות ללא מרחב שמות היררכי. אפשר להפעיל מרחב שמות היררכי רק כשיוצרים את הקטגוריה, ואי אפשר להפעיל אותו בקטגוריה קיימת.
Cloud Storage FUSE טעינת קטגוריות למערכת הקבצים המקומית, כדי שהאפליקציות יוכלו לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

מידע נוסף על אופטימיזציה של הביצועים זמין במאמר בנושא אופטימיזציה של האחסון ל-AI/ML ולניתוח נתונים.

אבטחת הנתונים ועמידה בדרישות

הגנה על הנכסים ועמידה בתקנים רגולטוריים גלובליים באמצעות הצפנה מובנית, אמצעי בקרה לגישה ומדיניות שמירת נתונים בלתי ניתנת לשינוי.

שכבת אבטחה יכולת, מוצר או תכונה
בקרת גישה אוכפים את העיקרון של הרשאות מינימליות ומגבילים את התנועה לרשתות מהימנות. המוצרים והתכונות כוללים:
  • ניהול זהויות והרשאות גישה (IAM): הענקת הרשאה למשתמשים, לקבוצות או לחשבונות שירות ספציפיים לבצע פעולות במשאבי Cloud Storage באמצעות אמצעי בקרה לגישה מבוססת-תפקידים.
  • גישה אחידה ברמת הקטגוריה: איחוד של בקרת הגישה למשאבים של Cloud Storage על ידי השבתה של רשימות בקרת גישה (ACL) ברמת האובייקט, ושימוש בלעדי במדיניות IAM ברמת הקטגוריה.
  • סינון כתובות IP בקטגוריה: הגבלת הגישה לקטגוריה על סמך כתובת ה-IP של מקור הבקשה, ואבטחת הנתונים מפני גישה לא מורשית מכתובות IP ספציפיות או מ-Virtual Private Cloud ‏ (VPC).
הצפנת נתונים הצפנה של נתונים במנוחה ובזמן ההעברה. המוצרים והתכונות כוללים:
  • מפתחות בניהולGoogle: כברירת מחדל, הנתונים שלכם ב-Cloud Storage מוצפנים אוטומטית באחסון באמצעות מפתחות בצד השרת שנמצאים בבעלות Googleומתוחזקים על ידה.
  • ‫CMEK‏ (Cloud KMS): שליטה בלוחות הזמנים של הרוטציה, בהרשאות הגישה ובמחזורי החיים של מפתחות ההצפנה כדי להגן על המשאבים ב-Cloud Storage.
  • ‫CSEK: אבטחת הנתונים במנוחה ב-Cloud Storage על ידי מתן מפתחות קריפטוגרפיים משלכם בכל בקשת API נפרדת, במקום ש- Google יאחסן או ישחזר את חומר המפתחות שלכם.
שמירה ואי-שינוי של נתונים למנוע מחיקה בטעות ולעמוד בדרישות התאימות של הנתונים. המוצרים והתכונות כוללים:
  • נעילת קטגוריה: פיקוח על משך הזמן שאובייקטים בקטגוריות יישמרו באמצעות ציון של מדיניות שמירת נתונים לקטגוריה, כדי לאכוף כללים רגולטוריים וכללי תאימות לשמירת נתונים.
  • שמירת אובייקטים: ניהול משך החיים של אובייקטים ספציפיים על ידי החלת תאריך ושעה בלתי ניתנים לשינוי לשמירה עד, כדי למנוע את המחיקה או ההחלפה שלהם עד שתוקף משך הזמן הזה יפוג.
  • ניהול גרסאות של אובייקטים: שמירת עותקים היסטוריים של הנתונים על ידי העברה אוטומטית לארכיון של אובייקטים פעילים שנמחקו או שוכתבו כגרסאות לא עדכניות, כדי שתוכלו לשחזר מצבים קודמים של אובייקטים בכל שלב.
  • מחיקה רכה: שמירה של אובייקטים ודליים שנמחקו לאחרונה כדי למנוע אובדן נתונים קבוע במקרה של מחיקה בשוגג או מחיקה זדונית. כברירת מחדל, ב-Cloud Storage מופעלת מחיקה זמנית לכל הקטגוריות עם תקופת שמירה של שבעה ימים.

גיבוי, תוכנית התאוששות מאסון (DR) והמשכיות עסקית

הגנה על העסק מפני אובדן נתונים, אירועי אסון והפסקות חשמל אזוריות, באמצעות זמינות במספר אזורים ורפליקציה מהירה בין אזורים.

יכולת, מוצר או תכונה תיאור
שני אזורים ומספר אזורים שכפול אוטומטי של נתונים באזורים Google Cloud מרוחקים גיאוגרפית, לזמינות של 99.99%.
רפליקציה בקצב טורבו רפליקציה של 100% מהאובייקטים החדשים שנכתבו בין זוגות של שני אזורים תוך 15 דקות.
ניהול גרסאות של אובייקטים ומחיקה זמנית שמירה של איטרציות קודמות ואובייקטים שנמחקו לאחרונה לצורך שחזור אחרי החלפות בשגיאה או אירועי תוכנת כופר.

אופטימיזציה של עלויות וניהול מחזור החיים של הנתונים

להפחית את הוצאות האחסון לאורך מחזור החיים של הנתונים, על ידי התאמה של תדירות הגישה לשכבות אחסון חסכוניות.

סוג אחסון, מוצר או תכונה תיאור
סוגי אחסון (storage classes) בוחרים בין Standard storage,‏ Nearline storage,‏ Coldline storage,‏ Archive storage ו-Rapid storage בהתאם לתדירות הגישה לנתונים.
סיווג אוטומטי העברה אוטומטית של אובייקטים בין סוגי אחסון (storage classes) על סמך דפוסי הגישה לאובייקטים.
ניהול מחזור החיים של אובייקטים מחיקה או מעבר של אובייקטים באמצעות כללים מותאמים אישית שמבוססים על מדיניות.

הפצת תוכן ומענה לבקשות תוכן באינטרנט

הפצה של נכסים דיגיטליים, הורדות וקבצי מדיה ברחבי העולם עם זמן אחזור נמוך וזמינות גבוהה.

יכולת, מוצר או תכונה תיאור
‫Cloud CDN ו-Cloud Load Balancing שמירת נכסים סטטיים במטמון במיקומי הקצה הגלובליים של Google, כדי להעביר נתונים באינטרנט בזמן טעינה קצר במיוחד.
כתובות URL חתומות לתת גישת קריאה או כתיבה לזמן מוגבל לאובייקטים פרטיים בלי לדרוש פרטי כניסה ל- Google .
אירוח אתרים סטטיים הצגת נכסי מדיה, HTML,‏ CSS ו-JavaScript סטטיים ישירות מקטגוריה ציבורית.

העברת נתונים והטמעה מבוססת-אירועים

ייעול העברת הנתונים החיצוניים אל Google Cloud והפעלת תהליכי עבודה אוטומטיים של עיבוד נתונים בזמן העלאת אובייקטים.

שילוב תיאור
Storage Transfer Service העברה מנוהלת בקנה מידה גדול של נתונים אונליין מ-Amazon S3, מ-Microsoft Azure Blob Storage, ממקורות HTTP או מאחסון מקומי.
‫Transfer Appliance מכשירים פיזיים מוקשחים שמעבירים עד מאות פטה-בייט של נתונים ממקורות אופליין אל Google Cloud.
‫Eventarc ו-Pub/Sub שליחת התראות לגבי אירועים בזמן אמת כשנוצר אובייקט, כשנמחק אובייקט או כשמתבצעים עדכונים במטא-נתונים, כדי להפעיל שירותים של Cloud Functions או Cloud Run.

ניתוח וניהול של אחסון הנתונים

קבלת תובנות על הנתונים שמאוחסנים בסביבת Cloud Storage וניהול שלהם בקנה מידה נרחב.

יכולת, מוצר או תכונה תיאור
Storage Intelligence קבלת תובנות על סביבת האחסון כדי לעזור לכם לשפר את העלויות ולאכוף את מדיניות משילות מידע (data governance).
הכלי לשיפור האחסון לעקוב אחרי הנתונים המאוחסנים ולקבל ממצאים פרקטיים שיעזרו לכם לייעל את העלויות, לשפר את הביצועים ולחזק את האבטחה.
העשרת אובייקטים (תצוגה מקדימה) יצירת מטא נתונים מובְנים לתמונות ולמסמכי PDF לא מובְנים באמצעות מודלים של למידת מכונה.
מערכי נתונים של Storage Insights להריץ שאילתות ולנתח את האינדקסים של המטא-נתונים של הדלי והאובייקט ב-BigQuery.
פעולות רבות על פריטי אחסון ביצוע פעולות בכמות גדולה, כמו מחיקת אובייקטים, עדכון מטא-נתונים או החלת מדיניות שמירת נתונים על מיליוני או מיליארדי אובייקטים.
העברת קטגוריות למיקום גיאוגרפי אחר העברת קטגוריה קיימת והנתונים שלה למיקום חדש, תוך שמירה על שם הקטגוריה והמטא-נתונים של האובייקטים, עם זמן השבתה מינימלי.

מדריכים למתחילים

כדי להכיר את יסודות השימוש ב-Cloud Storage, אפשר להיעזר במדריכים הבאים:

מחפשים מוצרים אחרים?

אם Cloud Storage הוא לא פתרון האחסון שמתאים לכם, אתם יכולים לקרוא מידע נוסף על שירותי האחסון הבאים:

  • ‫Google Cloud Managed Lustre: אחסון הנתונים במערכת קבצים מקבילה בניהול מלא עם ביצועים גבוהים, שעברה אופטימיזציה לעומסי עבודה של AI ו-HPC.

  • שירותי אחסון נוספים שמוצעים על ידי Google.

המאמרים הבאים