הסקת מסקנות היברידית

‫Google מספקת מבחר נרחב של מודלים ו-API של AI מובילים בתעשייה, הן להסקת מסקנות מבוססת-ענן והן להסקת מסקנות במכשיר. הסקת מסקנות היברידית מאפשרת לאזן בצורה חלקה בין עומסי עבודה של AI במכשיר המקומי ובענן, ולבצע אופטימיזציה של הביצועים, העלות והזמינות.

הסקת מסקנות היברידית מספקת שני יתרונות עיקריים לאפליקציית Android שלכם:

  • הגדלת טווח ההגעה: מודלים בענן משמשים כגיבוי חשוב כשמודלים במכשיר, כמו Gemini Nano, לא זמינים בגלל מגבלות של חומרת המכשיר או מערכת ההפעלה. כך תוכלו לוודא שתכונות ה-AI ימשיכו לפעול במגוון רחב ככל האפשר של מכשירי משתמשים.
  • עלות ויכולות אופליין: מודלים במכשיר עוזרים לוודא שתכונות ה-AI פועלות בצורה חלקה כשהמשתמש נמצא במצב אופליין. בנוסף, העברת משימות שגרתיות למכשיר המקומי עוזרת להפחית את עלויות ההסקה בענן.

אלה היתרונות של היקש במכשיר והיקש בענן, בהתאמה:

הסקת מסקנות במכשיר היקש בענן
זמין במצב אופליין תאימות לכל מכשיר
ללא עלות הסקה יכולות מתקדמות של מודלים

אפשרויות הטמעה

אפשר להטמיע הסקה היברידית באמצעות הגישות הבאות:

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API מספק ממשק מאוחד יחיד לניתוב היקשים בין מודלים בענן לבין מודלים במכשיר.

  • מעבר אוטומטי: אתם יכולים להגדיר את האפליקציה כך שתפעיל משימות AI במכשיר בכל הזדמנות. זה אומר שהתכונה של האפליקציה פועלת אופליין, יש לה פרטיות משופרת ולא חלים עליה חיובים על הסקת מסקנות בענן. אם המודל במכשיר לא זמין, ה-SDK יכול להפנות את הבקשה באופן אוטומטי למודל Gemini שמתארח בענן.
  • הגנה מפני ניצול לרעה: קריאה ישירה לממשקי Cloud API מאפליקציה לנייד עלולה לחשוף פרטי כניסה ולהוביל לחיובים לא רצויים. עם זאת, כשמשתמשים ב-Firebase AI Logic, אוכפים גם את Firebase App Check, שיכול לעזור למנוע שימוש לרעה על ידי אימות שרק האפליקציה המקורית שלכם, שלא בוצעו בה שינויים, יכולה לגשת ל-Gemini API בענן.
  • מגבלות הוצאות: כשמנתבים בקשות למודלים שמארחים בענן, אפשר להגדיר מגבלות הוצאות כדי להגן על התקציב בענן ולמנוע חיובים לא צפויים.

באפליקציה, מגדירים את הפרמטר onDeviceConfig כדי לשלוט במצב ההסקה ולנהל את הניתוב:

  • ‫PREFER_ON_DEVICE: המערכת מנסה להשתמש במודל במכשיר, ואם המודל במכשיר לא זמין או לא נתמך לבקשה, היא עוברת אוטומטית למודל שמתארח בענן.

  • ‫PREFER_IN_CLOUD: המערכת מנסה להשתמש במודל שמתארח בענן כשהמכשיר מחובר לאינטרנט והמודל זמין. אם המכשיר לא מחובר לאינטרנט, המערכת חוזרת למודל שפועל במכשיר.

  • ‫ONLY_ON_DEVICE: ניסיונות להשתמש במודל במכשיר; מוצג חריג אם המודל במכשיר לא זמין או לא נתמך בבקשה.

  • ‫ONLY_IN_CLOUD: המערכת מנסה להשתמש במודל שמתארח בענן כשהמכשיר מחובר לאינטרנט והמודל זמין. בכל מקרה אחר, המערכת יוצרת חריגה.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)

פרטים על ההטמעה מופיעים במסמכי התיעוד של Firebase. אפשר גם לעיין בדוגמה ל-AI היברידי בקטלוג ה-AI.

העברת עומסי עבודה לענן יכולה לחשוף נקודות קצה של ממשקי API בענן. כשמשתמשים ב-Firebase AI Logic, אפשר לגשת בצורה מאובטחת למודלים של Gemini מבוססי-ענן ישירות מהאפליקציות בצד הלקוח על ידי אכיפה של Firebase App Check, שעוזרת להגן על הסקת מסקנות מבוססת-ענן מפני גישה לא מורשית ושימוש לרעה בחיוב. כך מנגנון הגיבוי ההיברידי נשאר זמין ומאובטח.

ניתוב בהתאמה אישית

אם לאפליקציה שלכם יש דרישות ספציפיות לגבי העסק או חוויית המשתמש, אתם יכולים גם להטמיע לוגיקה מותאמת אישית של ניתוב. כך אפשר לקבוע באופן דינמי את נתיב ההסקה על סמך גורמים בזמן אמת, כמו:

  • זמן האחזור של הרשת
  • תקינות מערכת המכשיר (לדוגמה, רמות הטעינה של הסוללה ועומס המעבד)
  • מורכבות שאילתת המשתמש

גישת ההיסק ההיברידית המותאמת אישית הזו נמצאת בשימוש באפליקציות מובילות שהטמיעו ניתוב מותאם אישית משלהן כדי לספק חוויות AI מהימנות, כולל:

  • ‫GBoard: ‫Gboard משתמש בהסקת מסקנות היברידית מותאמת אישית כדי להפעיל את הכלים לניסוח טקסט, כמו הגהה ושכתוב.

  • ‫Kakao Mobility: חברת Kakao Mobility יצרה כלי לחילוץ ישויות באמצעות הסקה היברידית בהתאמה אישית עבור שירות משלוחי החבילות שלה. הכלי מחלץ באופן אוטומטי שמות של נמענים, כתובות ומספרי טלפון מהודעות בשפה טבעית, כדי לייעל את טפסי ההזמנה.