8000 KubeQ/backend at main · Ramhm/KubeQ · GitHub
[go: up one dir, main page]

Skip to content

Latest commit

 

History

History

backend

Folders and files

README.md

KubeQ API

KubeQ یک سرویس API برای اعتبارسنجی فایل‌های Kubernetes است که امکان بررسی انواع منابع Kubernetes را فراهم می‌کند.

امکانات

  • اعتبارسنجی مستقیم (Synchronous) فایل‌های YAML کوبرنتیس
  • اعتبارسنجی با صف (Asynchronous) برای پردازش در پس‌زمینه
  • سیستم retry خودکار برای تسک‌ها در صورت وقوع خطا
  • استفاده از ابزارهای kubeval و kube-score برای بررسی فایل‌ها
  • مدیریت کلیدهای Redis با Expiry زمانی
  • کش‌کردن نتایج برای بهبود سرعت پاسخ‌دهی
  • پردازش دسته‌ای (Batch) برای کارایی بالاتر
  • سیستم محدودیت نرخ برای مقابله با ازدحام

پیش‌نیازها

  • Python 3.8+
  • Redis
  • kubeval
  • kube-score

نصب

  1. ساخت محیط مجازی و نصب وابستگی‌ها:
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt
  1. نصب ابزارهای مورد نیاز:
  • برای نصب kubeval:
# MacOS
brew install kubeval

# Linux
wget https://github.com/instrumenta/kubeval/releases/latest/download/kubeval-linux-amd64.tar.gz
tar xf kubeval-linux-amd64.tar.gz
sudo cp kubeval /usr/local/bin
  • برای نصب kube-score:
# MacOS
brew install kube-score

# Linux
wget https://github.com/zegl/kube-score/releases/download/v1.10.0/kube-score_1.10.0_linux_amd64.tar.gz
tar xf kube-score_1.10.0_linux_amd64.tar.gz
sudo mv kube-score /usr/local/bin

راه‌اندازی

  1. اجرای Redis:
redis-server
  1. اجرای Celery Worker:
python start_worker.py
  1. اجرای سرویس API:
uvicorn app.main:app --reload

مسیرهای API

اعتبارسنجی مستقیم

URL: /api/validate Method: POST توضیحات: تأیید اعتبار فایل به صورت مستقیم و دریافت نتیجه بلافاصله

نمونه درخواست:

{
  "content": "apiVersion: apps/v1\nkind: Deployment\nmetadata:\n  name: nginx\nspec:\n  selector:\n    matchLabels:\n      app: nginx\n  template:\n    metadata:\n      labels:\n        app: nginx\n    spec:\n      containers:\n      - name: nginx\n        image: nginx:latest",
  "file_type": "yaml"
}

اعتبارسنجی با صف

URL: /api/validateq Method: POST توضیحات: تأیید اعتبار فایل با استفاده از صف و دریافت job_id برای پیگیری نتیجه

نمونه درخواست: مشابه اعتبارسنجی مستقیم

دریافت وضعیت کار

URL: /api/job/{job_id} Method: GET توضیحات: دریافت وضعیت و نتیجه یک کار با شناسه job_id

سیستم Retry

این سیستم دارای مکانیزم retry چند لایه برای اطمینان از انجام موفق تسک‌ها است:

در سمت API:

  • هنگام ارسال تسک به Celery، تا ۳ بار در صورت خطا تلاش می‌کند
  • هنگام ذخیره‌سازی در Redis، تا ۳ بار در صورت خطا تلاش می‌کند
  • هنگام دریافت نتایج، تا ۳ بار در صورت خطا تلاش می‌کند
  • در صورت نیاز، از شناسه تسک Celery به عنوان فالبک استفاده می‌کند

در سمت Celery:

  • هر تسک می‌تواند تا ۳ بار با فاصله زمانی افزایشی دوباره اجرا شود
  • انواع خطا مانند خطای اتصال به Redis، خطاهای سیستمی و خطاهای subprocess پشتیبانی می‌شوند
  • از backoff تصاعدی برای جلوگیری از ازدحام استفاده می‌شود

تنظیمات انقضا:

  • همه کلیدهای Redis پس از ۳ دقیقه منقضی می‌شوند
  • نتایج تسک‌ها نیز پس از ۳ دقیقه از حافظه Redis پاک می‌شوند

مدیریت صف

برای مدیریت صف و کلیدهای Redis می‌توانید از اسکریپت manage_queue.py استفاده کنید:

# نمایش همه کارها در صف
python manage_queue.py list

# نمایش آمار
python manage_queue.py stats

# پاک کردن همه داده‌ها
python manage_queue.py clean_all

# به‌روزرسانی زمان انقضا
python manage_queue.py update_expiry --seconds 300

تست

برای تست سیستم می‌توانید از اسکریپت test_validation.py استفاده کنید:

# تست هر دو نوع اعتبارسنجی
python test_validation.py

# تست فقط اعتبارسنجی مستقیم
python test_validation.py direct

# تست فقط اعتبارسنجی با صف
python test_validation.py queue

بهینه‌سازی عملکرد

برای اطلاعات بیشتر درباره بهینه‌سازی‌های انجام شده و نحوه تنظیم سیستم برای حداکثر کارایی در محیط‌های پر ترافیک، به فایل PERFORMANCE.md مراجعه کنید.

این سیستم دارای این بهینه‌سازی‌ها است:

  • کش‌کردن نتایج در حافظه برای پاسخ‌دهی سریع‌تر
  • فشرده‌سازی پاسخ‌ها برای کاهش ترافیک شبکه
  • بهینه‌سازی تنظیمات Celery و Redis برای کارایی بیشتر
  • تشخیص خودکار تعداد بهینه فرآیندهای کارگر بر اساس CPU
  • بهره‌گیری از اندپوینت‌های batch برای کاهش تعداد فراخوانی‌های API
  • محدودیت نرخ درخواست برای جلوگیری از اضافه بار سیستم

مسیرهای API جدید

اعتبارسنجی دسته‌ای (Batch)

URL: /api/batch-validate Method: POST توضیحات: اعتبارسنجی همزمان چندین فایل (حداکثر 10 فایل) و دریافت نتایج به صورت یکجا

اعتبارسنجی دسته‌ای با صف

URL: /api/batch-validateq Method: POST توضیحات: ارسال چندین فایل (حداکثر 10 فایل) به صف برای پردازش همزمان و دریافت شناسه‌های کار

دریافت وضعیت دسته

URL: /api/batch/{batch_id} Method: GET توضیحات: دریافت وضعیت و نتایج تمامی کارها در یک دسته

بررسی سلامت سیستم

URL: /health Method: GET توضیحات: بررسی سلامت کلی سیستم

URL: /ready Method: GET توضیحات: بررسی آمادگی سیستم برای پذیرش درخواست

0