KubeQ یک سرویس API برای اعتبارسنجی فایلهای Kubernetes است که امکان بررسی انواع منابع Kubernetes را فراهم میکند.
- اعتبارسنجی مستقیم (Synchronous) فایلهای YAML کوبرنتیس
- اعتبارسنجی با صف (Asynchronous) برای پردازش در پسزمینه
- سیستم retry خودکار برای تسکها در صورت وقوع خطا
- استفاده از ابزارهای
kubevalوkube-scoreبرای بررسی فایلها - مدیریت کلیدهای Redis با Expiry زمانی
- کشکردن نتایج برای بهبود سرعت پاسخدهی
- پردازش دستهای (Batch) برای کارایی بالاتر
- سیستم محدودیت نرخ برای مقابله با ازدحام
- Python 3.8+
- Redis
- kubeval
- kube-score
- ساخت محیط مجازی و نصب وابستگیها:
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt- نصب ابزارهای مورد نیاز:
- برای نصب kubeval:
# MacOS
brew install kubeval
# Linux
wget https://github.com/instrumenta/kubeval/releases/latest/download/kubeval-linux-amd64.tar.gz
tar xf kubeval-linux-amd64.tar.gz
sudo cp kubeval /usr/local/bin- برای نصب kube-score:
# MacOS
brew install kube-score
# Linux
wget https://github.com/zegl/kube-score/releases/download/v1.10.0/kube-score_1.10.0_linux_amd64.tar.gz
tar xf kube-score_1.10.0_linux_amd64.tar.gz
sudo mv kube-score /usr/local/bin- اجرای Redis:
redis-server- اجرای Celery Worker:
python start_worker.py- اجرای سرویس API:
uvicorn app.main:app --reloadURL: /api/validate
Method: POST
توضیحات: تأیید اعتبار فایل به صورت مستقیم و دریافت نتیجه بلافاصله
نمونه درخواست:
{
"content": "apiVersion: apps/v1\nkind: Deployment\nmetadata:\n name: nginx\nspec:\n selector:\n matchLabels:\n app: nginx\n template:\n metadata:\n labels:\n app: nginx\n spec:\n containers:\n - name: nginx\n image: nginx:latest",
"file_type": "yaml"
}URL: /api/validateq
Method: POST
توضیحات: تأیید اعتبار فایل با استفاده از صف و دریافت job_id برای پیگیری نتیجه
نمونه درخواست: مشابه اعتبارسنجی مستقیم
URL: /api/job/{job_id}
Method: GET
توضیحات: دریافت وضعیت و نتیجه یک کار با شناسه job_id
این سیستم دارای مکانیزم retry چند لایه برای اطمینان از انجام موفق تسکها است:
- هنگام ارسال تسک به Celery، تا ۳ بار در صورت خطا تلاش میکند
- هنگام ذخیرهسازی در Redis، تا ۳ بار در صورت خطا تلاش میکند
- هنگام دریافت نتایج، تا ۳ بار در صورت خطا تلاش میکند
- در صورت نیاز، از شناسه تسک Celery به عنوان فالبک استفاده میکند
- هر تسک میتواند تا ۳ بار با فاصله زمانی افزایشی دوباره اجرا شود
- انواع خطا مانند خطای اتصال به Redis، خطاهای سیستمی و خطاهای subprocess پشتیبانی میشوند
- از backoff تصاعدی برای جلوگیری از ازدحام استفاده میشود
- همه کلیدهای Redis پس از ۳ دقیقه منقضی میشوند
- نتایج تسکها نیز پس از ۳ دقیقه از حافظه Redis پاک میشوند
برای مدیریت صف و کلیدهای Redis میتوانید از اسکریپت manage_queue.py استفاده کنید:
# نمایش همه کارها در صف
python manage_queue.py list
# نمایش آمار
python manage_queue.py stats
# پاک کردن همه دادهها
python manage_queue.py clean_all
# بهروزرسانی زمان انقضا
python manage_queue.py update_expiry --seconds 300برای تست سیستم میتوانید از اسکریپت test_validation.py استفاده کنید:
# تست هر دو نوع اعتبارسنجی
python test_validation.py
# تست فقط اعتبارسنجی مستقیم
python test_validation.py direct
# تست فقط اعتبارسنجی با صف
python test_validation.py queueبرای اطلاعات بیشتر درباره بهینهسازیهای انجام شده و نحوه تنظیم سیستم برای حداکثر کارایی در محیطهای پر ترافیک، به فایل PERFORMANCE.md مراجعه کنید.
این سیستم دارای این بهینهسازیها است:
- کشکردن نتایج در حافظه برای پاسخدهی سریعتر
- فشردهسازی پاسخها برای کاهش ترافیک شبکه
- بهینهسازی تنظیمات Celery و Redis برای کارایی بیشتر
- تشخیص خودکار تعداد بهینه فرآیندهای کارگر بر اساس CPU
- بهرهگیری از اندپوینتهای batch برای کاهش تعداد فراخوانیهای API
- محدودیت نرخ درخواست برای جلوگیری از اضافه بار سیستم
URL: /api/batch-validate
Method: POST
توضیحات: اعتبارسنجی همزمان چندین فایل (حداکثر 10 فایل) و دریافت نتایج به صورت یکجا
URL: /api/batch-validateq
Method: POST
توضیحات: ارسال چندین فایل (حداکثر 10 فایل) به صف برای پردازش همزمان و دریافت شناسههای کار
URL: /api/batch/{batch_id}
Method: GET
توضیحات: دریافت وضعیت و نتایج تمامی کارها در یک دسته
URL: /health
Method: GET
توضیحات: بررسی سلامت کلی سیستم
URL: /ready
Method: GET
توضیحات: بررسی آمادگی سیستم برای پذیرش درخواست