Это приложение предназначено для получения и сохранения данных по всем сущностям Post из API proof.moneymediagroup.co.uk в локальную базу данных. Приложение построено на основе Symfony 7 и использует Docker, MySQL и PHP 8.3.
- Получение данных из API: Приложение извлекает данные через REST API.
- Сохранение данных: Все данные, включая поле body для каждого поста, сохраняются в локальную базу данных MySQL.
- Ограничение запросов: Учитывается ограничение на количество запросов к API (не более 100 запросов в минуту с одного IP-адреса).
- Обработка через очередь: получение данных по постам происходит через очередь сообщений, где каждый пост обрабатывается воркерами. Это позволяет распределить нагрузку и улучшить масштабируемость.
- Масштабирование воркеров: Воркер-сервисы автоматически масштабируются в зависимости от длины очереди. Скрипт мониторинга проверяет очередь каждые 60 секунд и регулирует количество воркеров. Это позволяет динамично увеличивать или уменьшать количество воркеров в зависимости от текущей нагрузки на систему.
Приложение использует переменные окружения, которые определяются в файлах .env и .env.local. Основные настройки приложения:
# Тип клиента используемый для загрузки данных
# * direct - прямая загрузка, без использования сторонних сервисов
# * proxy - загрузка с использованием прокси
HTTP_CLIENT_TYPE=proxy
# Максимальное количество страниц для обработки, при однократном вызове команды app:fetch-posts
REQUESTS_LIMIT=7
# Максимальное количество постов для повторной обработки, при однократном вызове команды app:retry-failed-requests
FAILED_REQUESTS_LIMIT=100
###> PROXY LIST ###
# brightdata.com
PROXY_HOST="brd.superproxy.io:22225"
USERNAME="brd-customer-hl_4f0d8683-zone-residential_proxy1"
PASSWORD=kxqyitd9j33r
# api.proxyscrape.com
PROXY_API_URL="https://api.proxyscrape.com/v4/free-proxy-list/get?request=display_proxies&proxy_format=protocolipport&format=json"
API_KEY=a1eeh5n0o98gnlm3z6qx
###< PROXY LIST ###
- HTTP_CLIENT_TYPE: Тип клиента для загрузки данных (например,
directилиproxy). - REQUESTS_LIMIT: Максимальное количество страниц для обработки при вызове команды
app:fetch-posts. - FAILED_REQUESTS_LIMIT: Максимальное количество постов для повторной обработки при вызове команды
app:retry-failed-requests. - Прокси настройки: Данные для подключения к прокси необходимо заменить на свои. В данной сборке реализовано два прокси провайдера на выбор, по умолчанию используется BrightData Provider.
make upЭта команда соберет образы и запустит контейнеры в фоновом режиме.
make downОстановить все запущенные контейнеры.
make restartОстановить и заново запустить контейнеры.
make down-clearОстановить контейнеры и удалить все объемы данных, созданные в процессе.
make buildСобрать образы для всех сервисов, определенных в docker-compose.yml.
make scale-workersМасштабирование воркеров на основе текущей длины очереди сообщений. Скрипт будет проверять количество сообщений в очереди и динамически увеличивать или уменьшать количество воркеров.
make app-initУстановить зависимости проекта с помощью Composer.
make db-dropУдалить базу данных. Если база данных не доступна, будет предпринята попытка повторного подключения.
make db-createСоздать базу данных. Если база данных не доступна, будет предпринята попытка повторного подключения.
make db-migrateЗапустить миграции базы данных. Если база данных не доступна, будет предпринята попытка повторного подключения. Выполнение миграций происходит без необходимости ввода данных пользователем.
make db-initПолная инициализация базы данных: удаление, создание и выполнение миграций.
make initПолная инициализация: остановка контейнеров, сборка образов, запуск контейнеров, инициализация приложения и базы данных.
После запуска контейнеров с помощью команды make init, создаются 10 воркеров для обработки сообщений из очереди. Также запускается скрипт, который каждые 5 минут проверяет очередь и в случае необходимости масштабирует количество воркеров. Это позволяет динамично увеличивать или уменьшать количество воркеров в зависимости от текущей нагрузки на систему.
- Команды
db-drop,db-create, иdb-migrateсодержат временные задержки (sleep) для обеспечения доступности базы данных перед выполнением команд.
Приложение настроено для автоматического запуска команд через cron:
# Запуск команды для получения записей
* * * * * /usr/local/bin/php /var/www/html/bin/console app:fetch-posts >> /var/log/cron.log 2>&1
# Повторная отправка неудачных сообщений в очередь
*/5 * * * * /usr/local/bin/php /var/www/html/bin/console messenger:failed:retry >> /var/log/messenger_failed_retry.log 2>&1
Перед использованием убедитесь, что у вас установлены Docker и Docker Compose.
make initВ приложении реализована одна команда, которую можно вызывать через консоль:
php bin/console app:fetch-posts --limit [число]- Описание: Эта команда извлекает данные из API и сохраняет их в локальную базу данных.
- Параметр
--limit: Максимальное количество страниц для обработки за один раз (по умолчанию берется значение из переменной окруженияREQUESTS_LIMIT). - Блокировка: Если команда уже выполняется, будет выведено предупреждение и команда не запустится.
Этот проект лицензирован под лицензией MIT. См. файл LICENSE для подробной информации.