8000 GitHub - savanaev/proof: Symfony Data Fetcher · GitHub
[go: up one dir, main page]

Skip to content
savanaevPublic

About

Symfony Data Fetcher

Resources

Stars

0 stars

Watchers

1 watching

Forks

Latest commit

 

History

8 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Документация по приложению для получения данных из API

Это приложение предназначено для получения и сохранения данных по всем сущностям Post из API proof.moneymediagroup.co.uk в локальную базу данных. Приложение построено на основе Symfony 7 и использует Docker, MySQL и PHP 8.3.

Описание функциональности

  • Получение данных из API: Приложение извлекает данные через REST API.
  • Сохранение данных: Все данные, включая поле body для каждого поста, сохраняются в локальную базу данных MySQL.
  • Ограничение запросов: Учитывается ограничение на количество запросов к API (не более 100 запросов в минуту с одного IP-адреса).
  • Обработка через очередь: получение данных по постам происходит через очередь сообщений, где каждый пост обрабатывается воркерами. Это позволяет распределить нагрузку и улучшить масштабируемость.
  • Масштабирование воркеров: Воркер-сервисы автоматически масштабируются в зависимости от длины очереди. Скрипт мониторинга проверяет очередь каждые 60 секунд и регулирует количество воркеров. Это позволяет динамично увеличивать или уменьшать количество воркеров в зависимости от текущей нагрузки на систему.

Конфигурация окружения

Приложение использует переменные окружения, которые определяются в файлах .env и .env.local. Основные настройки приложения:

Файл .env

# Тип клиента используемый для загрузки данных
#  * direct - прямая загрузка, без использования сторонних сервисов
#  * proxy -  загрузка с использованием прокси
HTTP_CLIENT_TYPE=proxy

# Максимальное количество страниц для обработки, при однократном вызове команды app:fetch-posts
REQUESTS_LIMIT=7

# Максимальное количество постов для повторной обработки, при однократном вызове команды app:retry-failed-requests
FAILED_REQUESTS_LIMIT=100

###> PROXY LIST ###
# brightdata.com
PROXY_HOST="brd.superproxy.io:22225"
USERNAME="brd-customer-hl_4f0d8683-zone-residential_proxy1"
PASSWORD=kxqyitd9j33r

# api.proxyscrape.com
PROXY_API_URL="https://api.proxyscrape.com/v4/free-proxy-list/get?request=display_proxies&proxy_format=protocolipport&format=json"
API_KEY=a1eeh5n0o98gnlm3z6qx
###< PROXY LIST ###
  • HTTP_CLIENT_TYPE: Тип клиента для загрузки данных (например, direct или proxy).
  • REQUESTS_LIMIT: Максимальное количество страниц для обработки при вызове команды app:fetch-posts.
  • FAILED_REQUESTS_LIMIT: Максимальное количество постов для повторной обработки при вызове команды app:retry-failed-requests.
  • Прокси настройки: Данные для подключения к прокси необходимо заменить на свои. В данной сборке реализовано два прокси провайдера на выбор, по умолчанию используется BrightData Provider.

Команды Makefile

Сборка и запуск контейнеров

make up

Эта команда соберет образы и запустит контейнеры в фоновом режиме.

Остановка контейнеров

make down

Остановить все запущенные контейнеры.

Перезапуск контейнеров

make restart

Остановить и заново запустить контейнеры.

Остановка контейнеров с очисткой

make down-clear

Остановить контейнеры и удалить все объемы данных, созданные в процессе.

Сборка образов

make build

Собрать образы для всех сервисов, определенных в docker-compose.yml.

Масштабирование воркеров

make scale-workers

Масштабирование воркеров на основе текущей длины очереди сообщений. Скрипт будет проверять количество сообщений в очереди и динамически увеличивать или уменьшать количество воркеров.

Инициализация приложения

make app-init

Установить зависимости проекта с помощью Composer.

Удаление базы данных

make db-drop

Удалить базу данных. Если база данных не доступна, будет предпринята попытка повторного подключения.

Создание базы данных

make db-create

Создать базу данных. Если база данных не доступна, будет предпринята попытка повторного подключения.

Выполнение миграций

make db-migrate

Запустить миграции базы данных. Если база данных не доступна, будет предпринята попытка повторного подключения. Выполнение миграций происходит без необходимости ввода данных пользователем.

Инициализация базы данных

make db-init

Полная инициализация базы данных: удаление, создание и выполнение миграций.

Инициализация контейров

make init

Полная инициализация: остановка контейнеров, сборка образов, запуск контейнеров, инициализация приложения и базы данных.

Масштабирование воркеров

После запуска контейнеров с помощью команды make init, создаются 10 воркеров для обработки сообщений из очереди. Также запускается скрипт, который каждые 5 минут проверяет очередь и в случае необходимости масштабирует количество воркеров. Это позволяет динамично увеличивать или уменьшать количество воркеров в зависимости от текущей нагрузки на систему.

Заметки

  • Команды db-drop, db-create, и db-migrate содержат временные задержки (sleep) для обеспечения доступности базы данных перед выполнением команд.

Cron

Приложение настроено для автоматического запуска команд через cron:

# Запуск команды для получения записей
* * * * * /usr/local/bin/php /var/www/html/bin/console app:fetch-posts >> /var/log/cron.log 2>&1

# Повторная отправка неудачных сообщений в очередь
*/5 * * * * /usr/local/bin/php /var/www/html/bin/console messenger:failed:retry >> /var/log/messenger_failed_retry.log 2>&1

Установка

Перед использованием убедитесь, что у вас установлены Docker и Docker Compose.

make init

Команды приложения

В приложении реализована одна команда, которую можно вызывать через консоль:

1. Получение данных из API

php bin/console app:fetch-posts --limit [число]
  • Описание: Эта команда извлекает данные из API и сохраняет их в локальную базу данных.
  • Параметр --limit: Максимальное количество страниц для обработки за один раз (по умолчанию берется значение из переменной окружения REQUESTS_LIMIT).
  • Блокировка: Если команда уже выполняется, будет выведено предупреждение и команда не запустится.

Лицензия

Этот проект лицензирован под лицензией MIT. См. файл LICENSE для подробной информации.

About

Symfony Data Fetcher

Resources

Stars

0 stars

Watchers

1 watching

Forks

Releases

Packages

Used by

Contributors

Languages

0