В общем, сделано очень костыльно, этим не горжусь. Парсер ссылок собран на python. Он:
- Создает папку результат;
- Создает отдельную папку на каждую дату зарегестрированных доменов;
- Создает отдельный файл с ссылками каждой страницы, т.к. объем данных большой пришлось разбить.
Golang файл:
- Открывает файл с ссылками;
- Приводит все к нужному виду;
- Собирает информацию из открытых источников о домене;
- Складывает первичную информацию в Монго;
- Если данный хост уже резолвился, то обновляет информацию о хосте, добавляя в пост бд новые строчки с пометкой update.