Дашборд краулеров
Ошибки воркеров, сборщиков и сайта за последние сутки. Одинаковые склеены в одну строку. Новый сбой сразу приходит админу в телеграм, повторяющийся — напоминанием раз в 6 часов. Нажмите на строку, чтобы увидеть подсказку и полный текст ошибки.
Сбор данных
Номера MAX
Как это работает
Каналы делятся между номерами, которые сейчас на связи: при двух номерах каждый обходит половину, при трёх — треть. Выпал номер (MAX отозвал вход, оборвалась связь) — через полминуты его долю забирают остальные. Номер можно вывести из обхода переключателем: вход у него сохранится. Новый номер встаёт в обход сразу после входа.
Основной номер, кроме своей доли, пересылает посты в буфер бота для репостов и достаёт ссылки на видео для автопубликации: диалог с ботом принадлежит конкретному аккаунту. Смена основного не перезапускает сборщик.
Все номера ходят с одного IP сервера, поэтому новые номера лучше включать по одному и смотреть на ошибки за сутки.
Без сохранённого входа сборщик к MAX не подключается и ждёт кнопку: раньше он сам запрашивал SMS при каждом перезапуске, и MAX закрывал номер по лимиту попыток. Повторно запросить код можно не раньше чем через полторы минуты. Код и пароль хранятся 5 минут и стираются, как только сборщик их прочитал; в журнал они не пишутся.
Аккаунты X
Где взять auth_token и ct0
- Откройте x.com на компьютере в Chrome и войдите в аккаунт, который хотите добавить. Лучше в отдельном профиле браузера, чтобы не путать с личным аккаунтом.
- Нажмите F12, откройте вкладку «Application» («Приложение»), слева — «Cookies» →
https://x.com. - Найдите строку
auth_tokenи скопируйте значение (40 символов). Так же скопируйтеct0— длинная строка из цифр и букв. - Вставьте оба значения в форму ниже и нажмите «Добавить», затем «Проверить».
После этого вкладку можно закрыть, но не нажимайте на x.com «Выйти»: выход отзовёт куки и у сборщика. Если аккаунт стал «Не пускают», войдите на x.com заново и обновите куки кнопкой «Обновить куки».
Выключенный аккаунт перестаёт читать свои списки, его источники постепенно разбирают остальные аккаунты. Новые аккаунты лучше добавлять по одному и смотреть на ошибки за сутки. Куки хранятся в базе и на странице не показываются целиком.
| Аккаунт | Состояние | Пояс | Последний успешный проход | Последняя ошибка | Лента | |
|---|---|---|---|---|---|---|
Резолвер Telegram
Как это работает
Лучше отдельный номер: у Telegram жёсткие лимиты на поиск и узнавание ников, и если на них упрётся аккаунт сборщика, пострадает чтение каналов.
Если код не приходит ни в чат «Telegram», ни по SMS, нажмите «Войти по QR» (номер не нужен) и отсканируйте код в приложении Telegram, где этот номер открыт: Настройки → Устройства → «Подключить устройство».
Введите номер и нажмите «Получить код». Куда придёт код, решает Telegram и пишет это в окне справа. Чаще всего это не SMS, а сообщение в приложении Telegram на другом устройстве, где этот номер уже открыт, — в чате «Telegram». Если код не пришёл, нажмите «Отправить иначе»: Telegram пришлёт SMS или позвонит. Если на аккаунте включена двухэтапная проверка, после кода понадобится пароль. Код и пароль никуда не сохраняются.
После входа прежний резолвер выключается (запись остаётся), сайт переходит на новый в течение минуты, без перезапуска. Если Telegram снова отзовёт вход, здесь будет «Вход отозван» и придёт тревога о сбое.
Цифры для каналов каталога
Как это работает
В каталоге есть каналы, на которые мы не подписаны: они попали туда списком, и краулер к ним не ходит. У такого канала есть название, аватарка и подписчики, но нет ни охвата, ни ER, ни частоты постов — а без них карточку показывать нельзя, поиск считает такие страницы пустыми.
Отдельный сборщик заходит на стену канала, читает последние 30 постов и считает всё нужное прямо там. Сами посты никуда не сохраняются — база от этого не растёт.
Обход каналов каталога
Как это работает
Сбор цифр — заход раз в неделю ради средних значений. Полноценный обход — другое: краулер ходит на канал каждые несколько часов и сохраняет каждый пост в базу. Тогда у канала появляется история, графики, поиск по сообщениям и участие в рекламном графе.
Каналы крупнее порога получают подписку основного проекта. Понизите порог обратно — подписки, созданные этим тумблером, отключатся; добавленные вручную и пользовательские не тронутся.
Защита каталога от сборщиков
Как это работает
Перед карточками и списками каталога скрипт на странице получает метку на 30 дней. Сборщик, который скачивает страницы без JavaScript, дальше страницы проверки не проходит. Поисковики (Google, Яндекс, Bing, Mail.ru) пускаются без проверки — их адреса сверяются по DNS. ИИ-обходчики и превью ссылок идут с общим лимитом.
Реферальная программа
Посты X в сюжетах
Нейросети
Расход OpenRouter
Бот поддержки
Саммари сюжетов в Картине дня
Как это работает
Сюжетам, которые видны в ленте, нейросеть пишет новый заголовок и саммари по сообщениям источников. Первые заголовки всем сюжетам ставит дешёвая модель, эта — посильнее и работает только для верха ленты. Сюжет, который с тех пор вырос в полтора раза, получает саммари заново.
Склейка двойников в Картине дня
Как это работает
Одно событие расходится по нескольким карточкам: пять заметок про один ночной налёт, четыре про одно нападение медведя. Свести их простым сравнением нельзя — у «Доброе утро, Самара» и «Доброе утро, Майкоп» близость 0,979, то есть разные новости выглядят как одна.
Поэтому близость только отбирает пары-кандидаты, а решает нейросеть: ей показывают два заголовка и спрашивают, одно ли это событие. Пары, где расходятся числа или порядковые слова («второй день» и «последний день»), отбрасываются до неё. Проигравшая карточка исчезает, её сообщения переходят в оставшуюся.
Выход за рубеж
Как это работает
Туннель (VLESS, VMess) нужен телеграму: MTProto ходит только так. Прямой прокси (порт 1080 на зарубежном сервере, с логином) — для моделей, Bot API и сайтов: он быстрее и стабильнее туннеля.
У каждой дороги может быть несколько серверов. xray несколько раз в минуту проверяет каждый и отправляет запросы в живой с наименьшим приоритетом; серверы одного приоритета делят нагрузку. Если все серверы дороги лежат, она уходит в свою запасную дорогу.
Запасная у потребителя — второй путь, который код пробует при ошибке соединения. Где код этого не умеет, запасная отмечена как неиспользуемая. Если xray лежит, потребители на туннелях и 1080 получают ошибку соединения, как раньше; «без прокси» от xray не зависит.
«Проверить» стучится до каждого сервера из приложения и, если сервер уже в рабочем конфиге, делает через него запросы к OpenRouter, Bot API и адресу MTProto телеграма. Новый сервер можно проверить только после «Применить».
Если новый конфиг не прошёл проверку xray, он не применяется: xray остаётся на старом, ошибка видна ниже.