Дашборд краулеров
загрузка…
Сбор данных
«Давность последнего» — сколько прошло с момента,
когда с площадки пришло последнее сообщение. Это и есть проверка
«данные идут прямо сейчас»: если цифра растёт, сбор встал.
Направления сбора
Опубликованные в каталоге источники по площадкам. «От» у аудитории —
она измерена не у всех источников площадки, сумма заведомо неполная.
Расход OpenRouter
Что говорит сам OpenRouter: расход ключа и остаток на счёте. Ниже — оценка
за сегодня по моделям: токены из нашего счётчика по текущим ценам моделей.
считается…
Цифры для каналов каталога
В каталоге есть каналы, на которые мы не подписаны: они попали туда списком,
и краулер к ним не ходит. У такого канала есть название, аватарка и подписчики,
но нет ни охвата, ни ER, ни частоты постов — а без них карточку показывать нельзя,
поиск считает такие страницы пустыми.
Чтобы цифры появились, отдельный сборщик заходит на стену канала, читает последние 30 постов и считает всё нужное прямо там. Сами посты никуда не сохраняются — база от этого не растёт. Как только у канала появились цифры, он публикуется в каталоге сам.
Чтобы цифры появились, отдельный сборщик заходит на стену канала, читает последние 30 постов и считает всё нужное прямо там. Сами посты никуда не сохраняются — база от этого не растёт. Как только у канала появились цифры, он публикуется в каталоге сам.
ждут своей очереди—
цифры уже есть—
из них попали в каталог—
Обход каналов каталога краулером
Сбор цифр выше — это заход раз в неделю ради средних значений. Полноценный обход —
другое: краулер ходит на канал каждые несколько часов и сохраняет каждый пост
в базу. Тогда у канала появляется история, графики, поиск по сообщениям
и участие в рекламном графе.
Платим за это местом на диске: каждый пост весит около 2,8 КБ и остаётся навсегда.
Платим за это местом на диске: каждый пост весит около 2,8 КБ и остаётся навсегда.
считаю, во что обойдётся…
Краткое содержание сюжетов в Картине дня
Сюжетам, которые видны в ленте, нейросеть пишет новый заголовок и
саммари на 300–600 знаков по сообщениям источников. Первые заголовки
всем сюжетам ставит дешёвая модель, эта — посильнее и работает только
для верха ленты, поэтому стоит около 0,1 ₽ за сюжет. Сюжет, который с
тех пор вырос в полтора раза, получает саммари заново.
расход пока не считался
Склейка одинаковых карточек в Картине дня
Одно событие расходится по нескольким карточкам: пять заметок про один
ночной налёт, четыре про одно нападение медведя. Свести их простым сравнением
нельзя — у «Доброе утро, Самара» и «Доброе утро, Майкоп» близость 0,979,
то есть разные новости выглядят как одна.
Поэтому близость только отбирает пары-кандидаты, а решает нейросеть: ей показывают два заголовка и спрашивают, одно ли это событие. Пары, где расходятся числа или порядковые слова («второй день» и «последний день»), отбрасываются до неё. Проигравшая карточка исчезает, её сообщения переходят в оставшуюся.
Поэтому близость только отбирает пары-кандидаты, а решает нейросеть: ей показывают два заголовка и спрашивают, одно ли это событие. Пары, где расходятся числа или порядковые слова («второй день» и «последний день»), отбрасываются до неё. Проигравшая карточка исчезает, её сообщения переходят в оставшуюся.
расход пока не считался
Защита каталога от сборщиков
Перед карточками и списками каталога браузер проходит незаметную проверку:
скрипт на странице получает метку на 30 дней. Сборщик, который скачивает
страницы без JavaScript, дальше страницы проверки не проходит. Поисковики
(Google, Яндекс, Bing, Mail.ru) пускаются без проверки — их адреса сверяются
по DNS. ИИ-обходчики и превью ссылок идут с общим лимитом.
счётчиков пока нет