Соберём объявления и новости в общую систему: с чистыми данными, без повторов и с регулярным обновлением
Получите свежую ленту, откройте любую карточку и проследите путь данных. Повторите обработку — уже сохранённые новости не добавятся второй раз
Официальная экологическая лента EEA. Публикации загружаются напрямую из открытого RSS; оригиналы сохраняются на английском
Откройте карточку, исходные данные или журнал обработки
Новостей пока нет
У каждой новости есть оригинальная ссылка. В карточке можно сравнить полученные поля с тем, что сохранено в базе
В этом примере записи сопоставляются по ссылке источника. Повторная обработка показывает, сколько новостей уже есть в базе
Новости доступны в интерфейсе и в JSON. По такому же принципу подготовим передачу данных в вашу платформу
Настроим сбор, общую структуру записей и обновление для каждого направления
Покупка, продажа, вывоз и переработка. Соберём доступные поля: тип отходов, объём, цену, регион, организацию, дату и ссылку. ФККО и класс опасности — когда они указаны в источнике
Заголовок, анонс, тема, дата и первоисточник. Подключим нужные издания и открытые ленты, настроим обновление и передачу публикаций в новостной раздел
Список приоритетных площадок, нужные поля и описание подключения к платформе
Изучим структуру и условия доступа, подберём способ получения данных, настроим очистку и правила поиска дублей
Настроим передачу через API или базу, расписание обновлений и журнал ошибок. Передадим код и инструкцию
Мы уже показали сбор и обработку на реальном источнике. Следующий шаг — ваши площадки и платформа. Пришлите список источников и описание подключения: предложим последовательность запуска и согласуем результат первого этапа
Перейти к проекту в Kwork ↗Продолжим обсуждение в переписке по нашему отклику
Этот пример можно пройти от запроса к открытому RSS до записи в базе. На ваших источниках выстроим нужные правила сбора и подключим результат к рабочим разделам платформы
Вернуться к живому примеру ↑