виртуальный клуб Суть времени

Базовые принципы создания системы мониторинга новостных сайтов через RSS

Просматривать каждую страницу в поисках свежей информации нецелесообразно, ибо на это уходит много времени и траффика, поэтому рекомендуется воспользоваться специально предназначенным для получения новостей XML-протоколом RSS. Используя данный метод обмена информацией можно оперативно получать свежие новости из десятков и сотен информационных источников.

Общий принцип метода


Возможность использования RSS встроена в большинство современных новостных сайтов и большинство блогов, поэтому для получения информации нужно составить список сайтов и их информационных потоков, т.н. «фидов» (англ. Feed) или иначе «лент»
Фиды транслируются в клиентское приложение по запросу пользователя. В качестве новостных клиентов можно использовать как ПО установленное на собственной машине (новостные агрегаторы), так и воспользоваться сервисами интернет-порталов (подписки/RSS-ридеры).
Ленты как правило состоят из коротких сообщений, включающих название статьи и краткое ее описание. В большинстве новостных программ и сервисов существует возможность группировки лент в папки/группы/потоки и т.п., что позволяет разделить и логически систематизировать информацию.
В потоках можно просматривать сообщения «сплошняком», либо установить фильтры на ключевые слова соответственно потребностям, но эта функция не везде доступна.

Практический пример создания трансляции ленты с сайта в подписки Яндекса


Первое, что нам понадибится это аккаунт на Яндексе. Регаемся.
В качестве полигона воспользуемся небезызвестным проамериканским ресурсом белорусской оппозиции "Хартия'97". Вверху страницы и справа - видим три так нужные нам буквы RSS. Жмем.
Появляется список лент с названиями. Допустим я хочу получать все сообщения. Тогда меня интересует поток «Все новости». Копирую ссылку в буфер обмена.

Лирическое отступление: вообще ссылки RSS-лент могут выглядеть по-другому, но мы берем простейший пример.

Заходим в аккаунт свой аккаунт на Яндексе и подставляем свои данные о потоке в специальную форму.
Поздравляю, первая лента добавлена! Теперь вы будете получать всю новую инфу, что выводится на сайте "Хартии" в подписки аккаунта Яндекса. Таких делаем столько сколько нужно. Я, например, мониторю одновременно несколько десятков ресурсов, выбираю нужную информацию и либо отдаю ее на переработку аналитикам, либо что-нибудь делаю с ней сам.

Желающим принять активное участие в анализе информационного медиа-контента РБ
Самостоятельно можно дойти лишь до определенного уровня, ничто не работает эффективнее личного общения и обмена опытом. Так вот специально для тех, кто хочет научиться новому и реально помочь в реализации мониторинга по Беларуси рекомендую обратиться к Андрею Малахову.

И специально для людей работающих по "белорусскому направлению"

Вот вам, уважаемые единомышленники, мой список фидов оппозиционных сайтов и блогов:
http://belaruspartisan.org/bp-forte/?page=1040

http://feeds2.feedburner.com/euramost

http://euroradio.by/rss.xml

http://ex-press.by/rss/topic.php?id=1

http://ex-press.by/rss/topic.php?id=3

http://ex-press.by/rss/topic.php?id=2

http://belarus.indymedia.org/frontpage/rss?feed=updates

http://www.interfax.by/news/feed

http://kilgor-trautt.livejournal.com/data/rss

http://lipkovichea.livejournal.com/data/rss

http://naviny.by/rss/alls.xml

http://odsgomel.org/rus/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/%D0%B2%D1%81%D0%B5/rss/

http://pkuznetsoff.blogspot.com/feeds/posts/default

http://news.tut.by/rss/all.rss

http://feeds.feedburner.com/ads

http://by.milinkevich.org/rss/

http://bdg.by/rss/

http://belapan.com/rss/ru_all_news.xml

http://www.bielarus.net/feed/rss/

http://belgazeta.by/rss2.0/all.rss

http://belsat.eu/be/rss/rss.xml

http://budzma.org/feed

http://bchd.info/rss.xml

http://www.euroline.by/belarus/rss.xml

http://www.ej.by/news/politics/politics.rss

http://jivebelarus.net/files/recent_rss.xml

http://mfront.net/feed

http://feeds.feedburner.com/moyby?format=xml

http://nv-online.info/feed/index.rss

http://feeds.feedburner.com/nashfarmat

http://nn.by/rss.php

http://www.perspektyva.org/news/rss/feed-89.xml

http://www.n-europe.eu/rss/columns/all

http://www.n-europe.eu/rss/blogs/all

http://www.n-europe.eu/rss/news/all

http://www.n-europe.eu/rss/people-news/all

http://www.belmy.by/news/rss/feed-22.xml

http://www.ucpb.org/news?format=feed&type=rss

http://www.belmy.by/news/rss/feed-18.xml

http://spring96.org/be/rss/

http://www.svaboda.org/rss/?count=50

http://www.charter97.org/rss.php

http://bel.biz/rss/all.xml

Переносим один за другим в свой новостной агрегатор и вот уже у нас достаточно полная картина окружающей действительности глазами белорусского оппозиционера, хотя я лично считаю, что следовало было бы несколько расширить список фидов лентами блоггеров.

Более простой способ импорта полного списка имеющихся у меня белорусских ресурсов:
Качаем прикрепленный файл. Изменяем расширение файла с тхт на xml.
Заходим в свой аккаунт в Яндексе. Справа сверху, рядом с аватаркой жмем "Настройки", затем жмем "Подписки", затем "Импортировать потоки". Все потоки импортируются.

Благодарю вас за уделенное внимание.

P.S. Может быть для кого-то я описал элементарные истины, но я заметил, что очень мало людей используют RSS для мониторинга, что является несомненным упущением. Кроме того, мониторить можно не только противника, но и друзей - например выводить на страницы своих блогов записи дружественных или официальных государственных сайтов и т.д. Используя RSS можно один материал, опубликованный на "центральном" ресурсе размножить на десятки и сотни тысяч "дочерних", а это очень мощная информационная экспансия. Вобщем, плюсов от использования очень много. Рекомендую всем попробовать.

 

ВложениеРазмер
eot-feeds.txt36.65 КБ