Tweets Researcher

Search here:


Зачем мне мониторинг твитов?

Мониторинг твитов - это процесс постоянного сбора записей с твитера. Этот способ хорош для агрегирования актуальной информации без перерывов, каждый день, час, секунду. Собранные данные затем могут быть использованы для дальнейшей обработки либо показа пользователям.

Кому мониторинг твитера на базе нашего twitter search api может помочь и чем?

1. Незаменимое решение для сервиса финансовой аналитики

Нужно постоянно следить за тем, что думают первые лица компании?

Это решение для вас. В связке с анализом эмоционального окраса речи вы сможете в автоматическом режиме отфильтровывать даже терабайты текста и выбирать самые существенные твиты, что даст возможность очень быстро прогнозировать цены на биржевых рынках.

2. Аттракция для спортивных ставок

В ставках на спорт очень важно порой знать о моральном состоянии игроков. Игрок волнуется, пьян либо чем-то недоволен перед игрой — данная информация поможет вашим посетителям принять соответствующее решение.

3. Мониторинг твитов высказываний политиков и публичных личностей

Многие средства массовой информации пользуются открытой политикой твитера и размещают твиты знаменитостей в своих новостях, пишут на их основании контент. С нашим REST API этот процесс становится на порядок быстрее.

4. Мониторинг конкурентов

Нужно постоянно следить за новинками на рынке либо быть в курсе того, “чем дышат" и о чем говорят первые лица конкурентов — почему бы не мониторить их публичные аккаунты твитер и запросы, хештеги, что с ними связаны? Только отправьте нам форму, что есть внизу и мы готовы помочь вам в правильном сборе ценной информации.

5. Построение третьих приложений и сервисов

Мониторинг твитов — это лишь инструментарий (лопата :-) ), который может быть использован именно под ваши цели и условия.

Можно ли мониторить твиты самому?

С первого взгляда может показаться, что просмотр данных с твитера — это несложное решение. В принципе, можно даже вручную мониторить эту соц. сеть на предмет искомых событий. Для небольших исследований применение ручного принципа с последующим коллекционированием нужных данных или даже простого их анализа подходит обычный серфинг в интернете. Но что делать, если количество аккаунтов, что необходимо анализировать превышает десяток, сотню? В голову приходит надобность искать готовые решения.

Ура! Поздравляем, вы нашли именно то решение, что вам нужно!

Серьёзно, без шуток, этот продукт был создан в таких же условиях: т.е. мы имели потребность в постоянном сборе данных по интересующим нас параметрам с твитера.

Почему мы написали своего краулера твитов?

Разумеется, твитер имеет свой API, данное решение из коробки прекрасно справляется с написанием/редактированием/удалением твитов, но, к примеру, в вопросе сбора данных есть ограничения, которые заложены системой.

И тут возникла мысль…

Имея сказанную чуть выше информацию, наша команда перфекционистов (не побоюсь этого слова) решила применить свои навыки в построении классического REST API и сделать продукт, который сможет обрабатывать существенно больше информации и быстрее чем уже существующие решения. К слову, на данный момент, суммарная нагрузка на наш краулер составляет 1.800.000 запросов в час и этот показатель может быть существенно увеличен.

Как мы мониторим твиты для вас?

Наш системный подход и балансировка нагрузки + стандарты безопасности позволили создать:

Наш twitter search api: техническая сторона мониторинга твитов

На данный момент наш мониторинг реализован при помощи ряда технических решений на PHP, JS, Python и даже Go, которые позволили создать нечто наподобие Google bot-у (т.е. краулер), но с основой на:

Сейчас наша система может не только мониторить твитер, но и имеет также кеш хранения данных, на случай если с вашей стороны возникнут проблемы, что позволит потом восстановить всю собранную информацию. Более того, мы можем хранить данные в своей БД для вас и поставлять вам нужную информацию либо в виде файлов необходимого формата, либо через наш API.

Каковы наши рекомендации по использованию твитов, собранных в результате мониторинга при помощи twitter search api?

Наш юрист разработал главные основы, которые позволят вам обезопасить себя от легального воздействия на ваши процессы мониторинга твитов. Данная информация посвящена, прежде всего, публикованию информации:

1. Не публикуйте информацию из закрытых источников, ведь они же для чего-то закрыты(!)

твиты скрытых пользователей публиковать и собирать не стоит, поскольку здесь на лицо нарушение политики приватности пользователя. Если аккаунт доступен всем — он будет индексироваться также поисковыми системами. Т.е. такие аккаунты, согласно правилам предоставления услуг твитера, соглашаются на то, что их твиты могут быть публично доступны всем и коллекционироваться поисковыми системами в том числе.

2.Присваивать чужой твит себе - плохая идея

Если вы заказали у нас, к примеру, мониторинг твитов по ключевому слову “Тесла" и наш монитор твитов даст вам всю информацию в режиме онлайн, то не стоит ее размещать как таковую, что принадлежит вам (т.е. указывать авторство при размещении на своем сайте - обязательная процедура).

Почему так?

Все предельно просто - по всему миру косвенно или прямо признано, что информация в интернете, размещенная человеком, организацией - также защищается интеллектуальной собственностью. На данный момент твитер позволяет делать мониторинг и публикацию твитов, но указывать авторство все же стоит. Впрочем, если вы мониторите свои аккаунты — можете смело делать, что душе угодно.

Реальные примеры мониторинга твитов:

1. Киберспортивная аппликация

Только представьте себе базу в несколько тысяч записей в виде карточек киберспортсменов, что принадлежит крупному информационному ресурсу в сфере киберспортивных матчей. Сайт задаётся целью увеличить показатель вовлечения аудитрии (Engagement rate) и решает внедрить мониторинг твитов по каждому игроку.

Схема работы следующая:

Пользователь с премиум подпиской заходит на нужный профиль -> отправляется POST запрос на наш сервер -> собираются данные с профиля игрока на твитере и данные с по всему твитеру, на основании поиска по словам, что относятся к игроку -> полученная информация отправляется на фронт сайта для пользователя.

2. Мониторинг конкурентов в twitter search api от Twitter Research

Для фирмы в сфере продажи напитков формируется канал из всех конкурентов в её регионе продаж. Главная задача, которая стоит перед организацией: выявлять акции и новинки для быстрого реагирования сети продаж на изменения у конкурентов.

3.Помощь в принятии решения для финансового аналитика

Для сервиса, который занимается агрегацией данных с бирж, таких как NASDAQ, крайне важны несколько показателей:

Добавить твиты ведущих представителей компаний к финансовой аналитике здесь стало удачным решением, поскольку пользователи получили возможность получать помимо сухой статистики с фин. рынков также возможность анализировать дополнительные риски исходя из высказываний первых лиц. Таким образом, мониторинг твитов здесь очень даже пришелся кстати.

Несколько слов о twitter search api от создателя

Антон Дмитренко - создатель краулера

Приветствую всех! Меня зовут Антон Дмитренко, я являюсь одним из отцов-основателей данного проекта twitter search api от Tweets Research. Моими силами создан поисковой движок данной системы для сбора твитов с twitter. Я написал движок для полноценного мониторинга/поиска/сбора твитов, а также выполнил его демо-версию. Моя инспирация основывалась на, прежде всего, потребности. с которой столкнулся я. Задача была в том, чтобы искать и собирать данные в виде публичных твитов и делать это в больших объемах, с высокой точностью и легально.

Как собирать данные в twitter search api?

Создать интерфейс для взаимодействия - это не так сложно, но наиболее существенной проблемой стала именно акселерация данных и их качественная выгрузка. Т.е. ограничения твитера не позволяли использовать его API, что создавало потребность в реализации своего программного продукта. Проведя всесторонний анализ проблемы было принято решение писать краулер (crawler) для сбора данных согласно robots.txt, что полностью соответствует всем соглашениям. В течение полугода я писал со своим коллегой продукт, которой смог бы удовлетворить потребности клиентов в качественном сборе информации.

И вот, теперь, достигнув рабочей и стабильной версии мы с уверенностью можем обслуживать ваши потребности в данных.

Схема работы API и краулера:

Схема работы нашего twitter search api На данном наброске: 1 - это ваш запрос, а 2 - ответ сервиса в json формате.

Чем твитер хорош для мониторинга конкурентов?

Мы выделяем два варианта для проведения мониторинга конкурентов, где twitter search api очень пригождается:

Под понятием "социальная позиция" мы подразумеваем, конечно, мнения о товарах, услугах либо акциях, а также о определенных событиях, полученных при помощи twitter search api от нас.

Типичные ситуации, которые наша система может для вас мониторить:

Быстрый доступ к информации о конкурентах - это залог быстроты ваших действий, что выражается в создании конкурентных преимуществ на действие противоположной стороны.

Как мониторинг твитов может мне помочь в моем data-analytics проекте?

Схема нашей работы заключается в том, что начиная с нами сотрудничество, да и на любой его стадии, вы имеете возможность выбрать необходимый формат данных, которые вам нужно получать, запросы, по которым есть потребность в получении информации, либо же воспользоваться нашим API.

Самое главное наше преимущество:

Получайте данные где и когда вам нужно, без ограничений, в любом формате

Получите Ваш персональный премиум прямо сейчас!

Что я получу?

  • 1. Персональная поддержка 24/7.
  • 2. Данные о всех твитах.
  • 3. Максимальное время мониторинга для запросов 3 минуты/запрос.
  • 4. Неограниченное количество запросов с одного ip.
  • 5. Вы можете выбрать любой формат отчёта (excel, csv или API ответ в json).