Твиттер откроет исходники собственного аналитического ПО Storm

Твиттер Увеличивая комплекс программ для обработки данных, соцсеть Твиттер в скором времени разместит начальные коды своего компьютерного дополнения Storm, созданного для теста в живую крупномасштабных массивов данных. Дополнение Storm считается одним из своих решений Твиттер, созданных для работы с большими массивами информации.

В начале июля 2014 г организация получила программиста BackType, поставлявшего приборы для теста и изучения данных в интернете Твиттер. С помощью товаров данной организации очень многие компании подвергали анализу данные, сопряженные с их организацией, откликами клиентов и общением штата. ПО Storm, базирующееся на исследованиях BackType, на техническом уровне похоже на открытый комплекс Apache Haddop, однако в отличии от заключительного лучше адаптировано для работы с регулярно обновляющимися и меняющимися струями данных, такими как ленты новостей Твиттер.

В Твиттер рассказывают, что с помощью этого продукта клиенты могут легче и существенно стремительней подвергать анализу данные в живую. Подвергать анализу данные и держать итоги Storm может как в стандартных документах, так и в неструктурированных хранилищах либо базах данных. На техническом уровне Storm может подвергать анализу как Twitter-ленты, так и прочие регулярно обновляемые данные. Одним из плюсов продукта считается его легкость и большие возможности по применению.

Storm представляет из себя модель CEP-программ (complex event processing), похожих на те, что на платной базе производят организации SAP и Oracle. Но в отличии от 2-ух заключительных Storm не имеет интегрированного механизма сохранения, в связи с тем что надеется на наружные хранилища.

Продукт должен быть презентован на пресс-конференции Strange Loop в Соединенных Штатах в сентябре. В настоящее время не менее доскональные данные доступны в сайте Твиттер по адресу http://engineering.твиттер.com/2011/08/storm-is-coming-more-details-and-plans.php

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *