Big Data — Database UA - База Данных Украина

Перейти к содержанию [#content] Email Telephone Translate Print Scroll to Top Scroll to Bottom Go Back Go Forward Email Telephone Translate Print О базе данных Свяжитесь с нами Главная Блог Big Data Поиск для: Навигация Блог Big Data Большие данные Архитектура ЭВМ. Данные и знания Базы данных. Классификация Big Data 1 месяц назад avr 1 минута Люди и во сне обрабатывают информацию, более того, наши сны – продукт такой обработки. Информация усложняется динамично. У мозга – колоссальные возможности структурирования информации, но скорость обработки, извлечения информации из памяти – весьма мала. До недавних пор достаточно было помощи баз данных. Как и чем справляться ныне с растущим экспоненциально объемом и потоком данных? Big Data и история ее возникновения Большие Данные / Big Data – интуитивно понятное и очень простое словосочетание. Но это видимость. Большие объемы неструктурированной и бессистемной информации хранящейся на разнородных цифровых носителях не могут быть простыми и понятными (по структуре), если не иметь соответствующую методологию и инструментарий (методы, алгоритмы, ПО). Вот это последнее и составляет суть Big Data. В современных информационных системах, в условиях рынка цифровых услуг, к сказанному по сути Big Data следует добавить еще важную составляющую – выделение скрытых связей в больших данных, которые влияют на инструментарий организации, обработки и применения больших данных. Это носит название Data Mining – майнинг, добыча данных (связей). Термин появился в начале тысячелетия, из-за проблем с обработкой многообразной и разнородной информации. На это уходило настолько много времени, что «разложить по полкам» (структурировать) и составить единую структуру (например, табличную, индексную) было невозможно. Ведь началась работа с пластами данных, с которыми ранее не работали (задачи дистанционного зондирования, медицины и др.). И вычислительной мощности также не хватало. Понятие Big Data введено редактором «Nature» К.Линчем (2008 г), в статье по феномену роста объема и разнообразия обрабатываемых данных, технологических перспектив в этом направлении. Большие данные эффективны в технологических системах («от количества к качеству»). Хотя изначально Big Data применялся в академической среде, а затем в деловой прессе, теперь его научно-методологическая база устойчива, благодаря чему IBM, Oracle и иные ИКТ-гиганты стали использовать его в своих проектах. Big Data постепенно актуализируется, благодаря своим возможностям и внутреннему потенциалу. Для некоторых это стало основной темой. Многие компании специализировались на Big Data, ответив для себя на вопрос: что лучше, зарабатывать, обрабатывая или обрабатывать, чтобы заработать? Big Data и обработка данных Данные, массивы требуют огромных ресурсов при обработке. В Big Data акцентированы три ключевые характеристики: физический объем, актуализация, многообразие и скорость (прироста, обработки). Это принцип «3V» (выше сказанные характеристики – это Volume, Velocity и Variety). Первое и самое важное отличие – структура и содержание. Малый объем относится обычно к одной сфере применения, хорошо структурируем и представим привычными структурами (ряд, таблица, список), в отличие от Big Data, в которых возможны разные типы и области данных, не связанных друг с другом. В подавляющем большинстве случаев можно данные анализировать сразу и весь объем. В Big Data информация распределена по сети, в разных учреждениях, городах и странах, на разных компьютерах. Для обработки Big Data должны быть соблюдены «большие» принципы: 1) горизонтальная масштабируемость – любой механизм (любая процедура) обработки больших данных является расширяемым (расширяемой), если увеличивается объем обрабатываемых больших данных, возрастает и количество обрабатывающих компьютеров, устройств; 2) локальность данных – информация, хранимая на одном компьютере сети, может быть структурирована и обработана на другом, причем время коммуникации может быть выше времени обработки, следовательно, лучше данные обрабатывать на «своем» сервере (сервере хранения); 3) отказоустойчивость – так как ЦОД Big Data активизирует тысячи компьютеров, а уследить за их состоянием невозможно, Big Data-решение должно минимизировать вероятности сбоев и время самовосстановления, сбой обходится без последствий все системе. Big Data и соцсети Богатым источником данных являются социальные сети, множество онлайн-платформ, веб-сайтов, форумов, блогов. Создав страницу в сети, полностью удалить данные уже не удастся. Можно лишь плавно перейти к другому источнику данных, «веб-архиву». С появлением Big Data данные о многом и многих стали общедоступны в сетях, под покровительством IT-гигантов и иных структур, например, медиа-СМИ. Ключевая особенность Big Data – распределённая архитектура, распределенные по вычислительному кластеру данные. Это очень выручает в соцсетях. Например, у каждого – аккаунты в соцсетях с фото, сообщениями, ВКонтакте, в частности, ежедневно пересылается 5 миллиардов сообщений. Это «настоящая работа для Big Data». Информация добывается из соцсетей. Соцмедиа – крупные площадки, выстраивающие сообщество, привлекая определенного вида контентом: социальными форумами, блогами, соцсетями, интерактивными приложениями, медиа-сервисами и авторским контентом. Источники информации – организации, компании, агентства и др. Они собираю и концентрирую данные непрерывно, в виде аудио и видео, цифры и текста, с помощью идентификаторов и датчиков. Соцсети видят пользовательскую активность, автоматически информация эта попадает в коммуникационную ленту. Машины, анализируя поведение в соцсетях, выстраивают реклама, не только контекстную (под аудиторию, под продукт). Всё запоминается, учитывается: что и где ищем, психотип пользователя, находятся взаимосвязи, никак не «вытаскиваемые» из данных без Big Data b и Data Mining. Big Data и бизнес В цифровом бизнесе, экономике без Big Data уже не мыслят эффективные бизнес-процессы. Например, во внешнеэкономической деятельности важно оперативно обрабатывать данные финансового контроля на международном рынке, поддерживать такие бизнес-процессы, как, например, «таможенный интегрированный контроль», предотвращающий двойное налогообложение, споры с таможней и др. Big Data позволяет разрабатывать и актуализировать «человеческие» (например, 3D-визуализированные) результаты, воспринимаемые релевантно органами и сознанием человека. Например, в системах визуального (или «на лету») программирования, применяется принцип WYSIWYG («Что наблюдаешь, то и получаешь, просматривая визуализированное») или онлайн-редакторы, напрямую «заливающие» на сайт проект (FrontPage и др.). В коммерции, Big Data отражает большее, чем подсчет посетителей и продаж. Это единый комплекс, включающий конверсию, «средний чек», задержки и маршрут посетителя, его продуктовые интересы и «взгляды на полки». Тысячи покупателей супермаркета прикладывают карты, оставляя в памяти машины информацию о покупке. Нейро-алгоритмы анализируют эти данные и нейросеть делает выводы, агрегируемые в больших данных (ЦОД), куда доступ запрещён. Можно распределять (таргетировать) клиентов по потребительским предпочтениям, формируя персональные предложения магазина «под конкретного клиента». Big Data в иных сферах Big Data применяется не только в бизнесе, а и в здравоохранении, госуправлении, торговле и др. Примеры привлечения в различные сферы: 1) обработка телеметрических данных при зондировании Земли; 2) обработка и хранение данных в соцсетях (лайки, логи поведения и др.); 3) управление GPS-сигналами; 4) структурирование и доступ к электронным библиотекам (Конгресса США, ГПНТБ и др.); 5) развитие систем программирования (типизация языков, методологии, например, ASP.NET и др.); 6) сайтостроение сложно структурированные ресурсов (порталов) – есть и поддерживающие технологии – JSP (Java), Ruby (быстрого запуска сайта), HTMLPad (редактирования) и др. Развитие Big Data позволило решить фундаментальные практические проблемы. Например, в Красноярские в середине девяностых за 20 лет разработали систему идентификации по спутниковых снимкам лесных пожаров по всей России. Если до Big Data и один снимок был значим, обрабатывался неделями, то с помощью Big Data ежедневно обрабатывают десятки-тысячи. Клиент-компьютер в состоянии обрабатывать до терабайта данных ежедневно. Решаема задача перехода к поколению 3.0 программ технологического обеспечения. Заключение Иногда внимание IT-гигантов и сетей к Big Data несколько пугает, но нужно понимать, что мы вступили в эпоху Данные 2.0. Этот технологический процесс уже не остановить и, в этом смысле, единственное, что можно посоветовать – следить за «информационной гигиеной», за тем, что и где пишите, какую информации о себе оставляете на ресурсе. Одна из целей Big Data – снижение транзакционных издержек. Big Data уменьшит их, людям потратить нужно станет меньше времени с момента, как они обдумали и составили «потребительский профиль» предстоящей покупки до ее реализации. В Big Data-компаниях смогут нам быстро предоставить все данные для этого. Share this: Поделиться Twitter Facebook Печать LinkedIn Reddit Tumblr Pinterest Pocket Telegram WhatsApp Skype Понравилось это: Нравится Загрузка... people found this article helpful. What about you? #Все о Big Data © 2022 SEO База Данных Украина | Database.com.ua На базу Политика конфиденциальности Приложение Database UA Установить × Install this DATABASE UA on your iPhone and then Add to Home Screen × %d такие блоггеры, как: Включить уведомления OK Нет, спасибо