Представьте себе, что когда мы занимаемся своей повседневной жизнью — просматриваем веб-сайты, покупаем что-то, пользуемся шампунем определенной марки — следы информации рассыпаются по нашему следу; информация настолько объемна и разнообразна по своему содержанию, форме и направленности, что любому среднему человеку было бы чрезвычайно трудно систематизировать и анализировать ее без помощи специализированных программных приложений или оборудования. В этом заключается цель аналитики больших данных, и благодаря последним достижениям в области технологий она стала ключевым преобразующим инструментом для процветания организаций в современной цифровой экономике.
Чтобы начать понимать, что такое большие данные, мы разберем их словесные составные части. Простое рабочее определение данных: любая информация, которая может храниться, обрабатываться или передаваться в электронном виде с помощью такой машины, как компьютер. Ключевой дескриптор Большой используется для обозначения того, что эти наборы данных настолько обширны и сложны по своим функциям, что традиционные программные приложения, обычно используемые на наших настольных компьютерах, не могут эффективно их обрабатывать. Еще одной важной особенностью, которая усложняет анализ больших данных, является их сильная тенденция к экспоненциальному росту с течением времени, требующая машин и программных инструментов с огромными вычислительными мощностями, которые могут не отставать от скорости их роста.
Наконец, что наиболее важно, большие данные также следует понимать с точки зрения их контекстуального применения и потенциальной ценности, а также цифровых характеристик. Правительства и предприятия могут использовать информацию, полученную в результате аналитики больших данных, для принятия более эффективных решений, участия в более высоких уровнях инноваций и улучшения автоматизации процессов. Важно, чтобы организации могли извлекать и использовать секреты больших данных, а не просто владеть ими.
Полезным способом запомнить эти особенности при обсуждении больших данных является статья Gartner 3 V’s of Big Data (2012):
- Объем описывает объем хранимых данных, связанных с большими данными. Никто на самом деле не знает, сколько данных генерируется и хранится по всему миру в любой момент времени, но это число, несомненно, огромно.
- Разнообразие относится ко многим формам данных, которые включены в область анализа больших данных. По мере оцифровки большего количества форм информации появляются две конкретные группы: структурированная и неструктурированная. Структурированные формы данных подчиняются определенному набору правил, например: деньги всегда будут представлены в виде чисел и иметь два десятичных знака, имена всегда будут даваться в текстовой форме и т. д. Эти точки данных идеально подходят друг другу. в реляционной базе данных. Для неструктурированных данных таких правил нет: музыкальный файл, изображение, публикация в социальной сети — эти формы данных основаны исключительно на человеческом понимании. Одной из целей больших данных является осмысление этих неструктурированных данных — одним из ярких примеров является исследование и рекомендация Cambridge Analytica лозунгов в поддержку Трампа, включая «Осушить болото», которые оказали заметное влияние на продвижение кампании Трампа во время выборов в США в 2018 г. выборы.
- Скорость. Скорость данных относится к частоте входящих данных, которые необходимо обрабатывать.
К ним были добавлены еще два V:
- Достоверность относится к тому, являются ли данные репрезентативными для изучаемой совокупности. Все типы данных имеют присущие им расхождения, и аналитики данных должны знать об этом.
- Ценность. Основная цель аналитики больших данных — получение социальной или экономической ценности.
"[Источник.]"
Как собираются большие данные?
Вместо традиционных полевых обследований или методов ручного ввода данных сбор больших объемов информации сегодня стал значительно более эффективным и менее затратным. Организации часто встраивают программное обеспечение в свои цифровые сервисы для автоматического сбора данных всякий раз, когда мы, как пользователи, взаимодействуем с ними — данные отправляются пользователем-клиентом непосредственно в базу данных, не требуя внимания какого-либо персонала. Мы можем бронировать билеты на самолет, покупать продукты, делать банковские вклады и многое другое в Интернете — и все это без необходимости разговаривать с одним человеком.
В некоторых случаях мы, пользователи, не всегда полностью осознаем (или контролируем) объем или содержание данных, которые мы передаем.
Возьмем, к примеру, «веб-куки»: небольшой файл данных, отправляемый веб-сайтом для хранения на нашем компьютере во время просмотра, к которому может получить доступ как клиентский компьютер, так и веб-сервер для записи определенных действий пользователя. Включение файлов cookie не является строго обязательным для предоставления пользователям доступа к веб-сайту, однако предполагается, что оно должно обеспечить лучший просмотр, отправляя статистику о том, какие страницы вы просматриваете, на веб-серверы сайта, которые могут: например, отображать рекламные ссылки о продукте вы искали всего несколько мгновений назад.
Текущие отраслевые приложения.
Аналитика больших данных может преобразовать практически любую современную отрасль. Хотя этот краткий список отраслевых приложений не является исчерпывающим, он служит для краткого обзора возможностей, открываемых сегодня большими данными.
- Продажи и маркетинг
Аналитика больших данных признана важнейшим инструментом и источником ценности для продаж и маркетинга во многих организациях. Одним из ярких примеров является британский гигант розничной торговли Tesco, который произвел революцию в том, как предприятия отслеживают активность клиентов. Клубная карта Tesco была представлена в 1995 году и получила широкое распространение благодаря преимуществам программы лояльности. С тех пор продуктовый ритейлер успешно перешел на онлайн-платформу розничной торговли. Отслеживая сегодня сумки с покупками 17 миллионов клиентов по всей Великобритании, Tesco может получить ценную информацию, чтобы извлечь выгоду из меняющегося потребительского спроса, сократить пищевые отходы и повысить эффективность логистики и цепочек распределения для снижения затрат и минимизации воздействия на окружающую среду. Проблемы могут быть обнаружены в течение нескольких дней при внедрении нового продукта, а изменения внедряются в течение нескольких недель по всей стране. Теперь организация розничной торговли продолжает вкладывать средства в сбор данных о клиентах и продуктах в режиме реального времени, чтобы можно было решать проблемы по мере их возникновения. "[Источник.]" - Страхование
Первопроходцы в страховой отрасли стремятся использовать достижения в области больших данных, чтобы завоевать лояльных клиентов, создавая более персонализированные, индивидуальные продукты. Благодаря аналитике больших данных страховщики могут получить более полное представление о социально-финансовом положении своих клиентов, чем то, что могут предложить их конкуренты, что дает им значительное конкурентное преимущество. Одна из основных проблем, с которыми сегодня сталкиваются страховые компании, заключается в том, чтобы первыми приобрести необходимые для этого технологии. "[Источник.]" - Управление, социальное наблюдение и социальная инженерия
Правительство Китайской Народной Республики (КНР) использовало большие данные для значительной поддержки и помощи в разработке своей политики и проектов социальной инженерии. Недавно введенная система социального кредита в значительной степени опирается на аналитику больших данных для отслеживания активности граждан, регистрируемой государством. Если гражданин участвует в какой-либо незаконной или мошеннической деятельности, его нарушение приводит к сокращению социального кредита (или xin'yong —信用), что может ограничить его от участия в определенных видах деятельности, таких как международные полеты или с использованием высокоскоростных поездов. Аналитики данных знают, что то, на что мы тратим деньги, является сильным показателем того, что мы ценим. Таким образом, поведенческие данные, основанные на использовании человеком социальных сетей и сайтов электронной коммерции, могут быть собраны в централизованную систему для определения кредитных файлов пользователей. В настоящее время система проходит пилотные испытания в провинции Гуйчжоу. "[Источник.]" - Финансы и управление финансовыми рисками
Большие данные могут играть важную роль в управлении финансовыми рисками. Обладая способностью использовать большие данные в режиме реального времени, можно создавать более точные и гибкие экономические модели для определения кредитоспособности или прогнозирования движений рынка и минимизации риска при определенном событии или бизнес-решении. Более того, чем больше информации получат финансовые фирмы, тем больше мошенничества они смогут предотвратить. "[Источник.]" - Франчайзинг и онлайн-торговля
Для тех франшиз, которые успешно интегрировали аналитику больших данных в свои бизнес-модели, принятие решений на основе данных стало бесценным инструментом. Вы никогда не задумывались, почему вы можете увидеть два или даже три филиала Starbucks в одном и том же районе? Перед открытием (или закрытием) филиала Starbucks будет использовать большие данные для анализа оптимальных местоположений на основе тенденций продаж и трафика клиентов. Большие данные также играют большую роль в онлайн-обслуживании клиентов компании. Как и схема лояльности Tesco Clubcard, Starbucks может собирать много данных о привычках своих клиентов в отношении кофе с помощью собственной программы вознаграждений. Результатом является персонализированный опыт работы со Starbucks, поскольку клиенты, направляющиеся в новое отделение, будут идентифицированы с помощью своих смартфонов в точке продажи, а предпочтительный заказ будет передан бариста удаленно. Программа цифрового маховика Starbucks — еще один инновационный пример компании, использующей аналитику больших данных для создания программы искусственного интеллекта, которая может определять, какие предложения или продукты следует продвигать клиентам в зависимости от их местоположения, погоды в день и того, является ли это праздником. или выходные. "[Источник.]"
Приложения ближайшего будущего: конвергенция технологий (около 2018 г.)
Интересным направлением для обсуждения больших данных является их использование наряду с другими новыми ключевыми технологиями. Мы рассмотрим три:
- Искусственный интеллект (ИИ) и машинное обучение
Большие данные, машинное обучение и ИИ могут быть связаны друг с другом в продуктивной цепочке. Сегодняшние ИИ обычно создаются в процессе машинного обучения. Машинное обучение — это … наука о том, как заставить компьютеры учиться и действовать как люди… и улучшать свое обучение с течением времени в автономном режиме, передавая им данные и информацию в форме наблюдений и реальных взаимодействий (Фагелла, 2018) . Разработка аналитики больших данных — это значительный скачок в обучении ИИ, поскольку он может последовательно извлекать и понимать неструктурированные данные, которые ИИ может распаковать. Цепочку можно обобщить следующими предложениями: 1) Большие данные — это входные данные, которые необходимо очистить, реструктурировать и проанализировать. 2) Машинное обучение — это научный процесс, который учит компьютеры учиться и действовать как люди на основе входных данных больших данных. 3) ИИ — это результирующий результат. Поэтому технология больших данных является ключевым ресурсом для создания и дальнейшего улучшения роста и когнитивных способностей ИИ. - Подключения к мобильным сетям пятого поколения (5G)
Мобильная индустрия с нетерпением ожидает коммерческого выпуска сетевых систем 5G к 2020 году, а вместе с ним и массового сбора и передачи неструктурированных данных. мобильные данные (подумайте о сочетании текстовых, видео- и аудиофайлов, хранящихся в настоящее время на наших смартфонах). Аналитика больших данных может использоваться для улучшения усвоения данных этими сетями, поскольку они улучшаются с помощью программ машинного обучения; автономно устранять неполадки в системе, повышать производительность мобильных приложений и в целом улучшать работу конечных пользователей за счет анализа их местоположения, настроек данных, облачного трафика и т. д. [Источник] - Интернет вещей (IoT)
Идея IoT заключается в том, чтобы взять широкий спектр вещей (автомобили, мебель, бытовая техника и т. д.) и преобразовать их в «умные» версии самих себя. . В целом, при обсуждении Интернета вещей следует помнить о четырех основных принципах: датчики, энергопотребление, связь и аналитика. Примером того, как аналитика больших данных применяется к Интернету вещей, являются судоходные организации. Датчики прикреплены к транспортным средствам для контроля скорости, состояния двигателя, местоположения, расхода топлива и многого другого. Поскольку миллиарды сенсорных узлов генерируют большие объемы данных с такой высокой скоростью каждый день, аналитика больших данных может использоваться для быстрого и последовательного анализа тенденций в режиме реального времени.
Нажмите здесь, чтобы перейти к статье, в которой обсуждается конвергенция всех четырех технологий.
Вывод
Большие данные, вероятно, произведут революцию в глобальной культуре управления, и принятие решений на основе данных станет стандартной практикой; в значительной степени заменяет бизнес-интуицию и удачные догадки. При правильном использовании аналитика больших данных одновременно объединяет, синтезирует и анализирует собранные данные. Он также генерирует согласованные и действенные отчеты. (Нажмите здесь, чтобы увидеть информативную диаграмму, показывающую конвергенцию больших данных и бизнес-аналитики от DellEMC.)
Мы обсудили потенциальное использование больших данных, как только у нас появятся технологические возможности для извлечения из них ценности, однако многие заинтересованные группы все еще пытаются перейти к замене старых систем новыми технологиями и привычками ведения бизнеса, основанными на данных. Большие данные — это новая основа ценности в нынешнюю информационную эпоху, и для организаций и отдельных лиц крайне важно совершить технологический и экспериментальный переход, чтобы максимально использовать свой потенциал сбора и анализа данных.
Примечания автора
Эта статья была написана, чтобы проинформировать читателя о текущих и ближайших преобразованиях организаций, которые используют большие данные для процветания в современную цифровую эпоху. «Большие данные» следует понимать не просто как большие наборы данных, а, напротив, следует в дальнейшем признавать и обсуждать их как ключевой инструмент для организаций и предпринимателей, позволяющий получать более четкое понимание и принимать более эффективные решения. Кроме того, в ближайшем будущем большие данные по-прежнему будут играть ключевую роль в качестве важного инструмента для дальнейшего расширения возможностей других технологий и стимулирования инноваций.
Спасибо, что уделили мне время, и я надеюсь, что это было ясное и информативное чтение. Пожалуйста, оставляйте любые комментарии, вопросы, исправления и дополнительную информацию, которая может у вас возникнуть по поводу статьи.
[1] Для получения более подробной информации о конкретных технологических достижениях, которые в настоящее время стимулируют аналитику больших данных, см. статьи или документы, относящиеся к разделам «Автоматизация больших данных» или «Аналитика больших данных».
