Я уверен, вы слышали, что «данные — это новая нефть».
Данным суждено сыграть такую же важную роль в нашей жизни, как и нефти. Мы используем его почти во всех повседневных делах, сознательно или неосознанно. Почему мы сравниваем данные с нефтью, природным ресурсом, который когда-то был в изобилии в природе и который сегодня буквально питает почти всю нашу повседневную деятельность?
В конце концов, разве данные не являются побочным продуктом нашей деятельности в цифровом мире? Истощение данных, которое генерируется большинством наших действий в Интернете и в автономном режиме. Приложение карт, которое вы использовали на своем смартфоне? (Который, кстати, точно знает, куда вы пошли, когда и сколько времени вам потребовалось, чтобы добраться туда). Ноутбук, который вы искали в Интернете, новые песни, которые вы прослушали или скачали, даже одежда, которую вы купили в обычном магазине — все эти действия приводят к истощению данных. Зачем тогда масло?
Подобно тому, как нефть является очень ценным и дорогим товаром, данные быстро стали очень ценным товаром. Информация – это сила. Данные предоставляют информацию при правильной обработке и, следовательно, способны обеспечить мощность.
Машинное обучение и искусственный интеллект применяются к данным и могут использоваться для создания ценности. ИИ без данных подобен машине без масла — каждый из них может выглядеть очень круто, но ни один из них не будет работать и практически бесполезен сам по себе.
От управления клиентским опытом до создания целевой рекламной информации, от предоставления следующего лучшего предложения для клиента, просматривающего веб-сайт организации, до прогнозирования и предотвращения мошенничества до того, как оно произойдет для финансовой организации, данные могут быть использованы для создания огромной ценности.
Данные — это новая нефть, потому что они бесценны, они лежат в основе почти всего в онлайн-мире и скоро будут управлять всеми аспектами нашей жизни. Те, кто научится использовать силу данных, получат от этого огромную выгоду — в денежном и ином отношении, точно так же, как те, кто научился использовать нефть, выиграли от этого.
И точно так же, как нефть должна быть сначала извлечена, очищена и очищена, а затем, наконец, доставлена в точки распределения и использована множеством способов с помощью устройств, предназначенных для ее правильного использования (например, автомобили), данные также должны пройти аналогичные этапы, прежде чем их можно будет использовать. .
Данные должны быть извлечены из различных источников, которые их генерируют. Их можно собирать в режиме реального времени или из офлайн-источников — ETL — это один из хорошо зарекомендовавших себя способов извлечения данных. Потоки на основе Kafka в локальном механизме обработки или захват на основе Kinesis в системе Amazon Cloud выполняют аналогичные функции.
Однако исчерпание данных часто не является чистыми данными. Ошибочные данные приведут к неточным результатам. Мусор на входе = мусор на выходе. Следовательно, эти данные должны быть отфильтрованы, очищены и скорректированы, чтобы их можно было использовать — очень похоже на добычу и очистку нефти на нефтеперерабатывающем заводе. Вместо массивной стальной инфраструктуры сегодня нам нужны массивные фермы серверов или доступ к облачной инфраструктуре для перемещения, очистки и обработки этих данных.
После обработки эти данные сохраняются на массивных фермах серверов или в облаке в озере данных (хранилище данных на базе Hadoop). Это похоже на то, как нефть хранится в крупных нефтеперерабатывающих складах, откуда она может быть распределена по пунктам покупки. Данные в озере данных готовы к передаче в другое место и использованию по мере необходимости.
Те, у кого есть доступ к этим данным, должны иметь возможность выполнять различные действия, чтобы воспользоваться преимуществами этих данных в озере данных. Теперь нефть добывается, очищается, перерабатывается и доступна для использования с применением алгоритмов машинного обучения, описательной, предиктивной и предписывающей аналитики, а также алгоритмов искусственного интеллекта.
Вот так данные (новое масло) становятся доступными для всех…!
Комментарии приветствуются.
Примечание. Приведенные выше мнения являются моим личным мнением. Эти мнения не обязательно отражают взгляды моих нынешних или прошлых работодателей.
