Большие данные в повседневной жизни

Я думаю, многие люди не имеют полного представления о больших данных и считают, что они очень далеки от нас. На самом деле, большие данные не так уж далеки от нас, они рядом. Жизнь тесно связана с ними, так что же такое большие данные? В энциклопедии Baidu определение больших данных звучит следующим образом: Большие данные (big data) — это совокупность данных, которые невозможно собрать, обработать и управлять ими с помощью обычных программных средств в течение определенного периода времени. Для принятия более эффективных решений требуется новая модель обработки. Это массивные, быстрорастущие и разнообразные информационные активы с возможностями, аналитическими выводами и возможностями оптимизации процессов. Прежде всего, несомненно, что большие данные должны быть огромными. Кроме того, ценность этих данных необходимо обрабатывать, сортировать, анализировать и использовать для получения потенциальной выгоды. Если это просто набор огромных данных, они будут бесполезны, их нужно анализировать, сортировать и использовать для принятия решений, чтобы создать огромную ценность. Если мы называем огромные массивы данных ресурсами, то анализ, сортировка и принятие решений называются вычислениями, то есть ресурсы + вычисления создают огромную ценность. Если ресурсов нет, мы можем говорить об этом. Больше никаких вычислений. Если есть только ресурсы, они бесполезны без вычислений. В быстро развивающемся современном обществе нас окружают большие данные. Огромные массивы данных генерируются каждую секунду по всему миру и продолжают генерироваться 24 часа в сутки. Далее мы приведем примеры того, что мы можем делать вокруг себя. Давайте рассмотрим некоторые большие данные! Например, ежедневный транспортный поток. В городе так много автомобилей, и бесчисленное множество электронных устройств мониторинга генерируют огромное количество данных каждую минуту. Эти электронные устройства мониторинга непрерывно собирают данные о городском трафике, модель каждого автомобиля, номерной знак, географическое местоположение и время проезда не ускользают от внимания этих устройств мониторинга. Анализ этих данных может дать ценную информацию, например, в каких районах чаще происходят дорожно-транспортные происшествия, какие меры безопасности необходимо принять, где чаще всего нарушаются правила дорожного движения, и причины этих нарушений требуют дальнейшего анализа и т. д. В некоторых мегаполисах есть станции метро, ​​используемые для поездок на работу и обратно. Метро, ​​безусловно, знакомо каждому офисному работнику. Все хорошо понимают транспортный поток в метро. Очень быстро и удобно собрать небольшую проездную карту. Для каждой станции метро можно отслеживать пассажиропоток в каждый период времени, на основе этих данных можно точно рассчитать обычный пиковый период и, таким образом, принять правильное решение, например, в какой период времени на какой станции необходимо регулировать поток людей, чтобы снизить нагрузку на транспорт. Ежедневные данные о чтении. Сейчас практически у каждого есть смартфон, будь то в торговом центре, дома или где-либо еще. Я считаю, что многие люди, склонив головы, постоянно листают свои телефоны и постоянно читают информацию на них, что генерирует огромное количество данных. Данные о ежедневных покупках. Различные сайты электронной коммерции и разнообразные товары постоянно генерируют огромные объемы данных. С появлением интернета количество транзакций в минуту увеличилось по сравнению с традиционным бизнесом в десятки тысяч раз (намного больше, чем десятки тысяч). За этими многочисленными действиями стоит генерация огромных объемов данных. Как упоминалось выше, ресурсы и вычислительные мощности являются ядром больших данных. Только сочетание этих двух факторов может создать огромную ценность. Так каков же должен быть конкретный поток обработки больших данных? Что насчет процесса? Почему это процесс? Потому что большие данные больше не похожи на традиционный небольшой объем данных, генерирующий результаты вычислений в реальном времени. Это процессоориентированный процесс, который обычно делится на следующие этапы: Сбор/получение данных. Это первый шаг. Генерация данных происходит на этом этапе. Этот этап — это просто сбор данных, независимо от их повторяемости и достоверности. Это простой ввод данных. Обработка данных и преобразование формата. Основная работа на этом этапе заключается в обработке данных, проверке их достоверности и воспроизводимости, а также преобразовании формата в заранее подготовленный формат для облегчения переноса данных на стационарные носители информации. Хранение данных. Указанный выше носитель информации может представлять собой базу данных, файловую систему хранения или комбинацию нескольких методов хранения, а собранные данные эффективно обрабатываются и размещаются. Статистический анализ данных. Анализ хранимых данных проводится в нескольких измерениях, на основе которых делаются соответствующие выводы. Эти измерения совместно обсуждаются и формулируются техническими специалистами или экспертами в области бизнеса. На основе этих измерений можно получить множество ценных результатов! Анализ данных. Путем анализа ситуации, полученной в различных измерениях, можно выявить различные взаимосвязи между ними, разработать соответствующие стратегии и быстро их реализовать.