Big Data en la vida cotidiana

Creo que muchas personas no tienen un concepto completo de big data y piensan que big data está muy lejos de nosotros. De hecho, big data no está lejos de nosotros, sino que está a nuestro lado. La vida está estrechamente relacionada, entonces, ¿qué es big data? En la enciclopedia Baidu, la definición de big data es la siguiente: Big data (big data) se refiere a una colección de datos que no pueden ser capturados, administrados y procesados ​​por herramientas de software convencionales dentro de un cierto período de tiempo. Requiere un nuevo modelo de procesamiento para tener una toma de decisiones más sólida Activos de información masivos, de alto crecimiento y diversos con capacidades, perspectivas y capacidades de optimización de procesos. En primer lugar, es seguro que big data debe ser masivo. Además, el valor de estos datos necesita ser procesado, clasificado, analizado y aprovechado para su valor potencial. Si es solo un montón de datos masivos, será inútil, necesita ser analizado, clasificado y tomar decisiones, para que se pueda generar un gran valor. Si llamamos recursos de datos masivos, el análisis, la clasificación y la toma de decisiones se denominan cálculos, es decir, recursos + cálculos han producido un valor enorme. Si no hay recursos, podemos hablar de ello. No hay más cálculos. Si solo hay recursos, es inútil sin cálculos. En la sociedad moderna de rápido desarrollo, estamos rodeados de macrodatos. Se generan macrodatos cada segundo en todo el mundo, y se siguen generando las 24 horas del día. A continuación, daremos ejemplos de lo que podemos hacer a nuestro alrededor. ¡Veamos algunos macrodatos! Flujo de tráfico diario Por ejemplo, en una ciudad, hay tantos coches y hay innumerables equipos de monitorización electrónica, que generarán una gran cantidad de datos cada momento. Estos equipos de monitorización electrónica recopilarán continuamente estos datos de tráfico urbano, el modelo de cada coche, el número de matrícula, la ubicación geográfica y el tiempo de paso no escaparán a los ojos de estos dispositivos de monitorización. El análisis de estos datos puede proporcionar información valiosa, como en qué área ocurren con frecuencia los accidentes de tráfico, dónde se deben tomar medidas de seguridad adicionales, dónde ocurren con frecuencia las infracciones de las normas y las razones que deben analizarse más a fondo, etc. La estación de metro para ir y venir del trabajo está en algunas metrópolis. El metro es sin duda algo familiar para todo trabajador de oficina. Todos tienen un profundo conocimiento del flujo de tráfico del metro. Es muy rápido y conveniente recogerlo a través de una pequeña tarjeta de autobús. A cada estación de metro, el flujo de pasajeros en cada período de tiempo, basándose en este flujo de pasajeros también puede calcular con precisión el período pico habitual, y así tomar la decisión correcta, como en qué período de tiempo, qué estación necesita realizar un control del flujo de personas para aliviar la presión del tráfico. Datos de lectura diarios Ahora prácticamente todo el mundo tiene un teléfono inteligente, ya sea en un centro comercial, en casa o en cualquier otro lugar, creo que muchas personas que agachan la cabeza están constantemente deslizando el dedo por sus teléfonos y también leyendo sus teléfonos todo el tiempo generando enormes cantidades de datos. Datos de compras diarias Varios sitios web de comercio electrónico y varios artículos generan cantidades masivas de datos todo el tiempo. Desde la llegada de Internet, el número de transacciones por minuto ha aumentado en comparación con los negocios tradicionales en decenas de miles de veces (mucho más de decenas de miles). Detrás de estas diversas actividades está la generación de datos masivos. Como se mencionó anteriormente, los recursos y la computación son el núcleo de big data. Solo la combinación de estos dos puntos puede generar un gran valor. Entonces, ¿cuál debería ser el flujo de procesamiento específico de big data? ¿Qué hay del proceso? ¿Por qué es un proceso? Porque big data ya no es como la pequeña cantidad de datos tradicional, que genera resultados de cálculo en tiempo real. Es un proceso orientado a procesos, que generalmente se divide en los siguientes enlaces. Recopilación/adquisición de datos Este es el primer paso. La generación de datos es causada por este enlace. Este enlace es simplemente recopilación de datos, independientemente de la repetibilidad y validez de los datos. Es simple entrada de datos. Procesamiento de datos y conversión de formato El trabajo principal de esta parte es procesar datos, verificar la validez y repetibilidad de los datos, y convertir el formato a un formato prediseñado, para facilitar la transferencia de datos a medios de almacenamiento fijos. Almacenamiento de datos El medio de almacenamiento mencionado anteriormente puede ser una base de datos o un sistema de almacenamiento de archivos, o una combinación de varios métodos de almacenamiento, y los datos recopilados se procesan y depositan de manera efectiva. El análisis estadístico de datos analiza los datos almacenados en múltiples dimensiones y extrae las conclusiones correspondientes. Estas dimensiones son discutidas y formuladas conjuntamente por personal técnico o expertos en negocios. De acuerdo con estas dimensiones, ¡se pueden obtener muchos resultados valiosos! Minería de datos A través del análisis de la situación obtenida de varias dimensiones, podemos extraer las diversas conexiones que hay detrás de ellas, derivar estrategias correspondientes e implementarlas rápidamente.