Universidad

Appearance

Apuntes de clase — Miércoles 14 de octubre de 2026 ​

Calidad de datos y preparación de un modelo de alquiler de bicicletas ​

Contexto: Bloque 3. La sesión desarrolla el ciclo de preparación y análisis de datos con el conjunto horario de Capital Bikeshare de Washington, D. C. Las diapositivas del bloque confirman que contiene datos de 2011 y 2012 y 17.379 filas; las cifras concretas corresponden a ese ejemplo y no son reglas generales.

1. El problema y el límite entre predicción y decisión ​

El modelo recibe datos temporales y meteorológicos —hora, viento, humedad, temperatura y alquileres anteriores— para estimar cuántas bicicletas se alquilarán durante la hora siguiente. El resultado puede ser un número como 5, 20, 80, 500 o 1.200.

El profesor usa 400 bicicletas como umbral operativo de ejemplo: si la predicción supera ese valor, el sistema avisa a una persona para que decida si hay que actuar, por ejemplo trasladando bicicletas en furgoneta. Esa acción pertenece a una política o a una persona, no al modelo predictivo por sí solo. El umbral es una decisión de diseño del caso, no una propiedad universal del modelo.

2. Adquisición y unión de fuentes ​

La primera tabla es una tabla RAW o en bruto. Cada fila representa una hora y las columnas describen las variables medidas. La clase insiste en que datos de viajes, meteorología y calendario pueden llegar en formatos y frecuencias diferentes; hace falta una clave conjunta para fusionarlos.

En el ejemplo, fecha y hora permiten agregar los viajes ocurridos en distintos instantes o lugares dentro de la misma hora. Si una fuente meteorológica produce varias medidas por hora, hay que definir cómo reducirlas a una medida horaria —por ejemplo, media o máximo— según la variable y el uso. El calendario puede aportar una fila diaria; su atributo de festivo se expande a las 24 horas de ese día, como indicador 0/1. La unión produce una fila por fecha y hora.

Una tabla unida no está necesariamente lista para el modelo. En la clase se distinguen tres trabajos: adquirir y unir; validar y decidir qué hacer con las filas anómalas; y seleccionar/transformar las variables que finalmente se entregarán al modelo.

Tipos de columnas ​

Conviene marcar cada campo como:

  • Identificador: fecha, hora u otro dato necesario para localizar o unir registros.
  • Entrada (input/feature): información que el modelo puede usar.
  • Objetivo (target): valor que se quiere predecir.

En el caso, el total de alquileres de la hora siguiente es el objetivo. El total también se obtiene de las categorías de alquileres ocasionales y registrados. Esa relación exacta permite plantearse retirar las columnas componentes si ya se conserva el total y no son necesarias para la tarea; evitar variables redundantes puede simplificar el aprendizaje.

3. Validación de datos antes de entrenar ​

Una celda vacía y un valor inválido son problemas distintos, pero ambos requieren tratamiento. La ausencia puede quedar representada como cero por defecto, como un valor especial o como contenido residual de memoria; por eso no hay que asumir que toda celda contiene una medida real. Un cero de humedad, por ejemplo, podría ser un valor imposible para el contexto y no una observación válida.

El procedimiento explicado es escribir una regla de comprobación, contar qué filas la incumplen y decidir qué hacer con ellas. Las reglas ilustradas incluyen:

  • Cada fecha debe tener 24 observaciones horarias; en los datos faltan horas en algunos días (se menciona un total de 165 horas ausentes).
  • La humedad no debería ser cero en las condiciones del conjunto. Se detectan 22 horas consecutivas con humedad cero en un mismo día, indicio de fallo del sensor.
  • El viento también aparece como cero en muchas horas; eso requiere investigar el sensor y el significado de esos ceros, no borrarlos automáticamente.
  • Las horas consecutivas deben respetar la secuencia esperada. Si hay un salto, falta investigar qué ocurrió y si tiene sentido imputar, excluir o corregir.

La clase comenta posibles tratamientos como rellenar a partir de registros comparables (por ejemplo, otros lunes) o detener la preparación y avisar al equipo responsable. No presenta una imputación única que sirva siempre: la decisión depende del origen y del impacto de la anomalía.

Un ejemplo importante es el 29 de octubre de 2012, durante el huracán Sandy: el servicio estuvo cerrado, el total fue de 22 alquileres y solo hay 23 de las 24 horas del día. El valor bajo podría parecer un error, pero las diapositivas explican que corresponde al cierre. Además, las reglas estadísticas de outliers no detectan el total diario: su z-score es aproximadamente −2,31 (dentro del umbral docente de ±3) y la valla inferior de Tukey es −1.054, un valor imposible para un recuento no negativo. La regla de integridad horaria sí lo señala. La lección es combinar contexto del dominio y reglas estructurales con estadísticas; no etiquetar automáticamente todo valor extremo como error.

4. Ingeniería de características ​

El modelo necesita una matriz numérica y completa. Las categorías deben codificarse numéricamente y las escalas pueden requerir normalización. Los árboles suelen tolerar mejor rangos distintos porque comparan con umbrales; para redes neuronales se recomienda preparar rangos comparables, por ejemplo [0, 1] o [−1, 1], según el problema.

Hora como variable cíclica ​

Codificar las horas como 0, 1, …, 23 introduce una distancia engañosa entre 23 y 0: numéricamente distan 23, aunque son horas contiguas. La clase propone representar la hora como un punto en el círculo:

text
ángulo = 2π · hora / 24
hora_sin = sin(ángulo)
hora_cos = cos(ángulo)

Así las horas próximas a medianoche quedan próximas en la representación. La transcripción da aproximadamente (−0,25; 0,96) para la hora 23 y (0; 1) para la hora 0. Los valores son aproximados; la idea esencial es representar la periodicidad con seno y coseno.

Escalas, ventanas y objetivo adelantado ​

La temperatura puede transformarse a [0, 1] usando un rango definido para el dominio. La clase también construye una media móvil (trailing mean) de las horas previas: para la fila de las 7, usar las horas 6, 5 y 4 comprime algo de historia reciente. Esto suaviza cambios bruscos de una hora a otra y aporta contexto temporal al modelo.

Para entrenar un predictor de la próxima hora, la fila de las 7 debe llevar como target los alquileres observados a las 8. En general, las características se calculan con información disponible hasta el instante de predicción y el objetivo se desplaza hacia delante; usar datos futuros en las entradas produciría fuga de información (data leakage).

5. Análisis exploratorio y detección de valores extremos ​

El histograma del número de alquileres es asimétrico: los recuentos no pueden ser negativos y hay unas pocas horas con valores muy altos. Las diapositivas precisan mediana 142, media 189,46 y desviación típica 181,39; la media es mayor porque los valores altos influyen mucho en ella. Se mencionan valores de 300–600 bicicletas y se explica que un umbral operativo de 400 busca señalar picos poco frecuentes sin disparar avisos continuamente.

La clase repasa percentiles: el percentil p es un valor que deja aproximadamente p % de las observaciones por debajo. En el ejemplo, P25 = 40, P50 = 142, P75 = 281 y P90 = 451,2. El umbral operativo de 400 queda entre P75 y P90, próximo a la parte alta de la distribución. Los percentiles ayudan a describir los datos, pero elegir un percentil como alerta es una decisión de producto y no existe un percentil universalmente correcto.

Dos reglas para señalar valores extremos:

  1. Vallas de Tukey: IQR = Q3 − Q1; se marca como posible outlier un valor por debajo de Q1 − 1,5·IQR o por encima de Q3 + 1,5·IQR. La clase menciona Q1 = 40 y Q3 = 281, de modo que IQR = 241. Se obtienen unas 505 horas por encima de la valla superior.
  2. Regla de tres desviaciones: z = (x − media) / desviación típica. Se señala como inusual lo que queda fuera de ±3 desviaciones típicas; se cita un límite superior aproximado de 333 alquileres y 244 observaciones detectadas por esa regla. El rango ±3σ es una convención de análisis, no un teorema que determine por sí solo si un dato es erróneo.

Las reglas no sustituyen la interpretación: cerca del 81 % de los valores que la valla de Tukey marca como extremos ocurren en horas punta de la mañana, un patrón razonable que se puede conservar. En cambio, humedad anómala concentrada en un día puede indicar un sensor defectuoso y exigir corregir o imputar. El objetivo de detectar es investigar y decidir, no eliminar todo lo señalado.

6. Reducir variables y elegir cuántas filas usar ​

Se puede quitar una columna por conocimiento del dominio cuando es redundante por construcción (por ejemplo, componentes cuyo total ya está presente). Como herramienta estadística se introduce la correlación de Pearson, que mide asociación lineal y toma valores entre −1 y 1. Una correlación alta puede sugerir redundancia, pero no demuestra causalidad ni basta por sí sola para descartar una variable.

En el ejemplo, temperatura medida y temperatura percibida tienen correlación de 0,988 y parecen casi equivalentes, por lo que se elimina una. La correlación entre temperatura y alquileres es 0,405; entre alquileres y humedad, −0,323; y entre alquileres y hora, 0,394. Estas asociaciones no bastan para retirar automáticamente variables: el recuento es el objetivo y la relación con la hora tiene dos picos, no una forma lineal. El análisis de variables sirve tanto para simplificar el modelo como para informar decisiones del sistema.

Para decidir cuántas filas de entrenamiento hacen falta, se reserva el tramo final temporal de 3.476 horas para prueba y se toman filas inmediatamente anteriores para entrenar. No conviene escoger filas antiguas dejando un hueco si la evaluación pretende estimar el comportamiento cercano al periodo de prueba: el tiempo tiene significado y las observaciones próximas pueden ser más representativas. La diapositiva compara entrenar con 500, 1.000, 2.000, 4.000, 8.000 y 13.902 filas; los MAE respectivos son 50,99; 46,78; 41,92; 35,08; 35,10 y 32,69 bicicletas. En ese experimento, 4.000 filas constituyen un compromiso: añadir 1.000 más mejora menos de 0,5 bicicletas. El beneficio disminuye al aumentar el conjunto, aunque el error sigue bajando al usar todas las filas disponibles.

Se prefiere MAE frente a MSE para estas comparaciones porque los errores al cuadrado dan mucho peso a los outliers. El MAE expresa el error absoluto medio en unidades interpretables: bicicletas.

La elección de 4.000 también se contrasta introduciendo ruido artificial en el target de algunos datos de entrenamiento. En las diapositivas, el error en prueba es 32,69 con 13.902 filas limpias, 40,78 con un 10 % de etiquetas alteradas, 86,68 con un 40 % alteradas y 35,08 con 4.000 filas limpias. El 10 % de etiquetas erróneas añade 8,09 bicicletas de error; usar 4.000 filas limpias añade 2,39. Es una prueba de sensibilidad ilustrativa, no una expectativa universal.

Ideas clave ​

  • El sistema de IA incluye adquisición, validación, preparación, modelo y una política que interpreta sus predicciones.
  • Une fuentes mediante claves con significado común y conserva la granularidad temporal prevista.
  • Diseña reglas de calidad y analiza los incumplimientos antes de entrenar; un valor raro puede ser error o un fenómeno real.
  • Codifica correctamente variables cíclicas y construye ventanas usando solo información disponible en el momento de predecir.
  • Usa estadísticas para describir e investigar, no como sustituto del conocimiento del dominio.
  • Elige características y tamaño de entrenamiento con evaluación temporal y métricas comprensibles; prueba también la sensibilidad a datos erróneos.

Referencias relacionadas ​

Nota sobre la fuente ​

Apuntes elaborados a partir de clase-ia-1410-inicio-b3.json (audio de unos 68 min 49 s) y contrastados con las diapositivas de Bloque 3. La transcripción automática contiene errores de reconocimiento en términos técnicos y cifras. Cuando las diapositivas dan cifras exactas o aclaran el año, se usan como referencia principal; los ejemplos verbales que difieren se mantienen señalados como aproximaciones de la explicación oral. Algunos fragmentos iniciales y finales son ininteligibles o logísticos y no se reconstruyen.