Estandarizar en Machine Learning

Buen dia gente! hoy tendremos una breve pincelada en el mundo de los pre procesadores tal cual vimos en un reciente post con el objetivo del labelEncoder, hoy tratará sobre estandarizar data.

El proceso de estandarizar sin entrar a definiciones que puedan confundir a alguien que no está interiorizado en el mundo de la matemáticas, corresponde a igualar la información en su misma escala, una definición un poco más formal de esto sería:

El término unidad tipificada, variable centrada reducida, variable estandarizada o normalizada se utiliza en estadística para comparar datos procedentes de diferentes muestras o poblaciones.

Al intentar obtener información de diversas fuentes, no siempre vienen en las mismas escalas, por ejemplo un dataset puede medir un metros y otro en kilómetros la misma variable, el problema que ocurre en este caso está dado por el peso que posee la variable en base a su ponderación y no respecto a tu información.

Como resultado, gráficamente la data se mantiene con la misma distribución anterior, pero su cambio radical es en que la expresión de sus parámetros es distinta, en palabras simples la escala de su X e Y son similares cuando antes eran totalmente distintas.

A nivel de código, esta estandarización es simple y está dada por las librerías de preprocesamiento de sklearn.

from sklearn.preprocessing import StandardScaler
df_scaled = StandardScaler() df_scaled = pd.DataFrame(df_scaled.fit_transform(df), columns = df.columns)

Pueden ver el ejemplo en código desde nuestro ejemplo.