Cómo reducir el tiempo de ejecución de Python para tareas exigentes | de Jiayan Yin | noviembre 2024

Cómo reducir el tiempo de ejecución de Python para tareas exigentes | de Jiayan Yin | noviembre 2024

Técnicas prácticas para acelerar cargas de trabajo pesadas con optimización de GPU en Python

Foto por Mateo Schwartz seguro desempaquetar

Uno de los mayores desafíos que enfrentan los científicos de datos es el largo tiempo de ejecución del código Python cuando manejan conjuntos de datos extremadamente grandes o modelos de aprendizaje automático/aprendizaje profundo muy complejos. Se ha demostrado que muchos métodos mejoran la eficiencia del código, como la reducción de dimensionalidad, la optimización del modelo y la selección de características. Estas son soluciones basadas en algoritmos. Otra opción para abordar este desafío es utilizar un lenguaje de programación diferente en algunos casos. En el artículo de hoy, no me centraré en los métodos basados ​​en algoritmos para mejorar la eficiencia del código. En cambio, discutiré técnicas prácticas que son prácticas y fáciles de dominar.

A modo de ejemplo, utilizaré el conjunto de datos de venta minorista en línea, un conjunto de datos disponible públicamente bajo la licencia Creative Commons Attribution 4.0 International (CC BY 4.0). Puede descargar el conjunto de datos original. Datos minoristas en línea del repositorio de Aprendizaje Automático de la UCI. Este conjunto de datos contiene todos los datos transaccionales que ocurrieron entre un período de tiempo específico para un negocio minorista en línea sin tienda registrado en el Reino Unido. El objetivo es entrenar un modelo para predecir si el cliente recompraría y se utiliza el siguiente código Python para lograr el objetivo.