Las series temporales no son tan diferentes para los LLM | de Henry Lai | julio de 2024

Las series temporales no son tan diferentes para los LLM |  de Henry Lai |  julio de 2024

6. La combinación de todos estos crea un modelo LTSM (LTSM-Bundle) que supera a todos los métodos existentes que reprograman LLM para series de tiempo y modelos de pronóstico de series de tiempo basados ​​en transformadores.

Comparación del paquete con marcos existentes. Imagen del autor.

¡Reprograme usted mismo un LTSM!

¿Quieres intentar reprogramar tu propio LTSM? Aquí está el tutorial para el paquete LTSM: https://github.com/daochenzha/ltsm/blob/main/tutorial/README.md

Paso 1: crea un entorno virtual. Clona e instala los requisitos y el repositorio.

conda create -n ltsm python=3.8.0
conda activate ltsm
git clone git@github.com:daochenzha/ltsm.git
cd ltsm
pip3 install -e .
pip3 install -r requirements.txt

Paso 2: prepare su conjunto de datos. Asegúrese de que su carpeta de datos local se vea como la siguiente:

- ltsm/
- datasets/
DATA_1.csv/
DATA_2.csv/
DATA_3.csv/
...

Paso 3: Generar indicaciones de series temporales a partir de los conjuntos de datos de entrenamiento, validación y prueba.

python3 prompt_generate_split.py

Paso 4: busque las indicaciones de series temporales generadas en la carpeta “./prompt_data_split”. Luego ejecute el siguiente comando para finalizar las indicaciones:

# normalizing the prompts
python3 prompt_normalization_split.py --mode fit

#export the prompts to the "./prompt_data_normalize_split" folder
python3 prompt_normalization_split.py --mode transform

Paso final: entrene su propio LTSM con Time Series Prompt y Linear Tokenization en gpt2-medium.

python3 main_ltsm.py \
--model LTSM \
--model_name_or_path gpt2-medium \
--train_epochs 500 \
--batch_size 10 \
--pred_len 96 \
--data_path "DATA_1.csv DATA_2.csv" \
--test_data_path_list "DATA_3.csv" \
--prompt_data_path "prompt_bank/prompt_data_normalize_split" \
--freeze 0 \
--learning_rate 1e-3 \
--downsample_rate 20 \
--output_dir [Your_Output_Path] \

Descubra más detalles en nuestro artículo y en nuestro repositorio de GitHub:

Papel: https://arxiv.org/pdf/2406.14045
Codificado: https://github.com/daochenzha/ltsm/

Referencia:

[1] Liu, Pengfei et al. «Preentrenar, incitar y predecir: un estudio sistemático de los métodos de incitación en el procesamiento del lenguaje natural». » Investigaciones informáticas de ACM 55,9 (2023): 1–35.

[2] Liu, Xiao y cols. “Aprendizaje autodirigido: generativo o contrastivo. » Transacciones IEEE sobre conocimiento e ingeniería de datos 35.1 (2021): 857–876.

[3] Ansari, Abdul Fatir y otros. “Chronos: aprendiendo el lenguaje de las series temporales. » arXiv preimpresión arXiv:2403.07815 (2024).