python make_dataset.py --vocab_size 10_000 --group_size 20
python make_dataset.py --vocab_size 10_000 --group_size 10 --stride 10 --dataset openwebtext

for seed in 1 2 3
do
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 200     --epochs 20   --lr 5e-4  --loss mse --device cuda:0  --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 400     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 600     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 800     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 1000     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --seed $seed

    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 200     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --linear_out  --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 400     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --linear_out --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 600     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --linear_out --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 800     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --linear_out --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 1000     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --linear_out --seed $seed

    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 200     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --weight_decay 4  --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 400     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --weight_decay 4 --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 600     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --weight_decay 4 --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 800     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --weight_decay 4 --seed $seed
    python train_autoencoder.py     --dataset wikitext     --vocab_size 10000     --group_size 20     --data_dir ./data     --save_dir ./models     --latent_size 1000     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --weight_decay 4 --seed $seed
done

python train_autoencoder.py     --dataset openwebtext     --vocab_size 10000     --group_size 10  --stride 10    --data_dir ./data     --save_dir ./models     --latent_size 600     --epochs 20   --lr 5e-4  --loss mse --device cuda:0
python train_autoencoder.py     --dataset openwebtext     --vocab_size 10000     --group_size 10  --stride 10   --data_dir ./data     --save_dir ./models     --latent_size 600     --epochs 20   --lr 5e-4  --loss mse --device cuda:0 --weight_decay 4
python train_autoencoder.py     --dataset openwebtext     --vocab_size 10000     --group_size 10  --stride 10    --data_dir ./data     --save_dir ./models     --latent_size 1000     --epochs 20   --lr 5e-4  --loss mse --device cuda:0


