Melatih model Shakespeare dengan GPU, bukan TPU

Saya mencoba melihat perbedaan antara melatih model dengan TPU dan GPU.

Ini adalah bagian model pelatihan:

import time

start = time.time()
tf.keras.backend.clear_session()

resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='grpc://' + os.environ['COLAB_TPU_ADDR'])
tf.config.experimental_connect_to_cluster(resolver)
#TPU initialization
tf.tpu.experimental.initialize_tpu_system(resolver)
print("All devices: ", tf.config.list_logical_devices('TPU'))

strategy = tf.distribute.experimental.TPUStrategy(resolver)

with strategy.scope():
  training_model = lstm_model(seq_len=100, stateful=False)
  training_model.compile(
      optimizer=tf.keras.optimizers.RMSprop(learning_rate=0.01),
      loss='sparse_categorical_crossentropy',
      metrics=['sparse_categorical_accuracy'])

training_model.fit(
    input_fn(),
    steps_per_epoch=100,
    epochs=10
)
training_model.save_weights('/tmp/bard.h5', overwrite=True)

end = time.time()
elapsed_TPU = end - start

print(elapsed_TPU)

(Sumber:https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/shakespeare_with_tpu_and_keras.ipynb )

Bagian atas kode adalah untuk inisialisasi TPU. Apakah ada cara untuk mengubahnya agar dapat beradaptasi untuk dijalankan pada GPU?


tensorflow deep-learning gpu training-data tpu
person Gaston    schedule 25.03.2021    source sumber
comment
Periksa di sini colab.research.google.com/notebooks/gpu.ipynb   -  person albert    schedule 25.03.2021
comment
Terima kasih atas balasannya tetapi itu masih tidak membantu untuk beradaptasi dengan algoritma berikut ke GPU. Bagaimana saya bisa mencapai strategy.scope() dengan GPU, bukan TPU   -  person Gaston    schedule 25.03.2021

Jawaban (1)


arrow_upward
1
arrow_downward

Anda tidak perlu menggunakan tf.distribute.Strategy kecuali Anda memiliki TPU atau beberapa CPU/GPU. Lihat di sini. Anda dapat menjalankan ini sebagai kode Tensorflow standar tanpa strategi.

import time

start = time.time()
tf.keras.backend.clear_session()

training_model = lstm_model(seq_len=100, stateful=False)
training_model.compile(
    optimizer=tf.keras.optimizers.RMSprop(learning_rate=0.01),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_accuracy'])

training_model.fit(
    input_fn(),
    steps_per_epoch=100,
    epochs=10
)
training_model.save_weights('/tmp/bard.h5', overwrite=True)

end = time.time()
elapsed_TPU = end - start

print(elapsed_TPU)
person albert    schedule 25.03.2021
comment
Saya mengerti, terima kasih atas bantuan Anda - person Gaston; 25.03.2021