Artificial Intelligence (AI) on High Performance Computing (HPC)

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Πρόγραμμα

Ώρα	Τίτλος	Ομιλητής
10:00 - 10:15	Εισαγωγή	Παύλος Σερμπέζης
10:15 - 10:45	Tutorial χρήσης της υποδομής “Αριστοτέλης” του ΑΠΘ για εφαρμογές Τεχνητής Νοημοσύνης	Πασχάλης Κορόσογλου, Αλεξάνδρα Χαραλαμπίδου, Βασίλης Αστερίου
10:45 - 11:00	Cross-lingual transfer learning: A PARAFAC2 approach	Ιωάννης Τσιγγαλης
11:00 - 11:15	High Performance Computing practices for deep learning-based speech enhancement	Ιορδάνης Θωίδης
11:15 - 11:30	Machine learning interatomic potentials based on ab initio large-scale data	Ιωσήφ Κιοσέογλου
11:30 - 11:40	Ερωτήσεις/Συζήτηση	-
11:40 - 12:00	Διάλλειμα	-
12:00 - 14:00	AutoML: High Performance Machine Learning Algorithms for Tabular Datasets	Νίκος Μπάκας

Zoom link:
https://authgr.zoom.us/j/99555423507

HackMD

Κατά τη διάρκεια των παρουσιάσεων μπορείτε να χρησιμοποιείτε το παρόν κείμενο για να κάνετε ερωτήσεις (το chat του zoom προτείνουμε να χρησιμοποιείται μόνο για θέματα που σχετίζονται με το zoom).

Βασικές επιλογές

Για να χρησιμοποιήσετε το HackMD document δεν απαιτείται να κάνετε signup ή login.

To HackMD είναι real-time editor και viewer.

Οι βασικές επιλογές του editor είναι αυτές που εμφανίζονται στην παρακάτω εικόνα.

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Learn More →

Προτείνουμε την επιλογή split view (Both) στην οποία το παράθυρο χωρίζει δεξιά/αριστερά σε editor και viewer αντίστοιχα.
Η σύνταξη είναι σε markdown.
Τόσο στο μέρος Α' όσο και στο μέρος Β' υπάρχει χώρος για ερωτήσεις/απαντήσεις. Οι εκπαιδευτές θα απαντούν στις ερωτήσεις σας inline όπως στο παρακάτω παράδειγμα:

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Learn More →

Code of Conduct

Γενικά, ό,τι λέει εδώ.

Ειδικά, για την hands-on εκπαίδευση (μέρος Β') σας παροτρύνουμε:

να είστε ευγενικοί και να βοηθάτε άλλους συμμετέχοντες στο βαθμό που μπορείτε
εφόσον δεν μπορείτε να βοηθήσετε κάποιον/-α (ή/)και υπάρχει κάποιο πρόβλημα να ενημερώσετε κάποιον από τους εκπαιδευτές.

Checklist για το hands-on

Για το μέρος Β' (hands-on) θα χρειαστείτε (όσοι επιθυμείτε να ακολουθήσετε τις ασκήσεις του εκπαιδευτή) λογαριασμό στη συστοιχία.

Αν έχετε ιδρυματικό λογαριασμό ΑΠΘ αλλά δεν έχετε πρόσβαση στη συστοιχία HPC "Αριστοτέλης" μπορείτε να συμπληρώσετε την αίτηση για πρόσβαση στη συστοιχία.

Αν δεν έχετε λογαριασμό ΑΠΘ μπορείτε να συνδεθείτε με τα παρακάτω προσωρινά credentials:

username: testnoc5
password:

Αφότου συνδεθείτε επιτυχώς με ssh φτιάξτε ένα φάκελο (με όνομα που θα επιλέξετε εσείς, π.χ. jim) και μεταβείτε μέσα σε αυτόν για να τοποθετήσετε τα δεδομένα σας.

$ mkdir jim
$ cd jim

Για σύνδεση με SSH ακολουθείστε τις οδηγίες εδώ.

Καθώς η σύνδεση με SSH είναι διαθέσιμη μέσα από το δίκτυο του ΑΠΘ, εφόσον παρακολουθείτε μέσω zoom και δεν έχετε τη δυνατότητα σύνδεσης στο VPN του Πανεπιστημίου, μπορείτε να συνδεθείτε σε terminal μέσω της σελίδας https://hpc.auth.gr (επιλογή Clusters -> Aristotle Shell Access).

Α' μέρος

Παρουσιάσεις (διαφάνειες)

Example scripts

Αφού συνδεθείτε στον Αριστοτέλη μπορείτε να αντιγράψετε τα παραδείγματα (scripts και Jupyter notebook) αυτής της παρουσίασης με την παρακάτω εντολή:

$ cp -r /mnt/apps/share/HPC-AI-examples $HOME

Παράδειγμα ενός "batch" file

Για το παράδειγμα χρησιμοποιήσαμε το παρακάτω αρχείο υποβολής εργασίας. Οι γραμμές με πρόθεμα #SBATCH αποτελούν "οδηγίες" για το slurm (πόσοι υπολογιστικοί πόροι θα χρειαστούν και για πόση ώρα)

#!/bin/bash
#SBATCH --job-name=xgboost-example   # ένα όνομα για το job
#SBATCH --partition=rome    #  το partition (ουρά) που θέλουμε να υποβληθεί και να τρέξει το job
#SBATCH --nodes=1           # Πόσα nodes (physical μηχανήματα) θα χρειαστεί να δεσμευτούν για το job μας
#SBATCH --ntasks-per-node=8 # Πόσα CPU Cores θα χρειαστεί να δεσμευτούν για το job μας
#SBATCH --time=1:00:00      # Πόση ώρα (κατ' εκτίμηση) θα χρειαστεί για να τρέξει το job μας

source /mnt/apps/custom/python-envs/xgboost-env/bin/activate # εδώ ενεργοποιείται ένα περιβάλλον virtualenv όπου έχει προεγκατασταθεί το xgboost και λοιπές απαραίτητες βιβλιοθήκες

python example.py # εδώ εκτελείται το python script μας.

Η εντολή `sinfo`

Για να δούμε την κατάσταση μίας ουράς (π.χ. της rome) εκτελούμε την παρακάτω εντολή. Στα σχόλια γίνεται μιά επεξήγηση του τι βλέπουμε στην έξοδο αυτής της εντολής.

[testnoc5@aristotle6 HPC-AI-examples]$ sinfo -p rome
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
rome         up 2-00:00:00      8   resv cn[32-37,44-45] # αυτοί οι κομβοι είναι δεσμευμένοι για κάποιο λόγο
rome         up 2-00:00:00      2    mix cn[42,47]    # αυτοί οι κομβοι είναι μερικώς κατηλειμένοι
rome         up 2-00:00:00      4  alloc cn[38-40,43] # αυτοί οι κομβοι είναι πλήρως κατηλειμένοι
rome         up 2-00:00:00      3   idle cn[41,46,48] # αυτοί οι κομβοι αδρανούν ("κάθονται")

Η εντολή `sbatch`

Χρησιμοποιείται για να υποβάλλουμε προς εκτέλεση κάποια εργασία:

[testnoc5@aristotle6 HPC-AI-examples]$ sbatch xgboost-job.sh 
Submitted batch job 1708163

Η εντολή `squeue`

Χρησιμοποιείται για να δούμε την κατάσταση των εργασιών. Π.χ. για να δούμε τις εργασίες του χρήστη μας (testnoc5) η εντολή είναι η παρακάτω. Στα σχόλια γίνεται επεξήγηση του τι βλέπουμε ανά γραμμή.

[testnoc5@aristotle6 HPC-AI-examples]$ squeue -u testnoc5
       JOBID PARTITION NAME             USER        TIME TIME_LIMIT ST  NODES  CPUS NODELIST(REASON)
     1708154  ondemand sys/dashbo   testnoc5       15:44    1:00:00 R   1      1    cn94 # ένα job που "τρέχει" στο cn94 σε 1 Cpu Core
     1708153  ondemand sys/dashbo   testnoc5       16:02    1:00:00 R   1      1    cn94 # ένα job που "τρέχει" στο cn94 σε 1 Cpu Core
     1708163      rome xgboost-ex   testnoc5        0:25    1:00:00 R   1      8    cn42 # ένα job που "τρέχει" στο cn42 σε 8 Cpu Cores

Ερωτήσεις/Απαντήσεις

Πως διαλέγουμε σε ποιο partition θα στείλουμε το job μας; Όχι τεχνικά, αλλά για ποιο λόγο να διαλέξουμε πχ rome αντί ampere κλπ.
- Το καθορίζουμε στο job file με την παράμετρο –partition, π.χ.:
```
#SBATCH --partition=rome
```
- Η επιλογή του partition έχει να κάνει με το τι resources θα χρειαστεί να χρησιμοποιήσουμε. Π.χ. αν χρειαζόμαστε για το εκάστοτε job μας πρόσβαση σε GPU πόρους θε επιλέξουμε είτε το gpu είτε το ampere partition. Τα διαθέσιμα partitions, οι πόροι που διαθέτει το καθένα και τα όρια χρήσης δίνονται στον εξής σύνδεσμο:
  - https://hpc.it.auth.gr/nodes-summary/
Τα δεδομένα μας πως τα περνάμε στη συστοιχία; Έχω πχ 10GB δεδομένων που θέλω να αναλύσω. Που τα ανεβάζω;
- Το πιο σύνηθες είναι η αντιγραφή με rsync ή scp. Συνήθως χρησιμοποιείται το πρώτο για πολλά αρχεία και φακέλους και το δεύτερο για λίγα αρχεία. Κάποιες σύντομες οδηγίες υπάρχουν εδώ. Εφόσον όμως τα δεδομένα υπάρχουν σε κάποιο cloud storage (π.χ. dropbox ή google drive) μπορεί να χρησιμοποιηθεί το rclone utility (https://hpc.it.auth.gr/transfer-cloud/).
- By default, ο χώρος ανά account είναι 5GB (πρόκειται σύντομα να το αλλάξουμε σε 20GB). Εφόσον απαιτείται περισσότερος χώρος μπορούμε να διαθέσουμε μέχρι (max) 200GB. Περισσότερα εδώ.
Πώς μπορούμε να εγκαταστήσουμε μία βιβλιοθήκη της python στο δικό μας χώρο στη συστοιχία (στο home directory μας);
- Μπορούμε να εγκαταστήσουμε πακέτα στο χώρο μας στη συστοιχία χρησιμοποιώντας environments, είτε python virtual environments + pip, είτε anaconda virtual environments.
- Η συστοιχία διαθέτει κεντρικά εγκατεστημένη τη διανομή miniconda3 του anaconda. Για να τη χρησιμοποιήσουμε μπορούμε να τη «φορτώσουμε» στο περιβάλλον μας με την εντολή
```
  module load gcc/12.2.0 miniconda3
```
Υπάρχει η δυνατότητα να πάρουμε μια εκτίμηση για το πότε θα εκτελεστεί το job μας;
- Ναι, μπορούμε να έχουμε μιά εκτίμηση χρησιμοποιώντας την παράμετρο --test-only στην sbatch, ως εξής:
```
  $ sbatch --test-only xgboost-job.sh 
  sbatch: Job 1708173 to start at 2023-10-11T11:13:44 using 8 processors on nodes cn42 in partition rome
```
- Σημειώστε ότι με την παράμετρο --test-only το job μας δεν θα υποβληθεί. Απλά μας δίνει μιά ένδειξη καταρχήν ότι δεν έχουμε κάποιο typo στο job file και επίσης και μια εκτίμηση του εκτιμόμενου χρονου εκκίνησης. Για να μπει στην ουρά το job θα πρέπει να ξανατρέξουμε την εντολή χωρίς την παράμετρο --test-only.
Πώς μπορούμε να εκτιμήσουμε σωστά πόσα resources χρειάζεται για το job μας ώστε να τα καθορίσουμε σωστά στο job file μας;
- Για να γίνει καλή εκτίμηση δυστυχώς χρειάζεται να έχει χρησιμοποιηθεί το cluster ώστε να έχουμε εικόνα των χρόνων επίλυσης και πώς αυτοί μειώνονται ή αυξάνονται όταν προσθέτουμε ή μειώνουμε πόρους. Η πρότασή μας είναι να ξεκινάμε τη διαστασιολόγηση αυτή (benchmarking) με μικρά jobs στην αρχή τα οποία προοδευτικά μπορούμε να αυξάνουμε σε μέγεθος. Στην πορεία πολύ χρήσιμη θα μας φανεί η χρήση της εντολής seff που μας δίνει για ένα ολοκληρωμένο job το CPU και memory efficiency που επιτεύχθηκε. Π.χ. για το παράδειγμα της xgboost:
```
# seff 1708163
Job ID: 1708163
Cluster: aristotle
User/Group: testnoc5/authusers
State: COMPLETED (exit code 0)
Nodes: 1
Cores per node: 8
CPU Utilized: 00:42:20
CPU Efficiency: 74.88% of 00:56:32 core-walltime
Job Wall-clock time: 00:07:04
Memory Utilized: 119.68 MB
Memory Efficiency: 0.75% of 15.62 GB
```
- Βλέπουμε στο παραπάνω ότι έχουμε σχετικά καλό CPU efficiency (74.88%), οπότε ίσως είναι ΟΚ να μεγαλώσουμε το job size (π.χ. να το υποβάλλουμε να τρέξει σε 16 Cpu Cores) και να δούμε αν βελτιώνεται ή έστω παραμένει στα ίδια επίπεδα το CPU efficiency. Αν χειροτερεύει (π.χ. έχει τιμή κάτω από 60%) προτείνουμε να μην κλιμακώσουμε περαιτέρω το job size.
Ποιοι είναι οι συνήθεις χρόνοι αναμονής για μικρές/μεσαίες/μεγάλες εργασίες;
- Ο βασικός παράγοντας που επηρεάζει το χρόνο αναμονής είναι πόσες άλλες εργασίες υπάρχουν στην ουρά του συγκεκριμένου partition.
  - Παίζει ρόλο το μέγιστο walltime που έχουμε δηλώσει στο job μας. Τα μικρά jobs μπορούν να δρομολογηθούν νωρίτερα από μεγάλα jobs μεγαλύτερης προτεραιότητας, εάν η δρομολόγηση αυτή δεν επηρεάζει τον αναμενόμενο χρόνο έναρξης της εργασίας με μεγαλύτερη προτεραιότητα.
  - Πληροφορίες για την προτεραιότητα των εργασιών στο σύνδεσμο https://hpc.it.auth.gr/jobs/job-priority/
  - Αναλυτική τεκμηρίωση του χρονοδρομολογητή Slurm https://slurm.schedmd.com/priority_multifactor.html
Αν δηλώσω ένα εκτιμώμενο χρόνο για το job και ο χρόνος αυτός παρέλθει, τι συμβαίνει με το job μου; Θα διακοπεί;
- Ναι. Δηλαδή το walltime που δηλώνουμε είναι και το "μέγιστο" όριο χρόνου που μπορεί να τρέχει το job μας.
- Όσα output files έχουν παραχθεί μέχρι εκείνη τη στιγμή από το job μας δε "χάνονται". Είναι διαθέσιμα οπότε αν θέλουμε να κάνουμε restart (δηλαδή να στείλουμε νέο job που να ξεκινήσει από το σημείο που σταμάτησε το προηγούμενο job) τότε μπορούμε. Η δυνατότητα restart όμως θα πρέπει να υποστηρίζεται και από την εφαρμογή. Συνήθως εφαρμογές που είναι "φτιαγμένες" για να τρέχουν σε περιβάλλοντα HPC έχουν τέτοιες δυνατότητες embedded.
Υπάρχει άνω όριο στην τιμή του walltime που μπορώ να δηλώσω;
- Ναι. Το ανώτατο όριο runtime ανά καθορίζεται για κάθε partition. Μπορείτε να δείτε αυτα τα όρια στον σύνδεσμο:
  https://hpc.it.auth.gr/nodes-summary/#partition-limits
  Για παράδειγμα στο batch partition οι εργασίες μπορούν να τρέξουν έως και 7 ημέρες ενώ στο rome partition το μέγιστο walltime είναι 2 ημέρες.
- Υπάρχει η δυνατότητα επέκτασης των χρονικών ορίων ανά εργασία για τα partitions batch, rome και ampere εφόσον υποβάλουμε τις εργασίες μας κάτω από συγκεκριμένα QOS accounts χρησιμοποιώντας όμως λιγότερα resources από αυτά που μπορούν να χρησιμοποιηθούν by default. Για παράδειγμα, στο batch partition μπορούμε να τρέξουμε μία εργασία με διάρκεια έως και 7 ημέρες με έως 140 CPU cores, αλλά εάν θέλουμε να χρησιμοποιήσουμε την επέκταση του χρονικού ορίου (batch-extd), μπορούμε να τρέξουμε μία εργασία με διάρκεια έως και 12 ημέρες με έως 40 CPU cores . Για να υποβάλουμε την εργασία μας κάτω από ένα QOS account μπορούμε να χρησιμοποιήσουμε το directive --qos στο script υποβολής:
```
#SBATCH --qos=batch-extd
```
Πόσο καιρό σας πήραν τα jobs για την ολοκλήρωση των πειραμάτων (DL σε GPU). Εκτίμηση μαζί με Queue time + πειράματα. Επίσης συγκεκριμένα τι Queue times συναντήσατε? Π.χ. στην συγκεκριμένη δουλεία, που το μοντέλο χρειαζόταν 33 ώρες εκπαίδευσης, για την εκπαίδευση στο cluster πόση ώρα πήρε?
- To queueing time δεν ήταν πολύ "επιβαρυντικό". Στη περίπτωση του HPC βοήθησε σημαντικά το μέγεθος μνήμης ανά κάρτα (έγινε και κάποια σύκριση με άλλη παρόμοια υποδομή στην Αγγλία σε ένα server με 4 GPUs με 12GB/κάρτα). Το training διήρκεσε ~3-4 μήνες (όλη η εργασία ~1 έτος).
- Συμπληρωματικά αναφέρω ότι η εκπαίδευση ενός μοντέλου DPRNN (10M params) στην ακαδημαϊκή υπολογιστική συστοιχία διαρκεί περίπου 2-3 μέρες (~10 x 6 ώρες) για σύνολο δεδομένων ομιλίας 720 ωρών. Η εκπαίδευση του ίδιου μοντέλου σε deep learning server με 4 GPUs διαρκεί 5-7 μέρες. Σε server με μια GPU δεν είναι εφικτή η εκπαίδευση του μοντέλου σε πρακτικό χρόνο. (Ι.Θ.)

Β' μέρος

Παρουσιάσεις (διαφάνειες)

Ερωτήσεις/Απαντήσεις

Τα features στα tabular datasets για το hpmlt θα πρέπει να είναι αριθμητικά μόνο; Κατηγορικές μεταβλητές μπορεί να δεχθεί;
- Ναι, μπορεί να δεχθεί και κατηγορικές μεταβλητές (για μία κατηγορία όμως).

Όταν ξεκινας τη διαδικασία του hyperparameter tuning, πάρχουν καποια standard best practices ώστε να περιορίσεις κάπως το εύρος των τιμών που πρέπει να εξετάσεις στο κάθε hyperparameter ή έστω να βρεις κάποιο starting point στην περιοχή του οποίου να εξετάσεις πιο διεξοδικά?
- 2-steps tuning. Αρχικα 10 epochs με 100 rounds και έπειτα tuning μεταβλητών σε 100 epochs και 1000 rounds και ελέγχουμε τη σύγκλιση.
- [Πασχάλης] Επίσης έχει ενδιαφέρον αυτό το εργαλείο που αναφέρθηκε νωρίτερα από τον κ. Θωίδη: Slurm hyper search utility. Φαίνεται να διευκολύνει το tuning σε περιβάλλοντα HPC.
Η παρουσίαση υπάρχει στο github repository? Δεν τη βρίσκω!
Αν θέλετε πάντως ανεβάστε την παρουσίαση στο GitHub, ήταν πολύ ενδιαφέρουσα

Error (κατέβασα όλα τα αρχεία από το Instructions.txt): more slurm-1708277.out

  Traceback (most recent call last):
    File "/mnt/scratch_b/users/t/testnoc5/jim2/HPC-AI-examples/__hpmlt__.py", line 43, in <module>
      df, features_names, target_name = misc_functions.read_the_dataset_dropna(ROOT_DIR)
    File "/mnt/scratch_b/users/t/testnoc5/jim2/HPC-AI-examples/misc_functions.py", line 82, in read_the_dataset_d
  ropna
      for file in os.listdir(ROOT_DIR):
  FileNotFoundError: [Errno 2] No such file or directory: '/.../.../'

Θα πρέπει στο αρχείο __hpmlt_.py να αλλάξει η μεταβλητή ROOT_DIR στο πλήρες path όπου είναι τα αρχεία που αντιγράφτηκαν. Το path μπορείς να το δεις με την εντολή pwd. Π.χ. σε αυτήν την περίπτωση θα πρέπει να είναι:

ROOT_DIR = /mnt/scratch_b/users/t/testnoc5/jim2/HPC-AI-examples/

ΔΙΟΡΘΩΘΗΚΕ! Ευχαριστω!

Image Not Showing Possible Reasons

The image file may be corrupted
The server hosting the image is unavailable
The image path is incorrect
The image format is not supported

Learn More →

Σε τι διαφέρει το SLURM από το TORQUE; Και τα δυο είναι job submission se HPC.
- Είναι και τα δύο schedulers για HPC clusters. Επίσης είναι και τα δύο open source projects. Το slurm είναι πιο actively developed και χρησιμοποιείται σε πολλά HPC Clusters (π.χ. Aristotle@ΑΠΘ, Aris@ΕΔΥΤΕ κ.α. στην Ευρώπη). Το TORQUE δεν αναπτύσσεται πλέον.
Σε περίπτωση που οι εργασίες που υποβάλονται στα πλαίσια του hands-on παραμένουν στην ουρά;

Για όσες εργασίες παραμένουν στην ουρά θα μπορούσατε να προσθέσετε το παρακάτω slurm directive στο script υποβολής:
```
#SBATCH --reservation=ai_demo
```
ώστε να δρομολογηθούν στους πόρους που έχουν δεσμευθεί για το event.
Εάν θέλετε να ακυρώσετε προηγούμενες εργασίες που δεν έχουν δρομολογηθεί, μπορείτε να χρησιμοποιήσετε την εντολή scancel:
```
scancel <jobid>
```

Artificial Intelligence (AI) on High Performance Computing (HPC)

Πρόγραμμα

HackMD

Βασικές επιλογές

Code of Conduct

Checklist για το hands-on

Α' μέρος

Παρουσιάσεις (διαφάνειες)

Example scripts

Παράδειγμα ενός "batch" file

Η εντολή sinfo

Η εντολή sbatch

Η εντολή squeue

Ερωτήσεις/Απαντήσεις

Β' μέρος

Παρουσιάσεις (διαφάνειες)

Ερωτήσεις/Απαντήσεις

Read more

[slides] Περιγραφή και βασικές οδηγίες χρήσης υποδομής “Αριστοτέλης” του ΑΠΘ

Large Language Models (LLMs) on High Performance Computing (HPC) Systems: Deployment, Experimentation, and Applications

Περιγραφή και βασικές οδηγίες χρήσης υποδομής “Αριστοτέλης” του ΑΠΘ

Εισαγωγικές έννοιες HPC

Η εντολή `sinfo`

Η εντολή `sbatch`

Η εντολή `squeue`