Sobre

Última modificação: Sexta-feira, 2 de julho de 2021

Sobre o cluster

O cluster é um ambiente de computação de alto desempenho para fins de pesquisa do programa de pós-graduação em Modelagem Matemática e Computacional (PPGMMC), mantido pelo Laboratório de Computação de Alto Desempenho (LCAD) do CEFET-MG. O cluster é destinado aos pesquisadores, professores e alunos da instituição que queiram desenvolver projetos de pesquisa e desenvolvimento, bem como atividades especiais no âmbito do ensino.

A seguir você vai conhecer a configuração de hardware das máquinas e softwares instalados. Outras informações relevantes como tutoriais de acesso, comandos e bibliotecas podem ser encontradas nas demais seções do site.

Caracterização do cluster

As próximas secções descrevem a configuração de hardware e software das máquinas.

Hardware

O cluster conta com 32 máquinas de uso compartilhado, em 3 diferentes configurações. Essas máquinas estão agrupadas nas filas small, medium, large, conforme descrito a seguir:

small: 11 máquinas Dell, processador XEON 8 threads físicas, sem hyperthread, 48GB RAM (em média);
medium: 17 máquinas Dell, processador XEON 8 threads físicas, com hyperthread, 32 GB RAM (em média);
large: 4 máquinas Supermicro, 64 threads físicas, sem hyperthread, 128 GB RAM.

As máquinas estão conectadas por uma rede Gigabit que atinge uma velocidade de 1 Gb/s.

Softwares

O cluster dispõe com compiladores/interpretadores/softwares mais utilizados nas áreas de pesquisa em modelagem matemática e computacional. O sistema operacional do cluster é Rock 7.0 e todas as máquinas têm os mesmos softwares instalados. O usuário tem aos seu dispor os seguintes compiladores/interpretadores:

Java Oracle 7u80, 32 bits e 64 bits;
Java Oracle 8u92, 32 bits e 64 bits;
Python 2.7;
Python 3.4;
Octave 4.0.1;
R 3.2.4;
GCC 6.0.1 (Inclui C, C++, Fortran e Go);
CUDA 7.0.28;

Bem como as seguintes bibliotecas instaladas:

BLAS;
ATLAS;
LAPACK;
libgcc.

Adcionalmente os seguintes softwares:

CPLEX 12.6.3;
GAMESS;
MPI 1.5.4;
MPICH 3.2;
Trinity 2.2.0;
Cmake 3.5.2;
Postgres 9.4;
Valgrind 3.11;
XVFB.

A fim de manter diferentes versões dos softwares instalados sem que uma cause conflito na outra, o recurso de módulos de ambientes é utilizado. Este recurso dá flexibilidade ao usuário que pode escolher qual versão do software utilizar.

Com exceção das bibliotecas, todos os softwares estão disponíveis somente através dos módulos de ambiente, i.e., eles não são carregados por padrão, mas devem ser informados pelo usuário no momento da sua efetiva utilização.

O comando utilizado para gerenciar os módulos carregados é o module. É possível listar os módulos com module avail.

[root@cluster bin]# module avail

------------------------ /usr/share/Modules/modulefiles --------------
dot              modules          rocks-openmpi
module-git       null             rocks-openmpi_ib
module-info      opt-python       use.own

------------------------------- /etc/modulefiles ---------------------
autodocksuite  gcc6.1         jdk8           openmpi-x86_64 trinity
clustalw       glimmer        jdk8_32        phylip         valgrind
cmake          gmap           mpiblast       python2.7      wgs
cplex          gromacs        mpich          python3.4
emboss         hmmer          mrbayes        R-3.2.4
fasta          jdk7           ncbi-blast     t_coffee
gamess         jdk7_32        octave         tigr

Espaço em Disco

O cluster conta com um espaço total em disco de 3 TB, sendo 1 TB reservado para pastas pessoais de usuários e 2 TB para uma área de armazenamento compartilhado por todos os usuários.

Essa arquitetura de disco é centralizada, o que caracteriza um problema para usuários que fazem muito acesso ao disco. Se um processo fizer constantes leituras e escritas na pasta pessoal do usuário, isso pode causar lentidão para outros processos que acessam o disco.

Portanto a orientação é que o usuário se encarregue de copiar os arquivos que necessitar para o diretório temporário da máquina que está executando o processo e, ao finalizar a computação, copiar os arquivos de volta para o sua pasta pessoal caso necessário. Se o overhead de acesso ao disco for constante e incômodo a outros usuários, o processo será finalizado pelo administrador e o usuário será notificado para alterar seu programa.

Conta de usuário

Para criar uma conta é necessário submeter uma solicitação via site do LCAD, a coordenação do PPGMMC. Os usuários do cluster são alocados em grupos conforme a finalidade e necessidade de utilização de recursos. Os grupos são:

ppgmmc: Alunos ou professores do Programa de Pós-Graduação em Modelagem Matemática Computacional
pgss: Alunos ou professores de outros Programas de Pós-Graduação Strictu-Sensu do CEFET-MG
pesq: Demais pesquisadores da instituição que não estão vinculados a nenhum programa de de pós-graduação Strictu-Sensu
ict: Professores e alunos de iniciação científica
ensino: Professores e alunos com projetos de caráter didático específicos

Cada usuário terá uma pasta pessoal, intransferível, com capacidade inicial de 5GB, para armazenar seus programas e dados. Excepcionalmente, e sob requerimento, esta capacidade poderá ser ampliada, observando a disponibilidade de armazenamento total do cluster.