AULA 15 - Microprocessadores - Graduação

Por que estudar paralelismo?

• Explora alternativas de projeto de novos sistemas para aumento de desempenho e de recursos de microeletrônica.

• Área de pesquisa com uma comunidade brasileira ativa e atuante em várias áreas e forte apelo internacional

• Áreas de atuação:
  • Desenvolvimento de novos modelos de computação
  • Desenvolvimento de novas arquiteturas de sistemas computacionais (processadores multi-core, multiprocessadores, sistemas de cluster, grid e cloud computing)
  • Viabiliza novas aplicações computacionais (modelos matemáticos):

– Previsão de tempo e de clima

– Drug design, genômica, proteômica

– Simulação (car crash, plataforma petrolífera, ...)

Paralelismo e processamento superescalar

Além de tudo que foi visto, em termos de aprimoramento dos módulos internos do processador, barramentos, memórias, etc, inúmeras outras estratégias foram criadas com o intuito de aumentar a velocidade dos sistemas computacionais.

Em uma das linhas de pesquisa, ao invés de se pensar em um único processador com características superiores, os desenvolvedores começaram a seguir a abordagem de utilizar vários sub-sistemas de processamento acoplados, ou seja, por meio da estratégia "dividir para conquistar".

Tipos de sistemas com processadores paralelos

Taxonomia proposta por Flymm (1972):

Única instrução, único dado (SISD - single instruction, single data)

Um único processador executa uma única sequência de instruções, usando dados armazenados em uma única memória.

Exemplo: Máquina de Von Neumann

Única instrução, múltiplos dados (SIMSD - single instruction, multiple data)

Nestes computadores, ocorre a execução síncrona da instrução, para todos os dados.

Uma única instrução de máquina controla a execução simultânea de um certo número de elementos de processamento, em passos de execução.

Cada elemento de processamento tem uma memória de dados a ele associada, de modo que cada instrução é executada sobre um conjunto de dados diferente em cada processador.

Os processadores vetoriais e matriciais pertencem a essa categoria.

Exemplos:

• Processadores vetoriais (Cray 1)
• GPU - ou graphics processing unit, Unidade Gráfica de Processamento

Múltiplas instruções, único dado (MISD - multiple instruction, single data)

Uma sequência de dados é transmitida para um conjunto de processadores, cada um dos quais executa uma sequência de instruções diferente.

Isto é, várias instruções são executadas em um único fluxo de dados.

Essa estrutura nunca foi implementada.

Múltiplas instruções, múltiplos dados (MIMD - multiple instruction, multiple data)

Permite a execução de instruções diferentes para cada um dos dados.

Ou seja, um conjunto de processadores executa simultaneamente sequências diferentes de instruções, sobre conjuntos de dados distintos.

Os SMPs, clusters e sistemas NUMA pertencem a esta categoria.

Exemplos:

• Arquiteturas paralelas atuais
• Top500.org

Em uma organização MIMD, os processadores são de propósito geral; cada um pode processar todas as instruções necessárias para realizar a transformação de dados apropriada.

Arquiteturas de processador Superescalares

Processadores Superescalares são todos os que possuem mais de uma unidade funcional em cada pipeline, as quais permitem a execução de mais de uma instrução simultaneamente (no mesmo ciclo de clock).

A arquitetura pipeline já permite que diversas instruções sejam executadas ao mesmo tempo, desde que estejam em estágios diferentes do pipeline.

Porém, ainda que várias instruções sejam executadas concorrentemente (em cada estágio do pipeline), apenas uma instrução encontra-se na fase de execução, ou seja, o sistema continua sendo SISD.

Já na arquitetura superescalar, várias instruções podem ser iniciadas simultaneamente e executadas independentemente umas das outras.

A partir do Pentium, a maioria dos processadores para computadores pessoais atualmente são superescalares.

Isto é obtido através da implementação de múltiplas unidades funcionais, que são unidades onde as instruções são executadas.

O Pentium, por exemplo, trabalha internamente como se fosse composto por dois processadores de 32 bits distintos (chamados de pipeline U e pipeline V), sendo capaz de processar duas instruções por ciclo de clock (uma em cada pipeline).

As arquiteturas superescalares incluem todos os aspectos do pipeline e ainda acrescentam o fato de as instruções poderem estar executando no mesmo estágio do pipelining (em linhas pipelining diferentes).

Cada processador possui acesso total ao cache, à memória RAM, e aos demais componentes do micro.

Foi incluída também, uma unidade de controle, com a função de comandar o funcionamento dos dois processadores e dividir as tarefas entre eles.

Observação:

Teoricamente, o uso de dois processadores distintos dobraria o desempenho do Pentium, já que ao invés de uma, poderiam ser executadas duas instruções por ciclo de clock. Mas, na prática existem algumas limitações.
Se por exemplo, um programa ordena que o processador some 4 números, X + Y + W + K, o processador poderia no primeiro ciclo de clock usar o pipeline U para somar X e Y e o pipeline V para somar W, mas no segundo ciclo, haveria apenas mais um cálculo para ser executado, o resultado das duas somas. 
Neste caso, apenas um dos pipelines poderia ser usado; o segundo ficaria ocioso. 
No final das contas, houve um ganho de 33%, já que ao invés do processador demorar 3 ciclos para executar o cálculo, demorou apenas 2.

Assim, em média, a segunda canalização permite um desempenho 30 ou 40% superior ao desempenho obtido com apenas uma canalização.

Caso o software seja alterado e otimizado para rodar em um processador com dois pipelines, ordenando as instruções de modo a deixar o segundo pipeline ocupado durante a maior parte do tempo, podemos conseguir mais 10 ou 15% de desempenho, chegando a algo entre 40 e 50%, mas, jamais será possível conseguir o dobro de desempenho.

Dependência de desvios

A presença de desvios condicionais em uma seqüência de instruções complica a operação do pipeline. A instrução seguinte a um desvio condicional (tomado ou não) depende dessa instrução de desvio. Esse tipo de dependência também afeta uma pipeline escalar, mas a conseqüência desse tipo de dependência é mais severa em uma pipeline superescalar, porque o número de instruções perdidas em cada atraso é maior. Se forem usadas instruções de tamanho variável, surge ainda um outro tipo de dependência. Como o tamanho de uma instrução particular não é conhecido, uma instrução deve ser decodificada, pelo menos parcialmente, antes que a instrução seguinte possa ser buscada. Isso impede a busca simultânea de instruções, requerida em uma pipeline superescalar. Essa é uma das razões pelas quais técnicas supersescalares são mais diretamente aplicáveis a arquiteturas RISC ou do tipo RISC, que possuem instruções de tamanho fixo.

Conflito de recursos

Um conflito de recurso ocorre quando duas ou mais instruções competem, ao mesmo tempo, por um mesmo recurso.

Exemplos de recursos incluem memórias, caches, barramentos, portas de bancos de registradores e unidades funcionais (por exemplo, o somador da ULA).

Em termos de pipeline, um conflito de recurso apresenta um comportamento semelhante ao de uma dependência de dados.

Existem, entretanto, algumas diferenças.

Por um lado, conflitos de recursos podem ser superados pela duplicação de recursos, enquanto uma dependência de dados não pode ser eliminada.

Além disso, quando uma operação efetuada em uma dada unidade funcional consome muito tempo para ser completada, é possível minimizar os conflitos de uso dessa unidade por meio de sua implementação como uma pipeline.

Multiprocessadores simétricos

Até muito recentemente, quase todos os computadores pessoais e a maioria das estações de trabalho continham um único microprocessador de uso geral.

Com a crescente demanda por desempenho e a contínua queda do custo dos microprocessadores, os fabricantes introduziram os sistemas SMP.

A denominação SMP refere-se tanto à arquitetura de hardware do computador, quanto ao comportamento do sistema operacional sobre esta arquitetura.

Um computador SMP pode ser definido como:

1. Existem dois ou mais processadores similares, com capacidade de processamento comparável;
2. Estes dois processadores compartilham a mesma memória principal e dispositivos de E/S, e são conectados por barramento interno, de forma que o tempo de acesso à memória em todos é praticamente o mesmo;
3. Todos os processadores compartilham acesso aos dispositivos de E/S;
4. Todos os processadores são capazes de desempenhar as mesmas funções;
5. Tudo é controlado por um sistema operacional integrado, que provê interação entre os processadores e seus programas, em nível de tarefas, de arquivos e de dados.

O sistema operacional (SO) é quem efetua o escalonamento de processos ou fluxos de execução (ou threads), sobre todos os processadores.

Neste momento, é importante diferenciar entre duas abordagens: os PROCESSADORES PARALELOS e os SISTEMAS PARALELOS.

Processadores paralelos, ou SUPERESCALARES, exploram o paralelismo em nível de instruções, isto é, de maneira a executar mais de uma instrução por ciclo de clock, em unidades diferentes de um mesmo processador.

Já os sistemas paralelos, ou DISTRIBUÍDOS aonde se enquadram os computadores SMP, consistem basicamente da distribuição de tarefas entre vários processadores, ao mesmo tempo.

Podem ser processadores ou computadores distintos, ou mesmo conjuntos de componentes interligados em rede que cooperam para realizar um conjunto de tarefas.

Vantagens

A arquitetura SMP tem uma série de vantagens sobre uma arquitetura SISD:

• Desempenho - se o trabalho efetuado pelo computador pode ser organizado de forma que algumas porções desse trabalho possam ser feitas em paralelo, então um sistema com múltiplos processadores resulta em maior desempenho que um sistema uniprocessador;
• Disponibilidade - em um multiprocessador simétrico, como todos os processadores são similares e ativos, uma falha em um deles não ocasiona a parada de todo o sistema;
• Crescimento incremental - o usuário pode aumentar o desempenho do sistema adicionando mais processadores;
• Escalabilidade - fabricantes podem oferecer uma larga faixa de produtos, com características de desempenho e custo diferentes, com base no número de processadores configurados para o sistema.

Sistemas paralelos

Um sistema de processamento distribuído ou paralelo é um sistema que interliga vários nós de processamento (computadores individuais, não necessariamente homogêneos), de maneira que um processo de grande consumo seja executado no nó "mais disponível", ou mesmo subdividido por vários nós.

Conseguindo-se, portanto, ganhos óbvios nestas soluções: uma tarefa qualquer, se divisível em várias subtarefas pode ser realizada em paralelo.

A nomenclatura geralmente utilizada neste contexto é HPC (High Performance Computing) e/ou DPC (Distributed/Parallel Computing).

Definição Um sistema distribuído segundo a definição de Andrew Tanenbaum é uma "coleção de computadores independentes entre si que se apresenta ao usuário como um sistema único e coerente";[1] outra definição, de George Coulouris, diz: "coleção de computadores autônomos interligados através de uma rede de computadores e equipados com software que permita o compartilhamento dos recursos do sistema: hardware, software e dados"[carece de fontes].

Assim, a computação distribuída consiste em adicionar o poder computacional de diversos computadores interligados por uma rede de computadores. A união desses diversos computadores com o objetivo de compartilhar a execução de tarefas, é conhecida como sistema distribuído.

Organização Organizar a interação entre cada computador é primordial. Visando poder usar o maior número possível de máquinas e tipos de computadores, o protocolo ou canal de comunicação não pode conter ou usar nenhuma informação que possa não ser entendida por certas máquinas. Cuidados especiais também devem ser tomados para que as mensagens sejam entregues corretamente e que as mensagens inválidas sejam rejeitadas, caso contrário, levaria o sistema a cair ou até o resto da rede.

Outro fator de importância, é a habilidade de mandar softwares para outros computadores de uma maneira portável de tal forma que ele possa executar e interagir com a rede existente. Isso pode não ser possível ou prático quando usando hardware e recursos diferentes, onde cada caso deve ser tratado separadamente com cross-compiling ou reescrevendo software.

Modelos de computação distribuída Peer-to-peer (P2P) Ver artigo principal: Peer-to-peer Ponto-a-Ponto É uma arquitetura de sistemas distribuídos caracterizada pela descentralização das funções na rede, onde cada nó realiza tanto funções de servidor quanto de cliente.

Objetos distribuídos Semelhante ao peer-to-peer (do inglês peer-to-peer, que significa ponto-a-ponto) é um formato de rede de computadores em que a principal característica é descentralização das funções convencionais de rede, onde o computador de cada usuário conectado acaba por realizar funções de servidor e de cliente ao mesmo tempo.

Seu principal objetivo é a transmissão de arquivos e seu surgimento possibilitou o compartilhamento em massa de músicas e filmes. Com a crescente utilização da rede P2P para este fim, cada vez mais surgem programas para este fim, porém nem sempre eles atendem às expectativas do usuário.

Diversas redes operam hoje em dia nestes moldes de compartilhamento, entre elas Kademlia, Gnutela, Kad Network e SoulSeek. Alguns programas valem a pena ser citados quando o assunto é compartilhamento P2P: μTorrent, BitTorrent, SoulSeek, Ares Galaxy, Shareaza, DreaMule, iMesh e Morpheus. Caso prefira, acesse a categoria de Compartilhadores P2P do Baixaki e conheça mais programas que operam deste modo.

Mas com um Middleware intermediando o processo de comunicação.

Hardware A organização do hardware em sistemas com várias UCPs se dá por:

Sistemas paralelos

Uma maneira tradicional de aumentar o desempenho de um sistema de computador é usar vários processadores, que possam executar em paralelo para poder suportar uma dada carga de trabalho.

As duas organizações de múltiplos processadores mais comuns são a de multiprocessadores simétricos (SMPs) e a de agregados (clusters).

Uma organização SMP consiste em múltiplos processadores similares em um mesmo computador, conectados por um barramento ou alguma outra forma de circuito de conexão.

O cluster consiste de um conjunto de computadores completos, conectados entre si, que trabalham juntos como um recurso computacional unificado, criando a ilusão de ser uma única máquina.

O sistema NUMA consiste de um multiprocessador com memória compartilhada, no qual o tempo gasto por um certo processador para fazer acesso a uma palavra na memória varia de acordo com a posição desta palavra na memória.

É constituído de vários processadores tipicamente homogêneos e localizados em um mesmo computador. Multicomputadores - Cada processador possui sua própria memória local. Multiprocessadores - Os processadores compartilham memória. Arquiteturas Multiprocessadores em barramento. Multiprocessador. Multiprocessador homogêneo. Multiprocessador heterogêneo. Software Fracamente acoplados - um software que serve de interface entre o computador (hardware) e os humanos (peopleware) , que permite a execução de diversos outros softwares (aplicativos).... Fortemente acoplados - permitem que máquinas e usuários de um sistema distribuído sejam fundamentalmente independentes e ainda interagir de forma limitada quando isto for necessário, compartilhando discos, impressoras e outros recursos. Sistemas operacionais Sistema operacional (SO) é um software que serve de interface entre o computador (hardware) e os humanos (peopleware) , que permite a execução de diversos outros softwares (aplicativos). SO de máquinas monoprocessadas. SO Multiprocessadores é uma extensão de SOs de máquinas monoprocessadas, a principal diferença sendo que os dados da memória são acessados por vários processadores e, portanto, necessitam de proteção com relação aos acessos concorrentes. SOs Multicomputadores são uma alternativas para o buffering de mensagens e pontos de bloqueio, alguns SOs disponibilizam uma abstração de memória compartilhada. SOs de rede: existe uma independência entre os computadores. Sistemas fortemente acoplados Neste sistema existe vários processadores compartilhando uma memória, e gerenciado por apenas um S.O.

Múltiplos processadores permitem que vários programas sejam executados ao mesmo tempo e em tempo real.Com isso será possível aumentar a capacidade de computação adicionando apenas processadores.

Exemplos os sistemas operacionais mais conhecidos hoje são: Windows, GNU/Linux, MacOS(Apple). Um exemplo clássico de computação distribuída é o projeto Seti at home que visa procurar em sinais de rádio interplanetários algum vestígio de vida extraterrestre. O exemplo mais moderno desse paradigma é o BOINC, que é um framework de grade computacional no qual diversos projetos podem rodar suas aplicações, como fazem os projetos World Community Grid, SETI@Home, ClimatePrediction.net, Einstein@Home, PrimeGrid e OurGrid.

As tarefas podem ser executadas de forma paralela e concorrente, com níveis variados de interação entre as mesmas ao longo do processo. Há várias vantagens em se construir sistemas distribuídos, dentre elas o desacoplamento de funcionalidades e a implementação de sistemas com maior capacidade de processamento do que o que seria possível em uma única máquina. Por outro lado, as interações entre vários componentes executando de forma simultânea e concorrente tornam o sistema mais complexo em termos de sua implementação e operação. A Web pode ser vista como um grande sistema distribuído que apresenta boa escalabilidade, porém há inúmeros problemas de falhas, desempenho e disponibilidade que justificam a inclusão desta linha de pesquisa entre os focos do INWeb.

Para fins da organização desta análise, sem perda de generalidade, a pesquisa em SPD pode ser organizada em quatro níveis. O primeiro nível compreende os algoritmos inerentes aos serviços que são executadas de forma paralela e distribuída. O segundo nível compreende os ambientes de desenvolvimento, incluindo paradigmas de programação como sistemas P2P, mecanismos de memória compartilhada e suas linguagens de programação. O terceiro nível compreende as ferramentas de suporte à execução, onde se enfocam problemas como escalonamento e balanceamento de carga, além da implementação dos protocolos de comunicação inerentes às várias aplicações. O último nível compreende as plataformas de processamento e comunicação, incluindo o hardware e os sistemas básicos, como firmware e sistemas operacionais.

Esta linha de pesquisa tem por objetivo investigar, naqueles diversos níveis, algoritmos e técnicas que enfoquem três propriedades essenciais dos sistemas paralelos e distribuídos: desempenho, escalabilidade e dependabilidade. A questão do desempenho é bastante ampla e demanda algoritmos e técnicas de monitoramento que realizem coleta e análise de dados de carga e de métricas de desempenho nos vários níveis do sistema. Sistemas escaláveis são aqueles que podem ser facilmente expandidos para acomodar aumentos na carga ou no número de usuários, ampliando a sua capacidade de processamento e comunicação à medida que a demanda aumenta, ao mesmo tempo que usam as plataformas computacionais eficientemente. Dependabilidade identifica um conjunto de propriedades que permitem ao sistema se recuperar de faltas sem desempenhar ações incorretas, reduzir seus momentos de indisponibilidade, aumentar as garantias de segurança oferecidas aos usuários e ser capaz de passar por operações de atualizações e reparos sem problemas.

Considerando o aspecto dinâmico da Web, que envolve carga crescente com grande variabilidade e diversidade com demandas crescentes dos usuários sobre a qualidade dos serviços providos, garantir essas três características se mostra como um desafio de pesquisa permanente e complexo. O desafio relacionado a desempenho, que pode ser expresso como a habilidade de prover a resposta desejada em tempo apropriado, é exacerbado pelas constantes mudanças de demanda e comportamento dos usuários, aliadas à crescente oferta de conteúdo e serviços.

As questões de desempenho são fundamentais para a grande maioria dos objetivos específicos dos dois primeiros primeiros. O monitoramento é ainda a base para o objetivo específico 3.1 e permite avaliar os objetivos 3.2 a 3.7 do Desafio 3. Escalabilidade é um desafio pelo aumento do número de usuários, da quantidade de dados e de sua diversidade, assim como pela crescente complexidade das aplicações da Web. Neste caso, os objetivos específicos 1.1 a 1.4, todos os objetivos relacionados ao Desafio 2, bem como os objetivos específicos 3.4, 3.5 e 3.6 trazem uma demanda de algoritmos e técnicas escaláveis nos vários contextos. Dependabilidade também é afetada tanto pelo dinamismo do ambiente quanto pela sua demanda crescente em várias dimensões, assim como por erros involuntários (falhas no desenvolvimento) e voluntários (comportamentos maliciosos). Fatores de dependabilidade devem ser considerados para os objetivos 2.10 e 2.11 tanto em termos da variabilidade do conteúdo, quanto em termos da sua qualidade, e para Os objetivos 3.3 e 3.4, em termos do aumento da carga de trabalho e do desempenho necessário para uma entrega satisfatória dos vários serviços.

Esta linha de pesquisa contará com a participação principalmente dos pesquisadores Wagner Meira (UFMG), Dorgival Guedes (UFMG), Jussara Almeida (UFMG), Virgílio Almeida (UFMG), Genaina Rodrigues (UFMG), Raquel Prates (UFMG) e Cristina Murta (CEFET-MG).