Sistemas isolados são um novo tipo de arquitetura projetada para atender às altas demandas de recursos de aplicativos modernos, como redes sociais, pesquisa e bancos de dados na memória. Os sistemas visam superar as limitações físicas dos servidores convencionais, agrupando e gerenciando recursos como memória e CPUs entre várias máquinas. A flexibilidade, a melhor utilização dos recursos e a rentabilidade tornam esta abordagem adequada para a infraestrutura em nuvem, mas este design distribuído apresenta desafios significativos. Acesso aleatório à memória (NUMA) e o acesso remoto a recursos cria problemas de latência e desempenho que são difíceis de resolver. A disputa por recursos compartilhados, problemas de espaço de memória e limitações de escalabilidade tornam o uso de sistemas distribuídos extremamente difícil, resultando em desempenho imprevisível de aplicativos e dificuldades de gerenciamento de recursos.
No momento, a competição por recursos no rastreamento da memória e no desenvolvimento local através do uso M de novo NUMA-você sabe técnicas nos sistemas modernos enfrentam sérios problemas. UMA não leva em consideração o efeito da memória remota, portanto, não pode funcionar bem em grandes arquiteturas. No entanto, as técnicas baseadas em NUMA destinam-se a pequenos ambientes ou simulações, e não ao mundo real. À medida que o desempenho de núcleo único estagnou, os sistemas multicore tornaram-se a norma, apresentando desafios de programação e escalabilidade. Tecnologia semelhante NumaConnect combinam recursos com memória compartilhada e compatibilidade de cache, mas são altamente dependentes das características da carga de trabalho. Os esquemas de classificação de aplicações, como as classificações de animais, facilitam a divisão das cargas de trabalho, mas não são adaptativos, não conseguindo abordar as diversas sensibilidades dos recursos.
Lidando com os desafios apresentados pelo complexo NUM topologias no desempenho de aplicativos, pesquisadores de Universidade de Umea, Suéciapropôs um Algoritmo de mapeamento de recursos NUMA para condições observadas em sistemas isolados. Os pesquisadores conduziram estudos detalhados para examinar a competição de recursos em ambientes compartilhados. Os pesquisadores analisaram a contenção de cache, as diferenças de latência na hierarquia de memória e as distâncias NUMA, que afetam o desempenho.
O algoritmo compatível com NUMA melhora a alocação de recursos fixando núcleos virtuais e migração de memória, reduzindo assim a fragmentação de memória entre nós e reduzindo a interrupção de aplicativos. As solicitações foram categorizadas (por exemplo, “Ovelha”, “Coelho”, “Diabo”) e cuidadosamente classificadas com base em matrizes de correlação para minimizar a contenção. O tempo de resposta, a taxa de clock e o consumo de energia também são rastreados em tempo real CIP de novo MPI para permitir as mudanças necessárias na alocação de recursos. Testes realizados em um sistema distribuído de seis nós mostraram que melhorias significativas no desempenho do aplicativo podem ser observadas com carga pesada de memória em comparação com agendadores padrão.
Os pesquisadores conduzem pesquisas sobre uma variedade de coisas Tipos de VM, pequena, média, grande e grande executando tarefas como Neo4j, Uma mercearia, SPECjvm2008de novo Transmissãosimulando aplicações do mundo real. O algoritmo de memória compartilhada melhorou o mapeamento de recursos virtuais para virtuais, reduzindo i NUM distância e contenção de recursos, além de garantir a correlação entre núcleos e memória. É diferente do padrão Um editor Linuxonde os mapas básicos são aleatórios e o desempenho varia. O algoritmo forneceu mapas estáveis e interferência reduzida.
Os resultados mostraram uma melhoria significativa no desempenho ao variar o algoritmo de memória compartilhada (SM-IPC e SM-MPI)acesso a 241x desenvolvimento nesses casos Dérbi de novo Neo4j. Embora o editor vanilla tenha mostrado um desempenho inesperado com medições de desvio padrão acima 0,4algoritmos de memória compartilhada mantiveram desempenho consistente nos benchmarks abaixo 0,04. Além disso, VM o tamanho afetou o desempenho do escalonador vanilla, mas teve pouco efeito nos algoritmos de memória compartilhada, indicando sua eficiência na alocação de recursos para diferentes ambientes.
Concluindo, o algoritmo proposto pelos pesquisadores permite a criação de recursos a partir de servidores distribuídos, levando a 50x melhoria no desempenho do aplicativo em comparação ao padrão Um editor Linux. Os resultados comprovaram que o algoritmo aumenta a eficiência do recurso, a interface da aplicação e o poder do usuário. Esta abordagem pode servir de base para desenvolvimentos futuros no mapeamento de recursos e melhoria de desempenho NUM sistemas isolados.
Confira eu Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 PRÓXIMO WEBINAR GRATUITO DE IA (15 DE JANEIRO DE 2025): Aumente a precisão do LLM com dados artificiais e inteligência experimental–Participe deste webinar para obter insights práticos sobre como melhorar o desempenho e a precisão do modelo LLM e, ao mesmo tempo, proteger a privacidade dos dados.
Divyesh é estagiário de consultoria na Marktechpost. Ele está cursando BTech em Engenharia Agrícola e Alimentar pelo Instituto Indiano de Tecnologia, Kharagpur. Ele é um entusiasta de Ciência de Dados e Aprendizado de Máquina que deseja integrar essas tecnologias avançadas no domínio agrícola e resolver desafios.
🧵🧵 [ FREE AI Webinar] Participe deste webinar para obter insights práticos sobre como melhorar o desempenho e a precisão do modelo LLM e, ao mesmo tempo, proteger a privacidade dos dados. (Promovido)
