Segurança para data centers virtualizados
O brainbox acadêmico que teve sua sistema operacional do centro de dados adotado como uma peça de infra-estruturas críticas no Twitter agora tem ido no negócio.
Benjamin Hindman, o co-fundador do open-source mesos gerenciador de clusters - que funciona em grandes propriedades da web, incluindo Twitter e Airbnb - juntou-VC-backed mesosfera. A startup foi fundada em 2013 para dirigir um negócio pagando em torno do gerenciador de clusters que ele construiu como um estudante.
Hindman começou mesos como parte de sua tese de doutoramento na UC Berkley, em 2009, e agora lidera o projeto no Apache - como Apache mesos, um projeto Apache desde 2010.
Twitter pegou mesos em 2010, e contratou Hindman para transformar o projeto em um sistema de produção no momento em que o Twitter estava sendo re-escrito em Java a partir de Ruby on Rails.
Mesos agora dirige serviços essenciais no Twitter, incluindo análises e anúncios.
Chris Fry, vice-presidente sênior de engenharia do Twitter, tem chamado mesos "a pedra angular da nossa infra-estrutura de computação elástica". Fry acrescenta: "É assim que construímos todos os nossos novos serviços e é fundamental para o sucesso contínuo do Twitter como escala."
Hindman coloca as coisas de forma mais sucinta. "Se mesos vai para baixo, o Twitter vai para baixo", disse ele ao The Reg esta semana.
Mesos está provando ser um hit rápido - agarrou para uso na produção doméstica pelo hotel biz AirBnB e por PayPal, eBay e OpenTable. Google também tem a sua própria versão de mesos, chamado Borg e desenvolvido de forma independente, mas os gnomos dentro salas de servidores de Mountain View ainda não liberou.
É o oposto do MapReduce, quando publicou um artigo que gerou Hadoop.
O objetivo da mesosfera é criar um ecossistema em torno do projeto Apache, tornando o sistema mais fácil de implementar para usuários comuns da empresa.
"Queremos criar um sistema que vai ser usado por qualquer pessoa que escreve novos aplicativos distribuídos", mesosfera co-fundador e CEO Florian Lieber disse ao The Reg na contratação de Hindman.
Lieber recebeu US $ 10,5 milhões em junho na série A de financiamento liderado por Andreessen Horowitz, com os investidores adicionais Dados Coletiva e combustível Capital.
O engenheiro de software alemã havia trabalhado no Twitter e foi ele quem convenceu Hindman para entrar na empresa antes de se deixar de implementar mesos em AirBnB.
O plano de Lieber agora é construir pago para ferramentas e plugins para mesos, em áreas como segurança e gestão, melhorando a integração com os aplicativos em execução no mesos.
A empresa provavelmente vai fornecer serviços para aqueles com fome de mesos para implementar o sistema em seus próprios centros de dados distribuídos e nós de cluster.
"Agora temos de acrescentar os recursos [para mesos] temos vindo a falar por um tempo", Hindman nos disse. Apache lançado mesos 0.20.1 , esta semana, com suporte nativo para Docker recipientes. No início deste mês, mesosfera comprou banco de dados de baixa latência OrlyAtomics .
Tornou-se o modelo de negócios de código aberto clássico, do tipo perseguido por empresas como Cloudera e Hortonworks, que construíram o apoio e as empresas de consultoria em torno do Hadoop.
O que levanta a pergunta: É mesos a próxima Hadoop?
Hadoop muito?
Há paralelos, pelo menos em termos de intenção do projeto para executar tarefas de centros de dados em escala maciça.
Hindman descreve mesos como um sistema operacional para o data center ou um kernel para sistemas distribuídos. A idéia é que você pode criar e executar aplicativos em servidores distribuídos, com mesos cuidar da complexidade. É o "intermediário software" entre o aplicativo eo centro de dados.
O nome mesos aponta para isto: vindos do grego para "meio" para nerds espaciais, a mesosfera é a camada da atmosfera terrestre acima da estratosfera terrestre abaixo da termosfera Ele fica 30-50 milhas acima da superfície e da Terra - com o.. estratosfera - é referido como a Terra "meio ambiente".
Outro recurso garantido para o pico de interesse mais amplo em mesos é que o software é multi-linguagem e de código aberto - escrito em C ++, Python, Ruby, JVM e Vá - e reduz as linhas de código que você precisa para executar aplicativos em grande escala.
O que escala? Mesos se estende por dezenas de milhares de servidores no Twitter.
Mesos funciona por meio de recursos do kernel do sistema operacional que lidam com isolamento de recursos, definição de prioridades, os constrangimentos e relatórios. Ele processa o CPU, memória, sistema de arquivos e outros recursos.
A arquitetura mesos consiste de um mestre, escravo e uma estrutura que executa os escravos. O mestre e os escravos trocar informações sobre recursos livres com o mestre determinar quais os recursos podem ser alocados para cada quadro, alocação de recursos e, em seguida, lançar as tarefas.
Frameworks suportados por mesos incluem - Sim - Hadoop, além de ignição, Tempestade e Cassandra em dados grandes, Chronos para recipientes Cron e Docker distribuídos.
Hindman diz mesos bate gestores de clusters comerciais como Symphony da IBM e da Microsoft Autopilot para programação e grade controladores como Univa.
A razão? É desenvolvedor amigável - com que open-source e aspecto multi-linguagem - enquanto há também um SDK.
O conceito é fazer a programação para o centro de dados simples: você programar como se o centro de dados foram um único tempo de execução, ao invés de construir peças para dentro como uma camada de rede ou servidores diferentes e triturando a cabeça-scratchers como a alocação de recursos e medidas a tomar Se o seu aplicativo falha ou não há memória suficiente.
"Nós expor a API de forma programável. Então, as pessoas podem construir aplicações como Chronos em vez de tomar um gerenciador de clusters e construir um sistema distribuído em cima disso ", diz Hindman.
Mesos também funciona com o Google Compute Engine e no Amazon Web Services. Aplicativos que rodam em mesos incluem Impala, Jboss, MySQL, Django e Rails, ea coisa toda pode ser executado em Linux, OpenSolaris e OS X.
Tira-nos a trabalhar em 146 caracteres ou menos
Hindman foi contratado pelo Twitter para obter mesos de trabalho; Twitter na época foi reescrita em si - que vai do Ruby on Rails linguagem hipstertastic de Java do seu pai.
A reescrita foi usado para acelerar o desempenho e acabar com o Twitter em aplicativos e serviços distintos.
Twitter tinha sido construído como um aplicativo monolítico maciça, cruelmente chamada Mono Rail, que fez mudar os internos individuais difícil. A reescrita eclodiu componentes, tais como lojas de valor-chave e recursos para o usuário final, como alertas SMS para o seu telefone como serviços individuais, tornando-os mais fáceis de mudar e correr.
Contratado em 2010, Hindman teve mesos em produção no Twitter em 2011.
O caso de uso de chave para mesos parecem estar onde você quer romper partes de seu aplicações ou centro de dados como serviços individuais - como o Twitter. Componentising aplicações monolíticas faz a soma e as peças mais fáceis de desenvolver e atualizar, mas mais difícil de gerir - daí mesos, com a sua abordagem do quadro.
A ironia em tudo isso?
Massively sistemas de centro de dados em cluster não foram o ponto de partida para o trabalho do PHD Hindman: em vez disso, ele estava investigando ponte núcleos de chips paralelos. Ele mudou, diz ele, porque não havia tanta aplicação para essa idéia abrangendo núcleos como havia abrangendo os nós do centro de dados.
Parece que ele poderia estar certo. ®
via Alimentação (Feed)
Nenhum comentário:
Postar um comentário