Intel, Habana Labs e Hugging Face têm tentado criar uma sociedade inovadora, não certamente com um veículo flutuante; em vez disso, elimina muita incerteza com possibilidades.
Nos últimos anos, ambos os Inovadores passaram por vários contratempos e surtos massivos para melhorar a eficiência e ajustar a chave para a adoção da inteligência artificial com a ajuda de projetos de código aberto, experiências integradas de desenvolvedores e pesquisa científica. A missão permite que eles obtenham um crescimento não atrofiado e resultou em vantagens cruciais para a construção e prática de modelos de transformadores de alta qualidade.
Os modelos de transformador apresentam desempenho avançado em uma ampla gama de tarefas de aprendizado de máquina e profundo, como processamento de linguagem natural (PNL), visão computacional (CV), fala e outras.
Ajuste fino distribuído na plataforma Intel Xeon:
Os cientistas de dados ficam confusos com a distribuição do banco de dados de treinamento quando partes do treinamento em uma CPU de nó único ficam lentas. Isso faz com que eles respondam ao treinamento distribuído, onde os servidores em cluster mantêm uma sobra do modelo, ajustam I com um subconjunto do conjunto de dados de treinamento e trocam resultados entre nós por meio da Intel® com uma API Collective Communications Library para reformulá-lo para um modelo final mais rápido .
Experiência ideal para desenvolvedores
Por outro lado, aí vem a biblioteca de código aberto chamada Optimum, que simplifica a aceleração do transformador em uma gama crescente de dispositivos de treinamento e comunicação por inferência. Foi desenvolvido por Hugging Face. Com as técnicas de otimização integradas e scripts criados por eles mesmos, os pequenos passos podem usar o Optimum como uma solução para as principais fontes.
Treinamento Acelerado com Habana Gaudi
Habana Labs e Hugging Face estão se unindo para tornar muito mais fácil e rápido o treinamento de modelos de transformadores em larga escala e de alta qualidade. A fusão do pacote de software SynapseAI® da Habana com a biblioteca de código aberto Hugging Face Optimum-Habana liga os cientistas de dados e o artífice de aprendizado de máquina para impulsionar o treinamento de aprendizagem profunda do transformador com processadores Habana – Gaudi e Gaudi2 – com uma linha de código disponível.
Aprendizagem rápida na produção
Intel Labs, Hugging Face e UKP Lab concluíram em conjunto o SetFit, uma estrutura ultrassimples para ajuste fino de transformadores de frases. O aprendizado rápido com modelos de linguagem treinados com vários núcleos surgiu como a solução mais proeminente para um verdadeiro desafio do cientista de dados: lidar com dados com poucos ou nenhum rótulo.
Projetos de código aberto, experiências integradas de desenvolvedores e pesquisas científicas são as poucas maneiras disponíveis para a Intel se envolver com o ecossistema e contribuir para reduzir o custo da IA.
