IA: SubQ - um grande avanço na inteligência de LLMs

SubQ (Subquadrática), é o primeiro modelo construído sobre uma arquitetura de atenção esparsa totalmente sub-quadrático (SSA). É o primeiro modelo de fronteira com uma janela de contexto de 12 milhões de tokens, que é:

- 52x mais rápido que o FlashAttention em 1MM de tokens

- Menos de 5% do custo do Opus

LLMs baseados em Transformer desperdiçam computação ao processar todas as relações possíveis entre palavras (atenção padrão). Apenas uma pequena fração realmente importa. SubQ encontra e foca apenas nas que importam. Isso é quase 1.000x menos computação e uma nova maneira para os LLMs escalarem.

Vídeo

LLM significa Large Language Model (Modelo de Linguagem de Grande Escala) — um tipo de inteligência artificial treinado para entender e gerar linguagem humana.

Um LLM aprende padrões da língua a partir de enormes volumes de texto (livros, sites, artigos, etc.). Ele consegue:

• Completar frases
• Responder perguntas
• Traduzir idiomas
• Escrever textos (redações, códigos, resumos)

Exemplo: o ChatGPT é baseado em LLMs da família GPT (Generative Pre-trained Transformer).

Os LLMs usam uma arquitetura chamada:

• Transformer (modelo de aprendizado profundo)

Essa arquitetura permite que o modelo:

• Analise o contexto das palavras
• Preveja a próxima palavra mais provável
• Gere textos coerentes