Kimi K3: as escolhas de arquitetura que podem redefinir a próxima geração de LLMs chineses
A Moonshot AI voltou a movimentar a comunidade técnica com indícios concretos da próxima geração do seu modelo
O contexto
Sebastian Raschka, referência independente em análise de arquiteturas de IA, publicou notas técnicas detalhadas sobre o suposto Kimi K3. O texto não traz números de benchmark nem promessas de produto — trata-se de uma leitura de engenharia sobre escolhas de design que, se confirmadas, sinalizam para onde a próxima onda de modelos de linguagem pode caminhar.
O ponto central é que a Moonshot AI parece estar testando um pacote coerente de inovações voltadas a eficiência de inferência (tempo e memória gastos para o modelo responder a um prompt). Em vez de apenas escalar parâmetros, a aposta parece ser arquitetural.
As peças do quebra-cabeça
LatentMoE
A MoE tradicional — Mixture of Experts, ou mistura de especialistas — funciona como um grande edifício com vários andares especializados: cada consulta aciona apenas alguns deles, mantendo o custo controlado. O LatentMoE, conforme descrito nas notas, leva essa ideia para um espaço latente — uma representação matemática comprimida dos dados —, potencialmente reduzindo ainda mais o overhead de roteamento.
Kimi Delta Attention
O mecanismo de atenção é o coração de qualquer LLM baseado nessa família de arquiteturas (Transformer): é ele que decide quais tokens — as unidades de texto processadas pelo modelo — recebem mais peso na resposta. A proposta chamada Kimi Delta Attention aparece como uma variação que busca comprimir o histórico de atenção de forma mais agressiva, preservando qualidade sem inflar o KV cache — a memória temporária que armazena as chaves e valores usados durante a geração.
Attention Residuals
Outra pista é o uso de resíduos de atenção — conexões que reaproveitam representações intermediárias ao longo das camadas. A ideia é parecida com o que já se viu em arquiteturas residuais clássicas, mas aplicada especificamente ao fluxo de atenção.
NoPE
O experimento também menciona NoPE — ausência de positional encoding, ou seja, nenhuma codificação explícita de posição dos tokens na sequência. É uma escolha radical: a maioria absoluta dos Transformers injeta informação de ordem nos embeddings (os vetores numéricos que representam cada token). Remover isso, se funcionar, simplifica o modelo e abre espaço para outras otimizações.
Multimodalidade
As notas também indicam que o K3 mantém o compromisso multimodal — capacidade de processar texto, imagens e provavelmente áudio ou vídeo dentro do mesmo modelo, sem precisar de um sistema separado para cada formato.
Eficiência de inferência
Por fim, há menção explícita a escolhas voltadas a latência e custo de operação. Em um cenário chinês de corrida por eficiência — onde DeepSeek, Qwen e outros já demonstraram que dá para entregar modelos competitivos sem o poder de fogo financeiro de laboratórios americanos —, cada ponto percentual de redução de custo computacional conta.
Por que importa
Três razões tornam essas notas relevantes mesmo antes de qualquer lançamento oficial.
Primeiro, porque a Moonshot AI ocupa uma posição singular no ecossistema chinês. Foi uma das primeiras a defender abertamente que a próxima fronteira não é apenas escala, mas arquitetura. Se o K3 confirmar a tese, valida uma estratégia que outros laboratórios podem copiar.
Segundo, porque o conjunto de técnicas descritas — LatentMoE, Delta Attention, NoPE, resíduos de atenção — forma um pacote coerente. Não é uma feature isolada: é um trade-off (compensação) entre memória, latência e capacidade. Quando tantas decisões convergem em uma direção, normalmente há um sinal de que aquela família de arquiteturas está amadurecendo.
Terceiro, porque eficiência de inferência é hoje o campo de batalha real. Treinar um modelo caro é problema pontual; rodá-lo barato para bilhões de requests é problema permanente. Cada otimização nesse eixo reduz o custo por token gerado — e isso muda a economia de produtos inteiros.
O que ainda não sabemos
As notas de Raschka são leitura técnica, não anúncio oficial. Não há confirmação pública da Moonshot AI sobre quais dessas peças estão realmente no K3, em que escala rodam, ou como se comparam a modelos já em produção como o Qwen 3 ou o DeepSeek V4. Também não há números de benchmark que permitam afirmar superioridade — apenas direção de design.
Até que a empresa detalhe parâmetros, dados e resultados latentes, tudo permanece no campo da engenharia especulativa — ainda que especulação de alto nível, feita por quem acompanha a área de perto.
Leitura adicional
Para quem quiser aprofundar os conceitos de MoE, atenção e positional encoding, a newsletter Ahead of AI mantém cadência quinzenal com explicações didáticas de cada peça dessas arquiteturas.
Fontes consultadas
- Sebastian Raschka — Kimi K3 Architecture Notes: https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html