Todos los desafíos
Difícil 1 resuelto 100.0% de aceptación

Atención por producto escalar escalado

Implementa la operación de atención, el corazón de los Transformers y los grandes modelos de lenguaje.

Lo que aprenderás

  • Puntuar consultas contra claves
  • Aplicar softmax para obtener pesos de atención
  • Mezclar valores con esos pesos

Problema

Ver original (inglés)

La atención permite que cada posición de una secuencia mire todas las demás posiciones y mezcle su información. Es el núcleo de la arquitectura Transformer que usan los grandes modelos de lenguaje:

Attention(Q, K, V) = softmax(Q × Kᵀ / √d) × V

Para cada fila de consulta q:

  1. Puntúa cada fila de clave k: score = (q · k) / √d, donde d es el número de columnas de K.
  2. Convierte las puntuaciones en pesos con softmax (resta la puntuación más alta antes de calcular e^x).
  3. La fila de salida es la suma ponderada de las filas de valores: Σ weight_j × values[j].

Implementa attention(queries, keys, values).

Entrada

queries: n filas, cada una con d números.

keys: m filas, cada una con d números.

values: m filas (una por clave), cada una con v números.

Salida

Devuelve la matriz de salida de n × v.

Restricciones

1 ≤ n, m ≤ 50, 1 ≤ d, v ≤ 32

-10 ≤ cada valor ≤ 10

Ejemplos

Ejemplo 1
Entrada:
queries = [
    [1.0, 0.0]
]
keys = [
    [1.0, 0.0],
    [1.0, 0.0]
]
values = [
    [2.0, 4.0],
    [6.0, 8.0]
]

Salida esperada:
expected = [
    [4.0, 6.0]
]
Entrada:
std::vector<std::vector<double>> queries = {
    {1.0, 0.0}
};
std::vector<std::vector<double>> keys = {
    {1.0, 0.0},
    {1.0, 0.0}
};
std::vector<std::vector<double>> values = {
    {2.0, 4.0},
    {6.0, 8.0}
};

Salida esperada:
std::vector<std::vector<double>> expected = {
    {4.0, 6.0}
};
Entrada:
double[][] queries = new double[][] {
    new double[] {1.0, 0.0}
};
double[][] keys = new double[][] {
    new double[] {1.0, 0.0},
    new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
    new double[] {2.0, 4.0},
    new double[] {6.0, 8.0}
};

Salida esperada:
double[][] expected = new double[][] {
    new double[] {4.0, 6.0}
};

Explicación

Las dos claves dan la misma puntuación, así que los pesos softmax son 0.5 y 0.5. La salida es el promedio de las filas de valores: [(2 + 6) / 2, (4 + 8) / 2] = [4, 6].

Ejemplo 2
Entrada:
queries = [
    [0.0, 0.0]
]
keys = [
    [3.0, 1.0],
    [-2.0, 5.0],
    [7.0, 7.0]
]
values = [
    [1.0],
    [2.0],
    [6.0]
]

Salida esperada:
expected = [
    [3.0]
]
Entrada:
std::vector<std::vector<double>> queries = {
    {0.0, 0.0}
};
std::vector<std::vector<double>> keys = {
    {3.0, 1.0},
    {-2.0, 5.0},
    {7.0, 7.0}
};
std::vector<std::vector<double>> values = {
    {1.0},
    {2.0},
    {6.0}
};

Salida esperada:
std::vector<std::vector<double>> expected = {
    {3.0}
};
Entrada:
double[][] queries = new double[][] {
    new double[] {0.0, 0.0}
};
double[][] keys = new double[][] {
    new double[] {3.0, 1.0},
    new double[] {-2.0, 5.0},
    new double[] {7.0, 7.0}
};
double[][] values = new double[][] {
    new double[] {1.0},
    new double[] {2.0},
    new double[] {6.0}
};

Salida esperada:
double[][] expected = new double[][] {
    new double[] {3.0}
};

Explicación

Una consulta de ceros puntúa 0 frente a cada clave, así que la atención se reparte por igual: (1 + 2 + 6) / 3 = 3.

Cómo abordarlo

Inténtalo primero por tu cuenta y luego abre las pistas una a una.

Pista 1

Para cada query, compáralo con cada key usando un producto punto escalado por la raíz cuadrada de la dimensión de key.

Pista 2

Convierte los scores en pesos con un softmax numéricamente estable y luego mezcla las filas de value usando esos pesos.

Pista 3

Cada query produce una fila de salida, y los vectores value determinan el ancho de salida en lugar de las queries o las keys.

Complejidad esperada

tiempo O(n m (d + v)), espacio extra O(m)

Referencias

Este reto está adaptado para CodeUtility. Sigue el enunciado y las restricciones indicadas arriba.

Clasificación

Clasificación completa

La mejor solución aprobada de cada programador. Las más rápidas, ligeras y mejor valoradas van primero.

# Programador Lenguaje Tiempo Memoria Revisión de IA Solución
1 ННикита Python 833 ms - 5/5 Ver código

Aprende de otros

Soluciones de la comunidad

Alerta de spoiler: 1 solución completa abajo Intenta resolverlo tú mismo primero. Igual puedes ver el código de otros desarrolladores y las reseñas de IA. Inicia sesión y resuelve el reto para unirte a la discusión.