Top consultas de BigQuery por frecuencia

Por qué importa

Una consulta que cuesta $0.10 por ejecución pero se ejecuta 10,000 veces por mes cuesta $1,000. El análisis de frecuencia a menudo revela consultas de bajo costo que suman gastos significativos debido a su simple repetición. Estas son candidatas ideales para caché, materialización programada o aceleración con BI Engine.

Cómo funciona

La consulta agrupa cada texto de consulta único, luego cuenta ocurrencias y suma total_bytes_billed por grupo. El resultado muestra cada consulta única con su número de ejecuciones y costo bajo demanda acumulado.

Consulta SQL

-- Find the most frequently repeated queries and their cumulative cost

DECLARE lookback_days INT64 DEFAULT 14;

WITH jobs AS (
  SELECT
    query,
    COALESCE(total_bytes_billed, 0) AS bytes_billed,
    ROW_NUMBER() OVER (PARTITION BY job_id ORDER BY end_time DESC) AS rn
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
  WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND job_type = 'QUERY' AND state = 'DONE' AND total_slot_ms IS NOT NULL
),
deduplicated AS (
  SELECT query, bytes_billed FROM jobs WHERE rn = 1
),
grouped AS (
  SELECT
    query,
    COUNT(*) AS exec_count,
    SUM(bytes_billed) AS total_bytes
  FROM deduplicated
  GROUP BY query
)
SELECT
  query,
  exec_count,
  ROUND(total_bytes / POW(1024, 3), 2) AS total_gib_scanned,
  ROUND(total_bytes / POW(1024, 4) * 6.25, 2) AS cumulative_cost_usd
FROM grouped
...

Explicación de la consulta

Los trabajos se deduplicar primero por job_id, luego se agrupan por texto de consulta. El conteo da la frecuencia de ejecución, y la suma de bytes facturados da el costo acumulado. Este enfoque revela eficientemente las consultas que se ejecutan repetidamente a escala.

Puntos clave

• lightbulb

  Las consultas que se ejecutan >100 veces por día casi seguramente están automatizadas — verifique si pueden usar resultados en caché.

• lightbulb

  BigQuery almacena resultados en caché durante 24 horas por defecto, pero solo para consultas idénticas con resultados deterministas.

• lightbulb

  Las consultas con CURRENT_TIMESTAMP() o NOW() evitan el caché — considere usar truncamiento de fechas en su lugar.

• lightbulb

  Las consultas de alta frecuencia que analizan las mismas tablas pueden beneficiarse de vistas materializadas o BI Engine.

Mejores prácticas

1. 1

   Habilite el caché de resultados de BigQuery y evite patrones que lo eludan (CURRENT_TIMESTAMP, RAND, etc.).

2. 2

   Cree vistas materializadas para las 5 consultas analíticas ejecutadas más frecuentemente.

3. 3

   Consolide consultas duplicadas de diferentes paneles o servicios en una sola consulta programada.

4. 4

   Use BI Engine para consultas sub-segundo que alimentan paneles interactivos.

Guías relacionadas