Junta de Andalucía — Contratos menores

# Un dataset por año; la API devuelve las URL con un host interno,
# así que se cambia por www.juntadeandalucia.es
curl -s "https://www.juntadeandalucia.es/datosabiertos/portal/api/3/action/package_search?q=name:contratacion-menor-plataforma-de-contratacion-andalucia-*&rows=50" \
  | python3 -c "
import json, sys
for p in sorted(json.load(sys.stdin)['result']['results'], key=lambda p: p['name']):
    for r in p['resources']:
        if r['format'] == 'CSV':
            print(p['name'][-4:], r['url'].replace('gdc-pdpopendata-ckan.paas.junta-andalucia.es', 'www.juntadeandalucia.es'))
"

import io
import zipfile

import pandas as pd
import requests

API = 'https://www.juntadeandalucia.es/datosabiertos/portal/api/3/action'
INTERNAL_HOST = 'gdc-pdpopendata-ckan.paas.junta-andalucia.es'

res = requests.get(f'{API}/package_search', params={
    'q': 'name:contratacion-menor-plataforma-de-contratacion-andalucia-*', 'rows': 50,
}).json()

frames = []
for pkg in sorted(res['result']['results'], key=lambda p: p['name']):
    year = int(pkg['name'][-4:])
    csv = next(r for r in pkg['resources'] if r['format'] == 'CSV')
    raw = requests.get(csv['url'].replace(INTERNAL_HOST, 'www.juntadeandalucia.es')).content
    # De 2018 a 2023 el CSV viene dentro de un ZIP
    if raw[:2] == b'PK':
        with zipfile.ZipFile(io.BytesIO(raw)) as z:
            raw = z.read(z.namelist()[0])
    # Latin-1 hasta 2025, UTF-8 en 2026
    try:
        text = raw.decode('utf-8')
    except UnicodeDecodeError:
        text = raw.decode('latin-1')
    df = pd.read_csv(io.StringIO(text), sep='|', dtype=str)
    # Cabeceras y valores con espacios de relleno
    df.columns = df.columns.str.strip()
    df = df.apply(lambda col: col.str.strip())
    # Importe sin IVA: el único completo todos los años (coma decimal en 2025)
    df['importe'] = pd.to_numeric(df['IMPORTE_ADJUDICACION_SIN_IVA'].str.replace(',', '.'), errors='coerce')
    # Fechas ISO hasta 2024 y DD/MM/AAAA después: formato explícito para no cruzar día y mes
    dates = df['FECHA_ADJUDICACION'].str[:10]
    date_format = '%d/%m/%Y' if dates.str.contains('/').any() else '%Y-%m-%d'
    df['fecha'] = pd.to_datetime(dates, format=date_format, errors='coerce')
    df['dataset'] = year
    frames.append(df)
    print(f'{year}: {len(df):,} contratos, {df["importe"].sum():,.0f} EUR sin IVA, '
          f'adjudicados del {df["fecha"].min():%d/%m/%Y} al {df["fecha"].max():%d/%m/%Y}')

menores = pd.concat(frames, ignore_index=True)
print(f'Total: {len(menores):,} contratos menores')