Asturias — Subvenciones y ayudas del Principado

# Concesiones históricas 2016-2023 (~120 MB)
curl -sL -o asturias_subv_2016_2023.csv \
  "https://descargas.asturias.es/asturias/opendata/SectorPublico/subvenciones/concesiones-subvs-2016-2023.csv"

# Concesiones de 2024
curl -sL -o asturias_subv_2024.csv \
  "https://descargas.asturias.es/asturias/opendata/SectorPublico/subvenciones/concesiones-subvs-2024-.csv"

# Convocatorias
curl -sL -o asturias_convocatorias.csv \
  "https://descargas.asturias.es/asturias/opendata/SectorPublico/subvenciones/convocatorias-subvs.csv"

# Ver las primeras líneas en UTF-8
head -3 asturias_subv_2024.csv | iconv -f latin1 -t utf-8

import pandas as pd

BASE = 'https://descargas.asturias.es/asturias/opendata/SectorPublico/subvenciones'

# Separador «§» y codificación Latin-1; el motor C de pandas no admite «§»
opts = dict(sep='§', encoding='latin-1', engine='python', dtype=str)
hist = pd.read_csv(f'{BASE}/concesiones-subvs-2016-2023.csv', **opts)
nuevo = pd.read_csv(f'{BASE}/concesiones-subvs-2024-.csv', **opts)

# El histórico trae columnas vacías al final; el fichero nuevo llama FECHA-CONCESION a la fecha
hist = hist.loc[:, ~hist.columns.str.startswith('Unnamed')]
nuevo = nuevo.rename(columns={'FECHA-CONCESION': 'FECHA'})
df = pd.concat([hist, nuevo], ignore_index=True)

# Fechas en dos formatos (AAAA/MM/DD y DD/MM/AAAA), a veces en el mismo fichero
iso = pd.to_datetime(df['FECHA'], format='%Y/%m/%d', errors='coerce')
df['FECHA'] = iso.fillna(pd.to_datetime(df['FECHA'], format='%d/%m/%Y', errors='coerce'))

# En 2023 muchos importes perdieron la coma decimal: «3274,25» se publicó como «327.425,00».
# Solo son fiables los de 2023 con céntimos distintos de cero; el resto puede estar
# multiplicado por 1, 10 o 100 y no hay forma de saberlo sin consultar la BDNS.
df['IMPORTE_DUDOSO'] = (df['FECHA'].dt.year == 2023) & df['IMPORTE'].str.endswith(',00', na=False)

# Importe con punto de miles y coma decimal: «70.801,00»
df['IMPORTE'] = pd.to_numeric(df['IMPORTE'].str.replace('.', '', regex=False)
                              .str.replace(',', '.', regex=False))

# El NIF va pegado al nombre en BENEFICIARIO: «P3302100G AYUNTAMIENTO DE CUDILLERO»
df[['NIF', 'NOMBRE']] = df['BENEFICIARIO'].str.extract(r'^([A-Z0-9]{9})\s+(.*)$')

print(f'Registros totales: {len(df):,}')
print(df['FECHA'].min(), '->', df['FECHA'].max())

# Totales por año sin los importes dudosos de 2023
fiables = df[~df['IMPORTE_DUDOSO']]
print(fiables.groupby(fiables['FECHA'].dt.year)['IMPORTE'].agg(['count', 'sum']))
print(f"Concesiones de 2023 con importe dudoso: {df['IMPORTE_DUDOSO'].sum():,}")

import pandas as pd
import requests

URL = ('https://descargas.asturias.es/asturias/opendata/SectorPublico/'
       'subvenciones/concesiones-subvs-2016-2023.csv')
BDNS = 'https://www.infosubvenciones.es/bdnstrans/api/concesiones/busqueda'
NIF = 'P3302400A'  # Ayuntamiento de Gijón

df = pd.read_csv(URL, sep='§', encoding='latin-1', engine='python', dtype=str)
df['FECHA'] = pd.to_datetime(df['FECHA'], format='%d/%m/%Y', errors='coerce')  # 2023 usa DD/MM/AAAA
df['IMPORTE_CSV'] = pd.to_numeric(df['IMPORTE'].str.replace('.', '', regex=False)
                                  .str.replace(',', '.', regex=False))
gijon = df[(df['FECHA'].dt.year == 2023) & df['BENEFICIARIO'].str.startswith(NIF, na=False)].copy()

def importes_bdns(nif, fecha):
    """Importes que la BDNS registra para ese NIF y ese día, solo del Principado."""
    dia = fecha.strftime('%d/%m/%Y')
    resp = requests.get(BDNS, params={'vpd': 'GE', 'nifCif': nif, 'fechaDesde': dia,
                                      'fechaHasta': dia, 'pageSize': 200}, timeout=60)
    return [c['importe'] for c in resp.json()['content']
            if c.get('nivel2') == 'PRINCIPADO DE ASTURIAS']

def corregir(fila):
    """Prueba el importe del CSV tal cual, entre 100 y entre 10; si nada encaja, lo deja vacío."""
    candidatos = importes_bdns(NIF, fila['FECHA'])
    for factor in (1, 100, 10):
        valor = round(fila['IMPORTE_CSV'] / factor, 2)
        if any(abs(valor - c) < 0.01 for c in candidatos):
            return pd.Series({'IMPORTE': valor, 'FACTOR': factor})
    return pd.Series({'IMPORTE': None, 'FACTOR': None})

gijon[['IMPORTE', 'FACTOR']] = gijon.apply(corregir, axis=1)
print(gijon['FACTOR'].value_counts(dropna=False))
print(f"Suma en el CSV: {gijon['IMPORTE_CSV'].sum():,.2f} EUR")
print(f"Suma corregida: {gijon['IMPORTE'].sum():,.2f} EUR")