mainostoimisto.ai
Oulu · 06:00:00

LähteetPutki

scripts/vaitteet.mjs

Väitepankin mekaaninen lukutarkistus. Tämä on repon tiedosto sellaisenaan sillä hetkellä, kun sivusto viimeksi rakennettiin. Rivin voi linkittää suoraan: lisää osoitteen perään #r ja rivin numero.

#!/usr/bin/env node
/**
 * Väitepankin mekaaninen tarkistus. Jokainen artikkelin luku (tiivistelmä, leipäteksti, FAQ) pitää löytyä
 * artikkelin väitepankin (sisalto/vaitteet/<slug>.yaml) sanatarkoista lainauksista tai omat_luvut-listasta.
 * Vuosiluvut ja numeroidun listan järjestysnumerot ohitetaan. Ei tekoälyä: sama syöte, sama tulos.
 *
 * Käyttö: node scripts/vaitteet.mjs <slug> [<slug> ...]      (exit 1, jos lähteettömiä lukuja löytyy)
 *
 * Väitepankin muoto:
 *   vaitteet:
 *     - id: v1
 *       lainaus: "Bing reached 10.1% of desktop searches in Finland in December 2023"   # sanatarkka, lähteestä kopioitu
 *       url: https://…
 *       lahde: AfterDawn 1/2024
 *       avattu: 2026-09-23          # sivu avattiin ja lainaus löytyi sieltä
 *   omat_luvut: ["2 650", "12"]     # Ilkan hyväksymät omat luvut (ohje-kirjoittaja.md)
 */
import fs from 'node:fs';
import path from 'node:path';
import { parse } from 'yaml';
import { fileURLToPath } from 'node:url';

const root = fileURLToPath(new URL('..', import.meta.url));
// Ei osu tuotenimiin (B2B, Microsoft 365): kirjaimen vieressä oleva numero ohitetaan.
const LUKU = /(?<![\p{L}\d.,])(?:\d{1,3}(?:[ \u00a0\u202f]\d{3})+(?:[,.]\d+)?|\d+(?:[,.]\d+)?)(?![\p{L}\d])/gu;

/** Luku vertailumuotoon. Palauttaa joukon, koska "1,831" voi olla englantia (1831) tai suomea (1.831). */
function muodot(raaka) {
  const t = raaka.replace(/[   ]/g, '');
  const m = new Set([t.replace(',', '.')]);
  if (/^\d{1,3}(,\d{3})+$/.test(t)) m.add(t.replace(/,/g, ''));
  return [...m].map((x) => x.replace(/\.0+$/, ''));
}
function vuosi(n) { return /^(19[5-9]\d|20[0-4]\d)$/.test(n); }

let virheita = 0;
const slugit = process.argv.slice(2);
if (!slugit.length) { console.error('Anna slug: node scripts/vaitteet.mjs <slug>'); process.exit(2); }
for (const slug of slugit) {
  const af = path.join(root, 'src/content/artikkelit', slug + '.md');
  const vf = path.join(root, 'sisalto/vaitteet', slug + '.yaml');
  if (!fs.existsSync(af)) { console.log(`✗ ${slug}: artikkelia ei ole`); virheita++; continue; }
  if (!fs.existsSync(vf)) { console.log(`✗ ${slug}: väitepankki puuttuu (${path.relative(root, vf)})`); virheita++; continue; }
  const src = fs.readFileSync(af, 'utf8');
  const m = src.match(/^---\r?\n([\s\S]*?)\r?\n---\r?\n([\s\S]*)$/);
  const fm = parse(m[1]);
  const pankki = parse(fs.readFileSync(vf, 'utf8')) || {};
  const sallitut = new Set();
  for (const v of pankki.vaitteet || []) for (const x of String(v.lainaus || '').match(LUKU) || []) muodot(x).forEach((y) => sallitut.add(y));
  for (const x of pankki.omat_luvut || []) muodot(String(x)).forEach((y) => sallitut.add(y));
  const ilmanUrleja = (t) => String(t || '').replace(/\]\([^)]*\)/g, ']').replace(/https?:\/\/\S+/g, '').replace(/^\s*\d+\.\s/gm, '');
  const tekstit = [['tiivistelmä', fm.tiivistelma], ['leipäteksti', m[2]], ...((fm.faq || []).map((q, i) => [`FAQ ${i + 1}`, `${q.k} ${q.v}`]))];
  const puuttuu = [];
  for (const [kohta, t] of tekstit) {
    const puhdas = ilmanUrleja(t);
    for (const osuma of puhdas.matchAll(LUKU)) {
      const n = muodot(osuma[0]);
      if (n.some(vuosi) || n.some((x) => sallitut.has(x))) continue;
      if (/^-/.test(puhdas.slice(osuma.index + osuma[0].length)) || /[A-ZÄÖ][\p{L}]+ $/u.test(puhdas.slice(Math.max(0, osuma.index - 20), osuma.index)) && /^ ?-/.test(puhdas.slice(osuma.index + osuma[0].length))) continue; // tuotenimi: "Microsoft 365 -käyttäjät"
      const i = osuma.index;
      puuttuu.push(`${kohta}: "${osuma[0]}" … ${puhdas.slice(Math.max(0, i - 60), i + 40).replace(/\s+/g, ' ')}`);
    }
  }
  const lainauksia = (pankki.vaitteet || []).length;
  const avaamatta = (pankki.vaitteet || []).filter((v) => !v.avattu).length;
  if (puuttuu.length) {
    virheita += puuttuu.length;
    console.log(`✗ ${slug}: ${puuttuu.length} lukua ilman lainausta väitepankissa (${lainauksia} lainausta)`);
    puuttuu.forEach((p) => console.log('   · ' + p));
  } else console.log(`✓ ${slug}: kaikki luvut löytyvät väitepankista (${lainauksia} lainausta${avaamatta ? `, ${avaamatta} avaamatta` : ''})`);
}
process.exit(virheita ? 1 : 0);