scripts/vaitteet.mjs
Väitepankin mekaaninen lukutarkistus. Tämä on repon tiedosto sellaisenaan sillä hetkellä, kun sivusto viimeksi rakennettiin. Rivin voi linkittää suoraan: lisää osoitteen perään #r ja rivin numero.
#!/usr/bin/env node
/**
* Väitepankin mekaaninen tarkistus. Jokainen artikkelin luku (tiivistelmä, leipäteksti, FAQ) pitää löytyä
* artikkelin väitepankin (sisalto/vaitteet/<slug>.yaml) sanatarkoista lainauksista tai omat_luvut-listasta.
* Vuosiluvut ja numeroidun listan järjestysnumerot ohitetaan. Ei tekoälyä: sama syöte, sama tulos.
*
* Käyttö: node scripts/vaitteet.mjs <slug> [<slug> ...] (exit 1, jos lähteettömiä lukuja löytyy)
*
* Väitepankin muoto:
* vaitteet:
* - id: v1
* lainaus: "Bing reached 10.1% of desktop searches in Finland in December 2023" # sanatarkka, lähteestä kopioitu
* url: https://…
* lahde: AfterDawn 1/2024
* avattu: 2026-09-23 # sivu avattiin ja lainaus löytyi sieltä
* omat_luvut: ["2 650", "12"] # Ilkan hyväksymät omat luvut (ohje-kirjoittaja.md)
*/
import fs from 'node:fs';
import path from 'node:path';
import { parse } from 'yaml';
import { fileURLToPath } from 'node:url';
const root = fileURLToPath(new URL('..', import.meta.url));
// Ei osu tuotenimiin (B2B, Microsoft 365): kirjaimen vieressä oleva numero ohitetaan.
const LUKU = /(?<![\p{L}\d.,])(?:\d{1,3}(?:[ \u00a0\u202f]\d{3})+(?:[,.]\d+)?|\d+(?:[,.]\d+)?)(?![\p{L}\d])/gu;
/** Luku vertailumuotoon. Palauttaa joukon, koska "1,831" voi olla englantia (1831) tai suomea (1.831). */
function muodot(raaka) {
const t = raaka.replace(/[ ]/g, '');
const m = new Set([t.replace(',', '.')]);
if (/^\d{1,3}(,\d{3})+$/.test(t)) m.add(t.replace(/,/g, ''));
return [...m].map((x) => x.replace(/\.0+$/, ''));
}
function vuosi(n) { return /^(19[5-9]\d|20[0-4]\d)$/.test(n); }
let virheita = 0;
const slugit = process.argv.slice(2);
if (!slugit.length) { console.error('Anna slug: node scripts/vaitteet.mjs <slug>'); process.exit(2); }
for (const slug of slugit) {
const af = path.join(root, 'src/content/artikkelit', slug + '.md');
const vf = path.join(root, 'sisalto/vaitteet', slug + '.yaml');
if (!fs.existsSync(af)) { console.log(`✗ ${slug}: artikkelia ei ole`); virheita++; continue; }
if (!fs.existsSync(vf)) { console.log(`✗ ${slug}: väitepankki puuttuu (${path.relative(root, vf)})`); virheita++; continue; }
const src = fs.readFileSync(af, 'utf8');
const m = src.match(/^---\r?\n([\s\S]*?)\r?\n---\r?\n([\s\S]*)$/);
const fm = parse(m[1]);
const pankki = parse(fs.readFileSync(vf, 'utf8')) || {};
const sallitut = new Set();
for (const v of pankki.vaitteet || []) for (const x of String(v.lainaus || '').match(LUKU) || []) muodot(x).forEach((y) => sallitut.add(y));
for (const x of pankki.omat_luvut || []) muodot(String(x)).forEach((y) => sallitut.add(y));
const ilmanUrleja = (t) => String(t || '').replace(/\]\([^)]*\)/g, ']').replace(/https?:\/\/\S+/g, '').replace(/^\s*\d+\.\s/gm, '');
const tekstit = [['tiivistelmä', fm.tiivistelma], ['leipäteksti', m[2]], ...((fm.faq || []).map((q, i) => [`FAQ ${i + 1}`, `${q.k} ${q.v}`]))];
const puuttuu = [];
for (const [kohta, t] of tekstit) {
const puhdas = ilmanUrleja(t);
for (const osuma of puhdas.matchAll(LUKU)) {
const n = muodot(osuma[0]);
if (n.some(vuosi) || n.some((x) => sallitut.has(x))) continue;
if (/^-/.test(puhdas.slice(osuma.index + osuma[0].length)) || /[A-ZÄÖ][\p{L}]+ $/u.test(puhdas.slice(Math.max(0, osuma.index - 20), osuma.index)) && /^ ?-/.test(puhdas.slice(osuma.index + osuma[0].length))) continue; // tuotenimi: "Microsoft 365 -käyttäjät"
const i = osuma.index;
puuttuu.push(`${kohta}: "${osuma[0]}" … ${puhdas.slice(Math.max(0, i - 60), i + 40).replace(/\s+/g, ' ')}`);
}
}
const lainauksia = (pankki.vaitteet || []).length;
const avaamatta = (pankki.vaitteet || []).filter((v) => !v.avattu).length;
if (puuttuu.length) {
virheita += puuttuu.length;
console.log(`✗ ${slug}: ${puuttuu.length} lukua ilman lainausta väitepankissa (${lainauksia} lainausta)`);
puuttuu.forEach((p) => console.log(' · ' + p));
} else console.log(`✓ ${slug}: kaikki luvut löytyvät väitepankista (${lainauksia} lainausta${avaamatta ? `, ${avaamatta} avaamatta` : ''})`);
}
process.exit(virheita ? 1 : 0);