Portrait de Matteo Gallo

Matteo GalloSoftware & AI Engineer · LausanneDisponible

Je construis des produits IA qu’on peut vérifier.

Des produits complets, de l’interface à la production. Chaque mesure est publiée, défauts compris.

Voir les projetsÉcrire un e-mail

Démo réelle : Verity, mon agent RAG, sur un contrat de test (en anglais)

Service Level Agreement

This Service Level Agreement ("SLA") applies to the services provided by Acme Corporation under the Master Services Agreement.

1. Uptime Commitment

Provider commits to a monthly uptime of 99.9% for the production service. Uptime is measured per calendar month and excludes scheduled maintenance windows.

2. Service Credits

If monthly uptime falls below the commitment, the Customer is entitled to a service credit calculated as a percentage of that month's fees:

  • Uptime from 99.0% up to 99.9%: 10% credit.
  • Uptime from 95.0% up to 99.0%: 25% credit.
  • Uptime below 95.0%: 50% credit.

Service credits are the Customer's sole and exclusive remedy for availability failures and must be claimed in writing within thirty (30) days of the affected month.

3. Support Response Times

Provider responds to support requests according to severity:

  • Priority 1 (critical, service unavailable): within one (1) hour.
  • Priority 2 (high, major feature impaired): within four (4) business hours.
  • Priority 3 (normal): within one (1) business day.

4. Scheduled Maintenance

Routine maintenance is performed on Sundays between 02:00 and 06:00 UTC. Provider gives at least forty-eight (48) hours' advance notice of any scheduled maintenance, which does not count against the uptime commitment.

1 La question

What is the response time for a Priority 1 support request?

traduction Quel est le délai de réponse pour une demande de support de priorité 1 ?

3 La réponse, vérifiée

For a standard Priority 1 (critical, service unavailable) support request, the response time is within one (1) hour. If the customer has Premium Support, the Priority 1 response time is shortened to thirty (30) minutes, available 24 hours a day, seven days a week.

traduction Pour une demande de support standard de priorité 1 (critique, service indisponible), le délai de réponse est d’une (1) heure au plus. Si le client a le Support Premium, ce délai est ramené à trente (30) minutes, disponible 24 heures sur 24, sept jours sur sept.

Cité : contrat SLA (section 3), bon de commande Northwind (section 3)

  • Citation retrouvée mot pour mot dans le document
  • 3/3 affirmations étayées par leur citation, selon le juge
  • confiance 0,99

1 La question

What is the response time for a Priority 4 support request?

traduction Quel est le délai de réponse pour une demande de support de priorité 4 ?

3 La réponse : un refus, vérifié

I don't know based on the provided documents.

traduction Je ne sais pas, d’après les documents fournis.

Refus du modèle, confiance 0,97

Passage le plus proche : contrat SLA (section 3), jugé insuffisant

traduction La section SLA ne prévoit explicitement que les priorités 1, 2 et 3 ; aucune priorité 4 n’apparaît dans les preuves, donc la réponse refuse à juste titre d’inventer un délai de réponse.

Source du runRun eval_969e1d5_test.json de Verity (questions q-010 et q-078), sur le contrat sla.md

0/31Preuve : verity/scorecards/live-v1.1.0.jsonréponses avec une hallucination, selon un juge LLM, parmi les questions avec réponse auxquelles Verity a répondu

17/20Preuve : verity/scorecards/live-v1.1.0.jsonquestions sans réponse correctement refusées

3/20Preuve : verity/scorecards/live-v1.1.0.jsonquestions sans réponse auxquelles il a quand même répondu : son défaut principal

+ 01

Projets

No. 01

Verity

Image 110 de l’enregistrement live de Verity (agent claude-sonnet-4-6) : la question « What is the response time for a Priority 1 support request? », la réponse « within one (1) hour », portée à thirty (30) minutes par le Premium Support du bon de commande NW-2025-001, avec ses citations [1] et [2], et à droite le passage cité du SLA surligné parmi les huit sources retrouvées.
Image de l’enregistrement live de la démo (claude-sonnet-4-6) : une citation cliquée, son passage surligné. Voir l’enregistrement (GIF)

Un agent RAG sur des documents d’entreprise : il répond en citant mot pour mot, refuse quand ses preuves sont faibles, et publie à quelle fréquence il refuse à raison.

Défaut connu

3/20Preuve : verity/scorecards/live-v1.1.0.json questions sans réponse ont reçu une réponse au lieu d’un refus.

Python 3.12, FastAPI, Postgres + pgvector, Next.js, Claude.

No. 02

PromptLang

Dernière image de l’enregistrement de bun run demo : semver-check refuse un changement incompatible publié en 1.1.0, l’accepte en 2.0.0, un consommateur épinglé sur ^1.0.0 échoue proprement, puis les 3 tests de prompts passent sur des réponses simulées.
Dernière image de l’enregistrement de bun run demo. Voir l’enregistrement (GIF)

Un langage typé pour les prompts LLM, compilé vers TypeScript ou Python, publié sur npm.

Défaut connu

12/40Preuve : promptlang/evals/linter/findings-review/score.json signalements du linter IA jugés justes en revue humaine.

TypeScript strict, Bun, npm.

+ 02

Méthode

Toutes les règles et leurs incidents : how-i-build

+ 03

À propos

Software & AI Engineer à Lausanne, autodidacte. Je construis des produits IA de bout en bout et je publie ce qu’ils valent, mesures et défauts.

Un poste d’ingénieur logiciel et IA en Suisse romande ? Écrivez-moi.

ÉcrireLinkedInGitHub