Emma, l'AI nata in Italia

Stai usando Emma-Guardrails 1.0

Emma-Guardrails 1.0

Il modello italiano che classifica la sicurezza dei prompt, addestrato su oltre 44.000 prompt reali etichettati in 21 categorie.

Cosa fa

Emma-Guardrails analizza qualsiasi prompt testuale e lo classifica istantaneamente. È progettato per intercettare diverse categorie di contenuti dannosi, tra cui:

  • Apologia e propaganda di ideologie estremiste
  • Prompt injection e manipolazione del modello
  • Utilizzo di linguaggio offensivo
  • Contenuti a sfondo sessuale
  • Droghe e sostanze illecite
  • Contenuti discriminatori, stereotipati e d'odio
  • Attività illecite, armi, violenza e comportamenti lesivi
  • Domande a trabocchetto
  • Bestemmie e linguaggio blasfemo
  • Abuso sessuale su minori
  • Avvelenamento e sostanze tossiche

Come funziona

Basato su scikit-learn, utilizza una pipeline TF-IDF + Logistic Regression addestrata su un corpus di oltre 44.000 prompt reali (nessuno è stato realizzato dall'AI di frontiera) in lingua italiana. Leggero, veloce e interpretabile: la predizione avviene in pochi millisecondi direttamente lato server, senza bisogno di GPU.

Framework
scikit-learn (LogisticRegression)
Vectorizer
TF-IDF, n-gram (1,2), 10.000 features
Accuracy
81,31%
Licenza
OpenRAIL-M
Scarica il paper

Perché lo abbiamo addestrato

Pur essendo un primo modello distribuito gratuitamente, rappresenta il nostro impegno concreto, come Egomnia S.p.A., nello sviluppo di sistemi di AI più sicuri.

Lo mettiamo a disposizione della comunità affinché possa essere utilizzato come guardrail a monte di altri modelli linguistici (LLM): il suo compito è analizzare il prompt in ingresso e assegnargli una delle 21 categorie prima che venga elaborato dal modello principale. Questo approccio consente alle aziende di aggiungere un ulteriore livello di protezione, riducendo il rischio di elaborare richieste dannose o non conformi e, al tempo stesso, diminuendo il consumo di token e i costi di inferenza.

Emma Guardrail può essere impiegato per classificare sia le richieste (token in input) sia le risposte generate dal modello (token in output) e, qualora vengano rilevati contenuti non conformi, intervenire bloccando la risposta prima che venga restituita all’utente.

Come qualsiasi sistema di intelligenza artificiale, anche questo modello non è infallibile. Nonostante ciò costituisce un'efficace prima linea di difesa contro contenuti nocivi, tentativi di abuso e richieste a basso valore aggiunto. Anche nella sua versione gratuita, rappresenta quindi uno strumento concreto per aumentare la sicurezza delle applicazioni basate su LLM.

Provalo subito

Incolla o scrivi un prompt qui sotto e scopri in quale categoria lo classifica il modello.

0 / 5000