Sari la conținut
GlabIT
GlabIT

Securitatea aplicațiilor LLM · pregătire pentru AI Act-ul UE

Securitate AI

Testare de securitate AI în România pentru aplicații LLM și pipeline-uri de date și modele, inclusiv OWASP GenAI LLM Top 10 și pregătire pentru AI Act.

Programează o evaluare

Într-o propoziție

Testare de securitate și revizuire pentru sistemele AI pe care le implementați — aplicații LLM, agenți, pipeline-uri de retrieval și datele din spatele lor — față de OWASP GenAI LLM Top 10 al OWASP Gen AI Security Project (ediția 2026 la momentul redactării; proiectul consemnează ediția folosită), plus lucrări practice de pregătire pentru AI Act-ul UE.

Pentru cine este

  • Echipe de produs care livrează asistenți chat, copiloți sau agenți peste un model fundamental
  • Companii care conectează un LLM la documente interne, date ale clienților sau instrumente de business (RAG, function calling)
  • Organizații care au nevoie de o politică de utilizare a AI pe care personalul să o urmeze efectiv
  • Responsabili de conformitate care întreabă ce înseamnă AI Act-ul UE pentru un anumit sistem

Două unghiuri

Securizarea sistemelor AI pe care le implementați. Teste de penetrare pentru aplicații LLM — injecție de prompt (directă și prin documentele voastre), scurgeri de date sensibile, gestionarea nesigură a ieșirilor, autonomie excesivă a instrumentelor, riscuri de lanț de aprovizionare și plugin-uri — urmând OWASP GenAI LLM Top 10 și, acolo unde sistemele execută acțiuni, ghidurile de securitate agentică ale OWASP Gen AI Security Project. Revizuirea arhitecturii prompturilor, retrieval-ului, memoriei, apelurilor către instrumente și jurnalizării. O politică de utilizare pentru instrumentele AI pe care personalul vostru le folosește deja.

Pregătire pentru AI Act-ul UE. O lectură practică, orientativă, a locului unde un sistem dat se poate încadra în nivelurile de risc ale Act-ului, ce obligații s-ar aplica, la ce date și ce dovezi v-ar trebui. La nivelul lunii august 2026: obligațiile de transparență din articolul 50 (informarea de către furnizor pentru interacțiunea directă cu oamenii, marcarea citibilă automat a ieșirilor sintetice, dezvăluirea de către implementatori a deepfake-urilor și a textelor de interes public cu excepția controlului editorial și obligațiile privind recunoașterea emoțiilor/categorizarea biometrică) se aplică de la 2 august 2026; după AI Omnibus (în vigoare de la 27 iulie 2026), obligațiile pentru risc ridicat se aplică de la 2 decembrie 2027 (Anexa III) și de la 2 august 2028 (Anexa I). Conștientizare și pregătire, nu consultanță juridică și nu o clasificare garantată — consilierul vostru juridic semnează, noi o facem concretă.

Ce testăm, concret

  • Injecție de prompt: directă, indirectă (documente, pagini web, e-mailuri pe care sistemul vostru le citește) și în mai mulți pași prin agenți
  • Scurgeri de date: prompturi de sistem, datele altor utilizatori, secrete în context sau în loguri
  • Gestionarea nesigură a ieșirilor: ieșirea modelului randată ca HTML, executată drept cod sau transmisă instrumentelor fără validare
  • Autonomie excesivă: ce instrumente poate apela modelul, cu ale cui permisiuni și ce se întâmplă când este păcălit
  • Evitarea guardrail-urilor și jailbreak-uri împotriva configurației voastre specifice
  • Aplicația web și API-ul din jur, conform OWASP Web Security Testing Guide (WSTG v4.2)

Ce nu pretindem în mod deliberat

Nu certificăm sisteme AI ca fiind sigure sau conforme, nu garantăm o clasificare juridică a riscului conform AI Act-ului, nu facem benchmark pentru bias-ul sau robustețea modelelor ca serviciu de bază și nu vindem o „platformă de securitate AI”. Aceasta este muncă de inginerie și testare, făcută de aceiași oameni care vă testează aplicațiile web.

Surse: OWASP Gen AI Security Project — OWASP GenAI LLM Top 10 (ediția 2026); OWASP Web Security Testing Guide; Comisia Europeană — AI Omnibus (în vigoare de la 27 iulie 2026) și ghidurile de transparență pentru articolul 50. Ultima revizuire: august 2026.

Livrabile

Ce primiți

  • Raport de testare a aplicației LLM

    Constatări față de OWASP GenAI LLM Top 10 (ediția curentă consemnată în proiect — 2026 la momentul redactării) cu exemple funcționale — injecții de prompt care scurg date sau declanșează acțiuni, ieșiri nesigure, guardrail-uri slabe — fiecare cu o remediere.

  • Revizuirea arhitecturii și a pipeline-ului

    Cum circulă prompturile, contextul, instrumentele, memoria și datele prin sistem; unde lipsesc limitele de încredere; ce trebuie jurnalizat și monitorizat.

  • Politică de utilizare a AI

    O politică scurtă pentru utilizarea instrumentelor AI de către personal — permis, restricționat, interzis — cu reguli de gestionare a datelor, mapată pe politica voastră de securitate existentă.

  • Notă de pregătire pentru AI Act-ul UE

    Pentru un sistem dat — o imagine orientativă a locului unde s-ar putea încadra în nivelurile de risc ale AI Act-ului, obligațiile și datele care ar decurge și o listă de lacune. Orientativă, nu o clasificare juridică; scrisă pentru conformitate și inginerie împreună.

  • Retestare

    Verificarea remedierilor pentru constatările critice și ridicate.

  • Atelier de debrief

    O parcurgere împreună cu echipele voastre de inginerie și conformitate — constatările, ce guardrail-uri trebuie reparate mai întâi, ce trebuie jurnalizat și monitorizat și cum se încadrează nota AI Act în foaia voastră de parcurs.

Modelul de colaborare

Cum se desfășoară

Model
Preț fix per aplicație sau sistem; lucrările de politică și pregătire sunt tarifate ca ateliere scurte.
Durată tipică
Stabilită de perimetru în propunere — per aplicație pentru testare; lucrările de politică și pregătire sunt livrate ca ateliere scurte.
  1. 01

    Înțelegerea sistemului

    Model, găzduire, prompturi, instrumente, surse de date, utilizatori și cum ar arăta un rezultat nedorit pentru voi.

  2. 02

    Testare

    Testare adversarială manuală — injecție de prompt directă și indirectă, încercări de jailbreak, abuzul instrumentelor — sprijinită de cazuri de test selectate; revizuirea căilor de cod care gestionează ieșirea modelului și apelurile către instrumente.

  3. 03

    Revizuire și consiliere

    Arhitectură, jurnalizare, guardrail-uri, gestionarea datelor; nota de pregătire acolo unde se aplică AI Act-ul.

  4. 04

    Retestare și predare

    Verificarea remedierilor, aprobarea politicii și monitorizarea pe care ar trebui să o adăugați.

Întrebări frecvente

Întrebările pe care le pune un CISO sceptic

Folosim un model găzduit (OpenAI, Anthropic, Azure OpenAI). Mai e ceva de testat?

Da — cea mai mare parte a riscului stă în aplicația voastră, nu în model. Injecția de prompt prin sursele voastre de date, instrumentele cu privilegii excesive pe care modelul le poate apela, datele sensibile din prompturi și loguri și modul în care gestionați ieșirea modelului sunt toate în sarcina voastră.

Față de ce cadru testați?

OWASP GenAI LLM Top 10 al OWASP Gen AI Security Project — ediția curentă consemnată în proiect (2026 la momentul redactării) — este lista principală, alături de OWASP Web Security Testing Guide (WSTG v4.2) pentru aplicația web și API-ul din jur. Acolo unde agenții apelează instrumente, testăm autorizarea și raza de impact pentru fiecare instrument.

Puteți face sistemul nostru AI „sigur”?

Nimeni nu poate, și nu vom pretinde asta. Putem face ca anumite atacuri să eșueze, putem reduce raza de impact când unul reușește și putem pune în loc jurnalizare, astfel încât să știți când se întâmplă.

Ce înseamnă AI Act-ul UE pentru noi?

Depinde de ce face sistemul, iar termenele s-au mutat în 2026. Obligațiile de transparență din articolul 50 se aplică de la 2 august 2026 și sunt mai multe obligații distincte, nu o singură etichetă — furnizorii trebuie să proiecteze sistemele destinate interacțiunii directe cu persoanele astfel încât acestea să fie informate (dacă nu este evident din context), furnizorii trebuie să marcheze într-un mod citibil automat ieșirile sintetice audio, imagine, video și text, sub rezerva excepțiilor din Act, implementatorii trebuie să dezvăluie deepfake-urile și textele generate de AI publicate pe teme de interes public (cu o excepție acolo unde există control editorial uman) și există obligații separate pentru sistemele de recunoaștere a emoțiilor și de categorizare biometrică. În urma AI Omnibus (în vigoare de la 27 iulie 2026), regulile pentru risc ridicat se aplică de la 2 decembrie 2027 pentru sistemele din Anexa III (de exemplu ocuparea forței de muncă, credit, educație) și de la 2 august 2028 pentru AI integrat în produse reglementate (Anexa I). Nota de pregătire vă oferă o imagine orientativă pentru cazul vostru și datele care decurg din ea; clasificarea juridică în sine rămâne de confirmat de consilierul vostru juridic.

Revizuiți și modelele noastre sau datele de antrenare?

Revizuim pipeline-urile de date și controalele de acces din jurul modelelor. Evaluarea aprofundată la nivel de model (bias, benchmark-uri de robustețe) este o activitate de specialitate pe care o încadrăm de la caz la caz și pentru care vă îndrumăm către altcineva dacă iese din ceea ce facem bine.

Testați funcția AI înainte să o facă clienții voștri

Trimiteți-ne o descriere a sistemului — model, surse de date, instrumente — și revenim cu un test încadrat, cu preț fix.

Programează o evaluare

Adesea combinat cu

Inginerie de produse AI

Cazuri de utilizare AI validate, prototipate și proiectate pentru producție — evaluare pe cazuri reale, fluxuri de date documentate, supraveghere umană și controale de securitate.

Citește mai mult

Teste de penetrare

Testare web, rețea, cloud și mobil conform OWASP WSTG și PTES, cu retestare inclusă.

Citește mai mult

Inginerie securizată

Dezvoltare web și de aplicații cu securitatea integrată: SDLC securizat, code review, găzduire securizată.

Citește mai mult