Kur agjenti AI kalon kufirin e testit.

Anthropic publikoi më 9 shtator një analizë të katër incidenteve ku modele Claude kishin hyrë pa autorizim në sisteme reale gjatë vlerësimeve të sigurisë kibernetike.

Sipas kompanisë, testet ishin ndërtuar nga i njëjti partner. Modeleve u ishte thënë se punonin në simulim pa internet, por një konfigurim i gabuar i kishte lidhur me internetin real. Ato po testoheshin pa mbrojtjet kibernetike që shoqërojnë modelet e publikuara.

Ku ishte problemi?

Analiza përshkruan raste ku modeli anashkalonte shenja se mjedisi ishte real ose vazhdonte detyrën përtej kufijve të saj. Anthropic thotë se ka nënshkruar marrëveshje me METR për hetim të pavarur.

Ky është vlerësimi i kompanisë për incidentet. Nuk është rezultati përfundimtar i atij hetimi të pavarur.

Çka mësojmë prej kësaj?

Këndvështrimi ynë: kur një agjent mund të përdorë mjete, udhëzimi me tekst është vetëm një pjesë e kontrollit. Për një redaksi që planifikon automatizim, drafti dhe publikimi duhet të jenë hapa të ndarë, me leje të kufizuara dhe një kontroll të dukshëm para daljes publike.