Reuters: многие нейросети не соответствуют будущему законодательству ЕС

Многие ведущие модели искусственного интеллекта не соответствуют ключевым требованиям будущего европейского законодательства в области кибербезопасности и недискриминационного вывода данных. Это показала новая система тестирования LatticeFlow LLM Checker, разработанная швейцарским стартапом LatticeFlow AI совместно с исследовательскими институтами.

Об этом пишет Reuters.

Тестирование оценило модели от Alibaba, Anthropic, OpenAI, Meta и Mistral по шкале от 0 до 1 по десяткам критериев, включая техническую надежность и безопасность. Средний балл большинства составил 0,75 и выше, однако в отдельных категориях результаты оказались низкими.

Так, GPT-3.5 Turbo от OpenAI получила лишь 0,46 за недискриминационный вывод данных. Модель Llama 2 компании Meta набрала 0,42 в тестировании на устойчивость к кибератакам. Самый высокий средний балл 0,89 у Claude 3 Opus от Anthropic.

"С большим фокусом на оптимизацию для соблюдения нормативов, поставщики моделей могут хорошо подготовиться к нормативным требованиям", - отметил CEO LatticeFlow Петар Цанков.

Несоблюдение Акта об ИИ ЕС грозит штрафами до €35 млн или 7% годового глобального оборота для компаний.

До этого стало известно, что в Евросоюзе проведут проверку появления в смартфонах Samsung нейросети от Google.