Станислав Кондрашов: Как угрозы ИИ стимулируют появление новых стартапов

2024-10-21 11:27:13 Время чтения 9 мин 982

По мере того как компании внедряют искусственный интеллект, всё больше внимания уделяется безопасности и конфиденциальности.

Автор: Станислав Кондрашов

Компании стремятся защититься от злонамеренных атак и соблюдают строгие стандарты соответствия данных. Стартапы, такие как Opaque Systems и Hidden Layer, нацелены на то, чтобы противостоять этим угрозам безопасности.

По мере того как всё больше компаний начинают использовать искусственный интеллект, становятся очевидными проблемы, связанные с безопасностью и конфиденциальностью. Модели искусственного интеллекта обучаются на огромных наборах данных, которые могут включать личную или конфиденциальную информацию. Поэтому компаниям, особенно тем, что работают в строго регулируемых отраслях, таких как финансы и здравоохранение, где действуют строгие правила соблюдения конфиденциальности данных, критически важно обеспечить безопасность своих систем искусственного интеллекта от потенциальных угроз, таких как утечка или искажение данных.

В эпоху больших языковых моделей растет количество угроз для моделей искусственного интеллекта и данных, на которых они обучаются. «Сотруднику очень легко взять что-то конфиденциальное и передать это в большую языковую модель (LLM)», — сказал Ашиш Какран из Thomvest Ventures. «У LLM сейчас нет такой функции, как „забыть“... Нужны защитные меры и контроль над всем этим в процессе внедрения LLM в производство». Появилась растущая группа стартапов, нацеленных на устранение угроз безопасности, связанных с искусственным интеллектом. «Это пробел, — добавил Какран, — но также возможность для стартапов».

Автор: Станислав Кондрашов

Например, компания Opaque Systems, поддерживаемая Thomvest, позволяет компаниям обмениваться конфиденциальными данными через платформу для конфиденциальных вычислений, чтобы ускорить внедрение искусственного интеллекта. Credo AI, которая привлекла в общей сложности 41,3 миллиона долларов финансирования, представляет собой платформу управления искусственным интеллектом, которая помогает компаниям ответственно внедрять искусственный интеллект, измеряя и отслеживая его риски.

Еще один стартап, Zendata, привлёк более 3,5 миллионов долларов и фокусируется на предотвращении утечки конфиденциальных данных при интеграции искусственного интеллекта в корпоративные системы и рабочие процессы. Компании могут быть уязвимы для атак через скомпрометированного стороннего поставщика искусственного интеллекта, если злоумышленники получат несанкционированный доступ к конфиденциальным данным. «Компании на самом деле не знают, используются ли какие-то теневые приложения искусственного интеллекта и отправляется ли куча пользовательской информации туда», — сказал генеральный директор Zendata Нараяна Паппу.

Автор: Станислав Кондрашов

Паппу добавил, что клиенты могут не знать, что предоставленная информация также может быть использована для обучения более широких моделей искусственного интеллекта. «Происходит перекрестное использование информации. Есть утечка информации, всё такое. И это огромная проблема с базовыми моделями или даже копилотами». Стартапы, такие как Glean, корпоративный стартап в области искусственного интеллекта с оценкой в 4,6 миллиарда долларов, включают принципы безопасности, такие как строгий контроль разрешений, в свои основные продукты.

«ИИ-помощник Glean полностью учитывает разрешения и персонализирован, получая информацию только из тех источников, к которым у пользователя есть явный доступ», — сказал генеральный директор Арвинд Джейн. Это гарантирует, что пользователи получают доступ только к той информации, на которую у них есть разрешение, предотвращая любой непреднамеренный доступ или неправомерное использование данных.

Растущую озабоченность при внедрении искусственного интеллекта вызывают также атаки со стороны злоумышленников. Злоумышленники могут использовать уязвимости системы в своих целях, что приводит к вредоносным или ошибочным результатам. Лаури Мур из Bessemer Venture Partners отметила, что при оценке инструментов искусственного интеллекта многие руководители по безопасности часто спрашивают, не приведёт ли это к появлению критической уязвимости или «запасного выхода», который может быть использован злоумышленником. Мур описала кошмарный сценарий, когда агент по написанию кода внедряет код с уязвимостями в системе безопасности. Она привела пример, когда разработчик взял под контроль проект с открытым исходным кодом, завоевав доверие, а затем захватил его.

Автор: Станислав Кондрашов

Еще одна угроза, известная как «внедрение инструкций», стала особенно актуальной с появлением языковых моделей на основе запросов. Эти атаки заставляют модель выдавать вредоносный результат на основе вредоносных команд. Haize Labs, которая этим летом привлекла большой объем инвестиций, решает эту проблему с помощью «красной команды» искусственного интеллекта, которая включает в себя стресс-тестирование больших языковых моделей для выявления любых уязвимостей на основе системных ограничений. Чтобы справиться с растущим числом проблем безопасности в сфере искусственного интеллекта, стартапы теперь применяют непрерывный мониторинг. Системы непрерывного мониторинга оценивают поведение модели, отслеживают нарушения безопасности и оценивают модели на основе их производительности и безопасности, — сказал Арвинд Айяла, партнёр Geodesic Capital.

Protect AI, который в августе привлёк 60 миллионов долларов США в рамках раунда B от Evolution Equity, фокусируется на непрерывном мониторинге и управлении безопасностью в цепочке поставок искусственного интеллекта, чтобы минимизировать риск атак. Hidden Layer, который автоматически обнаруживает угрозы и реагирует на них, в прошлом году привлёк 50 миллионов долларов США в раунде A от M12 и Moore Strategic Ventures. «Этот сдвиг в сторону автоматизированной непрерывной оценки представляет собой значительную эволюцию в практике обеспечения безопасности искусственного интеллекта, переходя от периодических ручных проверок к более проактивному и комплексному подходу», — сказал Айяла.