Feb 11, 2025

2 minute read

Vorstellung des Secure AI Frontier Model Framework von Cohere

Das Secure AI Frontier Model Framework von Cohere beschreibt unseren praxisorientierten Ansatz für Sicherheit und Schutz.

Introducing Cohere’s Secure AI Frontier Model Framework

Datenschutz und Datensicherheit sind entscheidend für die Einführung von KI in Unternehmen – Betriebe benötigen KI-Lösungen, die nicht nur ihren spezifischen Anforderungen entsprechen, sondern auch ihr geistiges Eigentum (IP), Kundendaten und Mitarbeiterinformationen schützen. Im Rahmen unseres Fokus auf reale Risiken im Zusammenhang mit KI-Technologien und den Anforderungen von Unternehmenskunden hat Cohere unser Secure AI Frontier Model Framework veröffentlicht, um unseren praxisorientierten Ansatz in Bezug auf Sicherheit und Schutz zu beschreiben.

Dieses Framework zeigt auf, wie wir unsere sicheren KI-Produkte entwickeln, und ist Teil mehrerer branchenweiter Verpflichtungen, an denen Cohere mitgewirkt hat, darunter die des Gipfels von Seoul 2024 in Zusammenarbeit mit der britischen Regierung.

Der Ansatz von Cohere: Praktische Risiken, Sicherheit und Datenschutz

Wir konzentrieren uns nicht auf hypothetische Risiken, sondern auf die realen, praktischen Herausforderungen, denen Unternehmen und Regierungen heute bei der Nutzung von KI gegenüberstehen. Die Risiken von Unternehmens-KI und die entsprechenden Minderungsstrategien unterscheiden sich von KI-Systemen, die in Chatbots für Endverbraucher oder KI-Assistenten auf Smartphones integriert sind und der breiten Öffentlichkeit zur Verfügung stehen.

Kunden aus verschiedenen Branchen und Sektoren nutzen unsere KI-Modelle und -Anwendungen im großen Maßstab für Anwendungen, die von Kundensupport und Lieferkettenmanagement bis hin zur Extraktion und Organisation von Finanzinformationen, der Analyse von Verträgen, der Beantwortung von Fragen zu Unternehmensrichtlinien und der Zusammenfassung textbasierter Informationen reichen.

Unsere Kunden haben hohe Ansprüche und sind in Branchen tätig, in denen Sicherheit und Datenschutz von höchster Bedeutung sind, wie etwa im Finanzwesen, im Gesundheitswesen, in der kritischen Infrastruktur und im öffentlichen Sektor. Neben der Priorisierung von Sicherheit durch unser umfassendes Angebot an Bereitstellungsoptionen wie Private Clouds und On-Premise-Lösungen konzentrieren wir uns im Rahmen unseres Modellentwicklungsprozesses auf die spezifischen regulatorischen, sicherheitstechnischen und schutzrelevanten Anforderungen von Unternehmen.

Unser Secure AI-Ansatz umfasst drei Kernprinzipien:

  • Belegte Risiken: Wir konzentrieren uns auf reale Risiken, die bekannt, messbar oder beobachtbar sind.
  • Kontextbezogene Bewertung:Risiken werden im Kontext der spezifischen Anwendungsfälle und Rahmenbedingungen sowohl von Cohere als auch von den Kunden von Cohere identifiziert und bewertet.
  • Ganzheitliches Management:Das Management von Sicherheits- und Schutzrisiken ist von Grund auf in die Entwicklung von Modellen und Systemen integriert.

Unser Framework im Überblick

Das Cohere Secure AI Frontier Model Framework umfasst fünf Komponenten: (i) Risikoidentifizierung; (ii) Risikoanalyse und -minderung; (iii) Mechanismen zur Risikogewährleistung; (iv) Transparenz; sowie (v) Forschung und Einbindung externer Stakeholder. Die Teile (i) bis (iii) beschreiben unsere Risikomanagementpraktiken und deren Umsetzung über den gesamten KI-Lebenszyklus hinweg. Die Teile (iv) und (v) beschreiben, wie wir Informationen und Best Practices teilen sowie externe Forschung unterstützen, um unsere eigenen Praktiken kontinuierlich zu verbessern und den aktuellen Stand der Technik im KI-Risikomanagement voranzutreiben.

Framework-Komponente
Unsere Aktivitäten und Vorgehensweisen
1. Identifizierung von Risiken Erfassung der Art und Beschaffenheit der Risiken, die mit unseren KI-Modellen und -Systemen verbunden sind.
1a Identifizierung von Risiken, die aus den Modellfunktionen resultieren 1b Identifizierung von Risiken für unsere Systeme 1c Verständnis möglicher Schäden im jeweiligen Kontext
2. Risikobewertung und Risikominderung Anwendung von Maßnahmen zur Risikoreduzierung während des gesamten Lebenszyklus unserer Modelle und Systeme.
2a Mehrschichtige Sicherheitsstrategie (Defense-in-Depth) 2b Behebung von Schäden 2c „Secure AI by Design“
3. Mechanismen zur Risikogewährleistung Durchführung von Tests und Evaluierungen, um zu verifizieren und nachzuweisen, dass KI-Risiken angemessen gemindert werden.
3a Evaluierungen und Benchmarks 3b Interne und externe Schwachstellentests durch Dritte 3c Tests und Evaluierungen durch Kunden
4. Transparenz Bereitstellung von Informationen zu unseren Risikomanagement-Praktiken und Einholung von Feedback, um eine kontinuierliche Verbesserung sicherzustellen.
4a Dokumentation und Offenlegung unserer Praktiken 4b Kontinuierliche Verbesserung

Unser vollständiges Framework steht hier zum Download bereit:hier. Es handelt sich um die erste veröffentlichte Version, die kontinuierlich aktualisiert wird, während wir neue Best Practices entwickeln, um die Sicherheit und den Schutz unserer Produkte zu verbessern.