Article 50 paragraph 1 Artificial Intelligence (AI) Act imposes an obligation on providers of AI systems intended to interact directly with natural persons to design and develop such systems so that individuals are informed they are engaging with AI. The provision merely requires that this information be technically available, rather than mandating an active disclosure to the concerned individuals. Furthermore, the obligation rests with the provider of the AI system, not with the deployer, defined as the natural or legal person under whose authority the AI system is operated. The only legal consequence of noncompliance with Article 50 paragraph 1 AI Act is an administrative fine under Article 99 paragraph 4 litera g AI Act. The analysis examines whether individuals can derive substantive rights, in particular a right to be informed about the operation of AI systems, a right to avoid or terminate contracts concluded via undisclosed AI interaction, or a right to object to the use of the AI system altogether, from other EU secondary legislation or German contract and consumer protection law. It deliberately leaves aside matters of liability law. The study concludes that while Article 50 paragraph 1 AI Act constitutes a step toward greater transparency, it remains insufficient, even when applied together with other legislation. To ensure effective protection of individual rights, further legal clarification and practical safeguards are required at both EU and national levels.
Resúmé: L’article 50, paragraphe 1, du règlement sur l’IA impose aux fournisseurs de systèmes d’IA destinés à interagir directement avec des personnes physiques l’obligation de concevoir et de développer ces systèmes de manière à ce que les individus soient informés qu’ils interagissent avec une IA. Cette disposition exige uniquement que cette information soit techniquement disponible, sans imposer une obligation de divulgation active à l’égard des personnes concernées. En outre, l’obligation incombe au fournisseur du système d’IA, et non au déployeur, défini comme la personne physique ou morale sous l’autorité de laquelle le système d’IA est exploité. La seule conséquence juridique du non-respect de l’article 50, paragraphe 1, du règlement sur l’IA réside dans une amende administrative prévue à l’article 99, paragraphe 4, point g), du règlement sur l’IA.
L’analyse examine si les individus peuvent tirer de la législation secondaire de l’Union européenne ou du droit allemand des contrats et de la protection des consommateurs des droits matériels, notamment un droit d’être informé du fonctionnement des systèmes d’IA, un droit d’éviter ou de résilier des contrats conclus à la suite d’une interaction avec une IA non déclarée,ou encore un droit de s’opposer purement et simplement à l’utilisation du système d’IA. L’étude écarte délibérément les questions relevant du droit de la responsabilité.
Elle conclut que, bien que l’article 50, paragraphe 1, du règlement sur l’IA constitue une avancée vers une plus grande transparence, il demeure insuffisant, même lorsqu’il est appliqué conjointement avec d’autres instruments législatifs. Afin d’assurer une protection effective des droits individuels, des clarifications juridiques supplémentaires et des garanties pratiques sont nécessaires tant au niveau de l’Union européenne qu’au niveau national.
Zusammenfassung: Artikel 50 Absatz 1 AI Act verpflichtet Anbieter von KISystemen, die für eine direkte Interaktion mit natürlichen Personen bestimmt sind, dazu, diese Systeme so zu gestalten und zu entwickeln, dass die betroffenen Personen darüber informiert werden, dass sie mit einer KI interagieren. Die Vorschrift verlangt jedoch lediglich, dass diese Information technisch verfügbar ist, ohne eine aktive Offenlegung gegenüber den betroffenen Personen vorzuschreiben. Zudem liegt die Verpflichtung beim Anbieter des KISystems, nicht beim Nutzer, also der natürlichen oder juristischen Person, unter deren Verantwortung das KI-System betrieben wird. Die einzige Rechtsfolge eines Verstoßes gegen Artikel 50 Absatz. 1 AI Act besteht in einem Verwaltungsbußgeld nach Artikel 99 Absatz 4 Buchstabe g AI Act. Der Beitrag geht der Frage nach, ob Personen aus anderem sekundärem Unionsrecht oder aus dem deutschen Vertrags- und Verbraucherschutzrecht materielle Rechte ableiten können – insbesondere ein Recht, über den Einsatz von KI-Systemen informiert zu werden, ein Recht, Verträge, die unter nicht offengelegter KI-Interaktion zustande gekommen sind, durch Widerruf oder Kündigung zu beenden, oder ein Recht, dem Einsatz eines KI-Systems insgesamt zu widersprechen. Fragen des Haftungsrechts werden dabei bewusst ausgeklammert. Die Analyse kommt zu dem Ergebnis, dass Artikel 50 Absatz 1 AI Act zwar einen Schritt in Richtung größerer Transparenz darstellt, jedoch unzureichend bleibt – selbst im Zusammenspiel mit anderen Rechtsvorschriften. Um einen wirksamen Schutz individueller Rechte zu gewährleisten, sind weitere rechtliche Klarstellungen und praktische Schutzmechanismen sowohl auf EU- als auch auf nationaler Ebene erforderlich.
Resumen: El artículo 50, párrafo 1 del Reglamento de IA impone a los proveedores de sistemas de IA destinados a interactuar directamente con personas físicas la obligación de diseñar y desarrollar dichos sistemas de manera que las personas estén informadas de que están interactuando con IA. La disposición solo exige que esta información esté técnicamente disponible, en lugar de imponer una divulgación activa a las personas interesadas. Además, la obligación recae sobre el proveedor del sistema de IA, no sobre el responsable del despliegue, definido como la persona física o jurídica bajo cuya autoridad opera el sistema de IA. La única consecuencia jurídica del incumplimiento del artículo 50, párrafo 1, del Reglamento de IA es una multa administrativa según el artículo 99, párrafo 4, letra g) de la misma ley. El análisis examina si las personas pueden derivar derechos sustantivos, en particular el derecho a ser informadas sobre el funcionamiento de los sistemas de IA, el derecho a anular o rescindir contratos celebrados mediante una interacción con IA no revelada, o el derecho a oponerse al uso del sistema de IA en su totalidad, de otra legislación secundaria de la UE o del Derecho alemán de contratos y protección del consumidor. Se omiten deliberadamente las cuestiones relativas a la responsabilidad civil. El estudio concluye que, si bien el artículo 50, párrafo 1 del Reglamento de IA constituye un paso hacia una mayor transparencia, sigue siendo insuficiente, incluso cuando se aplica conjuntamente con otras leyes. Para garantizar la protección efectiva de los derechos individuales, se requieren mayores aclaraciones legales y salvaguardias prácticas tanto a nivel de la UE como nacional.
European Review of Private Law