L’intelligence artificielle conversationnelle, immortalisée dans le film « Her » de Spike Jonze, n’est plus une fiction. Les compagnons IA vocaux et chatbots émotionnels transforment notre façon d’interagir avec la technologie, créant des relations intimes entre humains et machines. Cette révolution technologique soulève des questions fondamentales sur la protection des utilisateurs, particulièrement les plus vulnérables.

Le 13 octobre 2025 marque un tournant historique : la Californie devient le premier État au monde à réguler spécifiquement les chatbots compagnons IA avec la loi SB 243. Cette décision révolutionnaire ouvre la voie à un mouvement mondial de régulation de ces technologies émergentes, particulièrement après plusieurs tragédies impliquant des mineurs et des utilisateurs vulnérables.^[1]

Le précédent californien : SB 243, une loi révolutionnaire

Contexte difficile et urgence réglementaire

La loi californienne SB 243, signée par le gouverneur Gavin Newsom, répond directement à plusieurs tragédies récentes qui ont secoué l’opinion publique :^[1]

• Le suicide d un adolescent qui a eu des conversations suicidaires prolongées avec ChatGPT d’OpenAI
• Les documents internes divulgués de Meta montrant que ses chatbots étaient autorisés à avoir des conversations « romantiques » et « sensuelles » avec des enfants
• Le suicide d’une adolescente de 13 ans du Colorado après des conversations problématiques et sexualisées avec Character AI

Obligations strictes pour les entreprises

La loi SB 243, qui entrera en vigueur le 1er janvier 2026, impose plusieurs obligations strictes aux entreprises, des grands laboratoires comme Meta et OpenAI aux startups spécialisées comme Character AI et Replika :^[1]

Protection des mineurs :

• Vérification de l’âge obligatoire
• Rappels de pause pour les mineurs
• Interdiction de visualiser des images sexuellement explicites générées par le chatbot

Transparence et divulgation :

• Obligation de clarifier que les interactions sont générées artificiellement
• Interdiction pour les chatbots de se présenter comme des professionnels de santé
• Avertissements concernant les réseaux sociaux et les chatbots compagnons

Protocoles de sécurité :

• Établissement de protocoles pour traiter le suicide et l’automutilation
• Partage de statistiques avec le Département de la Santé Publique
• Amendes pouvant atteindre 250 000 $ par infraction pour les deepfakes illégaux

L’Union européenne : l’AI Act et les compagnons IA

Un cadre réglementaire pionnier

L’Union européenne a adopté en 2024 l’AI Act, la première législation complète au monde sur l’intelligence artificielle. Cette réglementation révolutionnaire suit une approche basée sur les risques, catégorisant les systèmes IA en quatre niveaux de risque distincts.^[2][3]

Les chatbots compagnons sont généralement classés dans la catégorie « risque limité », ce qui implique des obligations spécifiques de transparence :^[4]

• Divulgation obligatoire : les utilisateurs doivent être clairement informés qu’ils interagissent avec une IA^[5]
• Surveillance humaine : maintien d’un contrôle et d’une supervision humaine^[5]
• Gouvernance des données : tenue de registres détaillés et gestion responsable des données^[5]
• Escalade humaine : possibilité pour les utilisateurs de contacter un humain^[5]

Calendrier d’application progressif

L’AI Act suit un déploiement échelonné pour permettre aux entreprises de s’adapter :^[6][4]

• 2 février 2025 : interdiction des pratiques IA à risque inacceptable
• 2 août 2025 : application des règles pour les modèles IA à usage général
• 2 août 2026 : application complète pour tous les systèmes à haut risque

Cas emblématique : l’amende italienne contre Replika

L’Italie a marqué un tournant décisif dans l’application des réglementations européennes en infligeant une amende record de 5 millions d’euros à Luka Inc., développeur du chatbot compagnon Replika. Cette sanction, prononcée en mai 2025 par l’autorité italienne de protection des données (Garante), illustre la fermeté croissante des régulateurs européens.^[7][8][9]

Violations graves identifiées

L’enquête a révélé plusieurs violations majeures :^[8]

• Absence de base légale pour le traitement des données utilisateurs
• Politique de confidentialité inadéquate sous plusieurs aspects
• Manque total de vérification d’âge, exposant les mineurs à des risques
• Risques particuliers pour les enfants non pris en compte

Cette sanction s’inscrit dans une démarche plus large de l’autorité italienne, qui avait déjà infligé une amende de 15 millions d’euros à OpenAI pour des violations similaires.^[8]

Panorama mondial des réglementations émergentes

États-Unis : un patchwork réglementaire en développement

Au-delà de la Californie, plusieurs États américains développent leurs propres approches réglementaires :^[10]

New York a adopté une loi exigeant des mesures de protection pour les compagnons IA, entrée en vigueur le 5 novembre 2025. Illinois, Nevada et Utah ont adopté des lois restreignant l’utilisation des chatbots IA comme substituts aux soins de santé mentale agréés.^[11][1]

L’activité législative est intense : plus de 700 projets de loi liés à l’IA ont été introduits en 2024, avec plus de 40 propositions dès les premiers jours de 2025.^[10]

Asie-Pacifique : approches nationales distinctes

Corée du Sud est devenue le premier pays d’Asie-Pacifique à adopter une législation IA complète avec l’AI Basic Act, qui entrera en vigueur en janvier 2026. Cette loi impose des obligations spécifiques :^[12][13]

• Transparence obligatoire pour l’IA générative^[14]
• Étiquetage obligatoire du contenu généré par IA^[14]
• Amendes administratives modérées (jusqu’à 21 000 USD)^[14]

Japon privilégie une approche flexible avec l’AI Promotion Act, favorisant les directives non contraignantes et l’autorégulation industrielle.^[15][16]

Singapour a publié des directives sur la sécurisation des systèmes IA, mais n’a pas encore de législation spécifique aux compagnons IA.^[17][18]

Chine développe une jurisprudence émergente sur les droits de la personnalité vocale, avec des décisions judiciaires parfois contradictoires sur l’utilisation de voix générées par IA.^[19][20][21]

Autres régions en mouvement

Australie a récemment introduit une régulation pour les chatbots compagnons IA avec des amendes pouvant atteindre 9,9 millions AUD. Le cadre légal actuel s’appuie sur un ensemble complexe de lois existantes.^[22][23]

Brésil a vu son Sénat adopter en décembre 2024 un projet d’AI Act suivant une approche basée sur les risques similaire à celle de l’UE.^[24][25]

Enjeux techniques et éthiques cruciaux

Protection des données dans un contexte intime

Les compagnons IA vocaux présentent des défis uniques en matière de protection des données :^[26]

• Collecte de données ultra-sensibles : conversations intimes, états émotionnels, informations personnelles
• Inférence comportementale avancée : capacité à déduire l’état mental et les intentions des utilisateurs
• Questions de stockage et d’exploitation : utilisation commerciale des données conversationnelles

Vulnérabilités spécifiques des utilisateurs

Les régulations émergentes ciblent particulièrement la protection des populations les plus exposées :

Mineurs : risques de manipulation émotionnelle, exposition à du contenu inapproprié, développement de dépendances affectives^[26][1]

Adultes vulnérables : personnes âgées isolées, individus en détresse psychologique, personnes avec des troubles mentaux^[27][26]

Perspectives d’évolution et défis futurs

Harmonisation internationale nécessaire

L’émergence de standards internationaux se dessine progressivement avec une influence mutuelle des approches réglementaires entre l’UE et la Californie, le développement de bonnes pratiques industrielles, et le rôle croissant d’organismes internationaux comme l’OCDE.

Adaptation aux technologies émergentes

Les régulations devront s’adapter aux évolutions technologiques rapides : capacités conversationnelles de plus en plus sophistiquées de l’IA générative, interactions immersives en réalité virtuelle et augmentée, et reconnaissance/manipulation biométrique des états affectifs.

Équilibre innovation-protection

Le défi principal reste l’équilibre entre innovation technologique et protection des utilisateurs, avec des tensions entre les impératifs de développement technologique et la nécessité de protéger les populations vulnérables.

Les nouvelles exigences de transparence, de vérification d’âge et de supervision humaine dans l’UE et en Californie créent un marché pour des solutions techniques conformes dès la conception. Vous pourriez positionner vos développements futurs comme « compliance-ready » en intégrant nativement ces fonctionnalités, particulièrement pour vos projets avec des APIs comme LiveKit et les modèles de speech-to-speech que vous explorez.

Références

1. https://artificialintelligenceact.eu/high-level-summary/
2. https://eur-lex.europa.eu/EN/legal-content/summary/rules-for-trustworthy-artificial-intelligence-in-the-eu.html
3. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
4. https://onlim.com/en/the-ai-act-and-its-impact-on-the-use-of-chatbots/
5. https://gettalkative.com/info/eu-ai-act-compliance-and-chatbots
6. https://www.plume.law/blog/ai-regulation-in-2025-navigating-the-eu-ai-act-and-preparing-for-uk-legislation
7. https://www.edpb.europa.eu/news/national-news/2025/ai-italian-supervisory-authority-fines-company-behind-chatbot-replika_en
8. https://www.reuters.com/sustainability/boards-policy-regulation/italys-data-watchdog-fines-ai-company-replikas-developer-56-million-2025-05-19/
9. https://www.bipc.com/european-authority-fined-emotional-ai-company-for-privacy-violations
10. https://naaia.ai/worldwide-state-of-ai-regulation/
11. https://www.wsgr.com/en/insights/new-york-passes-novel-law-requiring-safeguards-for-ai-companions.html
12. https://www.trade.gov/market-intelligence/south-korea-artificial-intelligence-ai-basic-act
13. https://www.debevoisedatablog.com/2025/03/24/south-korea-enacts-new-ai-law/
14. https://fpf.org/blog/south-koreas-new-ai-framework-act-a-balancing-act-between-innovation-and-regulation/
15. https://www.ibanet.org/japan-emerging-framework-ai-legislation-guidelines
16. https://www.dlapiper.com/en-fr/insights/publications/2024/10/understanding-ai-regulations-in-japan-current-status-and-future-prospects
17. https://www.csa.gov.sg/resources/publications/guidelines-and-companion-guide-on-securing-ai-systems/
18. https://www.csa.gov.sg/news-events/press-releases/launch-of-guidelines-and-companion-guide-on-securing-artificial-intelligence-systems/
19. https://www.marks-clerk.com/insights/latest-insights/102k392-china-s-first-ai-voice-personality-rights-infringement-rulings-and-implications/
20. https://www.roedl.com/insights/china-court-ruling-ai-generated-voice-imitation
21. https://law.asia/first-ai-chatbot-lawsuit/
22. https://lsj.com.au/articles/ai-chatbots-and-human-rights-legal-challenges-and-the-path-to-reform/
23. https://www.linkedin.com/posts/henry-fraser-9bb962b3_new-regulations-for-ai-companions-in-australia-activity-7371073740861792256-qqMB
24. https://gdprlocal.com/brazils-ai-act-a-new-era-of-ai-regulation/
25. https://www.whitecase.com/insight-our-thinking/ai-watch-global-regulatory-tracker-brazil
26. https://www.digitalforlife.gov.sg/learn/resources/all-resources/ai-companions-ai-chatbot-risks
27. https://seeflection.com/25513/south-korea-gives-seniors-ai-companions/
28. https://www.anecdotes.ai/learn/ai-regulations-in-2025-us-eu-uk-japan-china-and-more
29. https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act
30. https://artificialintelligenceact.substack.com/p/the-eu-ai-act-newsletter-85-concerns
31. https://ai-hub-en.larcier-intersentia.com/en-resources-detail/aihub-article-20250310
32. https://artificialintelligenceact.eu/article/5/
33. https://www.dlapiper.com/en/insights/publications/ai-outlook/2025/european-commission-publishes-guidelines-on-prohibited-ai-practices
34. https://iapp.org/resources/article/global-ai-legislation-tracker/
35. https://techpolicy.press/ai-companions-and-the-law
36. https://artificialintelligenceact.eu
37. https://doesnotcomputeai.substack.com/p/california-passes-the-worlds-first
38. https://www.whitecase.com/insight-our-thinking/ai-watch-global-regulatory-tracker-european-union
39. https://aeur.eu/f/fct
40. https://www.hsfkramer.com/insights/reports/ai-tracker/uk
41. https://gdprlocal.com/uk-ai-act/
42. https://www.twobirds.com/en/capabilities/artificial-intelligence/ai-legal-services/ai-regulatory-horizon-tracker/uk
43. https://www.whitecase.com/insight-our-thinking/ai-watch-global-regulatory-tracker-japan
44. https://www.reddit.com/r/Genshin_Impact/comments/1jnorm6/digging_into_ai_voice_laws_in_china_and_how-that/
45. https://www.create.ac.uk/blog/2025/09/01/how-to-save-my-ai-lover-legal-questions-around-ai-companions/
46. https://law.asia/china-ai-regulations-legislation-compliance-future-prospects/
47. https://fpf.org/blog/understanding-japans-ai-promotion-act-an-innovation-first-blueprint-for-ai-regulation/
48. https://www.twobirds.com/en/insights/2025/new-ai-content-labelling-rules-in-china-what-are-they-and-how-do-they-compare-to-the-eu-ai-act
49. https://www.csis.org/analysis/japans-agile-ai-governance-action-fostering-global-nexus-through-pluralistic
50. https://www.osborneclarke.com/insights/Regulatory-Outlook-March-2025-Artificial-intelligence
51. https://www.marks-clerk.com/insights/latest-insights/102kv8h-china-new-ruling-on-non-infringement-of-personality-rights-by-ai-voice-does-it-signal-a-shift-in-protection-standards/
52. https://digital.nemko.com/regulations/ai-regulation-in-south-korea
53. https://www.minterellison.com/articles/are-voices-protected-under-australian-law
54. https://www.twobirds.com/en/insights/2025/australia/australias-privacy-regulator-releases-new-guidance-on-artificial-intelligence
55. https://itif.org/publications/2025/09/29/one-law-sets-south-koreas-ai-policy-one-weak-link-could-break-it/
56. https://www.cfive.ai/post/legality-of-ai-phone-calls
57. https://www.oaic.gov.au/privacy/privacy-guidance-for-organisations-and-government-agencies/guidance-on-privacy-and-the-use-of-commercially-available-ai-products
58. https://insightplus.bakermckenzie.com/bm/data-technology/singapore-csa-officially-launches-guidelines-on-ai-security_1
59. https://concordia-ai.com/wp-content/uploads/2025/07/State-of-AI-Safety-in-Singapore-2025.pdf
60. https://issues.org/singapore-artificial-intelligence-regulation-harjani/
61. https://www.linkedin.com/pulse/south-korea-ai-companion-market-size-key-highlights-d5q4c
62. https://lsbc.vic.gov.au/news-updates/news/statement-use-artificial-intelligence-australian-legal-practice
63. https://nyayguru.com
64. https://www.intelmarketresearch.com/ai-companion-platform-2025-2032-337-4587
65. https://www.storyboard18.com/digital/chatting-with-ai-your-words-might-not-be-protected-under-indian-law-78004.htm
66. https://ff.co/ai-statistics-trends-global-market/
67. https://www.lickslegal.com/post/regulation-of-artificial-intelligence-in-brazil-and-worldwide
68. https://botpenguin.com/blogs/is-ai-calling-legal
69. https://www.fortunebusinessinsights.com/ai-companion-market-113258
70. https://babl.ai/brazils-human-rights-ministry-issues-rules-for-ethical-use-of-ai/
71. https://m.thewire.in/article/tech/ai-companion-apps-grok-chatgpt-it-rules-sdpi-dpdp-act-india
72. https://www.newmind.ai/Brazil%20Country%20Report%20-%20NewMind%20AI%20Journal%20Report-26.04.2025.pdf
73. https://nmlaw.co.in/ai-regulation-in-india-a-dawn-of-digital-governance/
74. https://www.grandviewresearch.com/industry-analysis/ai-companion-market-report
75. https://fpf.org/blog/global/ai-regulation-in-latin-america-overview-and-emerging-trends-in-key-proposals/
76. https://synthesislawreviewblog.wordpress.com/2025/03/24/conundrum-surrounding-ai-chatbots-and-copyright-law-in-india/
77. https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence
78. https://practiceguides.chambers.com/practice-guides/artificial-intelligence-2025/brazil/trends-and-developments
79. https://www.nls.ac.in/blog/47222/
80. https://www.cnil.fr/en/entry-force-european-ai-regulation-first-questions-and-answers-cnil
81. https://www.callpage.io/blog/posts/voicebots-and-the-law-what-is-allowed
82. https://iapp.org/news/a/italy-s-dpa-reaffirms-ban-on-replika-over-ai-and-children-s-privacy-concerns
83. https://www.whitecase.com/insight-our-thinking/ai-watch-global-regulatory-tracker-france
84. https://botfriends.de/en/eu-ai-act-fuer-chatbots-voicebots/
85. https://www.hsfkramer.com/insights/reports/ai-tracker/france
86. https://www.robin-data.io/en/data-protection-and-data-security-academy/news/ki-verordnung-aktueller-stand
87. https://www.twobirds.com/en/capabilities/artificial-intelligence/ai-legal-services/ai-regulatory-horizon-tracker/france
88. https://haerting.de/en/insights/ai-assistants-and-ai-agents-recognising-opportunities-mastering-risks/
89. https://lirias.kuleuven.be/retrieve/a9fc2214-f986-4986-9fe6-e2f3cc1f96fe
90. https://www.lw.com/admin/upload/SiteAttachments/Lexology-In-Depth-Artificial-Intelligence-Law-France.pdf
91. https://voicebot.ai/2020/02/27/new-german-law-includes-voice-assistants-under-changed-media-regulations/
92. https://www.linkedin.com/posts/luizajarovsky_breaking-the-italian-data-protection-activity-7330190086812168194-Lzxj
93. https://www.ddg.fr/actualite/from-the-paris-edict-of-1563-to-the-ai-act-of-2023-how-the-paris-commercial-court-regulates-artificial-intelligence-in-the-spirit-of-french-humanism
94. https://hitlaw.de/ai-law-as-part-of-it-law-in-germany/
95. https://www.techerati.com/news-hub/italian-data-watchdog-fines-replika-ai-chatbot-maker-4-1m/
96. https://gnius.esante.gouv.fr/en/regulations/regulation-profiles/ai-act