Công ty AI bị kiện vì chatbot xúi giục trẻ vị thành niên tự làm hại bản thân, bạo lực nhắm vào cha mẹ

Trẻ 9 tuổi ở bang Texas đã tiếp xúc với "nội dung mang tính tình dục" khi giao tiếp với chatbot của Character.AI. Trẻ sau đó "có biểu hiện tình dục sớm", theo nội dung đơn kiện.

Trong khi đó, thiếu niên 17 tuổi khi sử dụng chatbot đã đọc được thông điệp có nội dung tự hủy hoại bản thân và khuyến khích bạo lực nhắm vào cha mẹ nếu bị giới hạn thời gian sử dụng thiết bị điện tử.

Character.AI là một trong số những công ty phát triển "chatbot bạn bè" mới nổi. Sản phẩm của công ty này là các chatbot chạy bằng công nghệ AI có thể nhắn tin hoặc trò chuyện bằng giọng nói con người. Nhờ AI, một số chatbot thậm chí có "tính cách riêng giống con người", theo NPR.

Dịch vụ của Character.AI trẻ vị thành niên ưa chuộng. Bản thân công ty miêu tả sản phẩm như "phương tiện hỗ trợ tinh thần", do chatbot được huấn luyện để truyền tải các thông điệp tích cực, khuyến khích người dùng.

Tuy vậy, theo đơn kiện, chatbot có lúc phát ra những thông điệp không phù hợp, thậm chí bạo lực.

"Các bị đơn và những công ty tương tự đang gây ra tổn thương nghiêm trọng nhưng che giấu bằng thiết kế sản phẩm, lập trình và phân phối", nội dung đơn kiện có đoạn.

Đơn kiện cho rằng các đoạn chat mà trẻ đọc được không phải là "ảo giác", từ ngữ mà giới nghiên cứu dùng để chỉ xu hướng chatbot chạy bằng AI tưởng tượng ra mọi thứ. "Đây là thủ đoạn lợi dụng và xâm hại, cô lập chủ động và khuyến khích được thiết kế với mục kích động giận giữ và bạo lực, đồng thời đã đạt được mục đích đó", nội dung đơn kiện viết.

Theo đơn kiện, thiếu niên 17 tuổi đã có hành vi tự làm hại bản thân sau khi được chatbot khuyến khích. Chatbot cũng nói với cậu bé rằng "gia đình không yêu thương" cậu.

Character.AI cho biết người dùng chỉnh sửa nội dung phản hồi của chatbot, nhưng nội dung đó sẽ bị gắn nhãn "đã chỉnh sửa". Luật sư của bên khởi kiện cho biết toàn bộ nội dung gây hại của chatbot không có nhãn "đã chỉnh sửa".

Phát ngôn viên của Character.AI không bình luận về đơn kiện, nhưng khẳng định công ty có quy trình giám sát nội dung mà chatbot có thể hoặc không thể gửi tới người dùng tuổi vị thành niên.

Hoài An (SHTT)