В России создан чат-бот для индивидуального подбора терапии пациентам с психическими расстройствами
Бот будет помогать врачам подбирать персонифицированную терапию для пациентов.
- 2 мин
- 50
В Пенсильвании подан судебный иск против создателей Character.AI: чат-бот по имени «Эмили» открыто представлялся врачом-психиатром, заявил, что имеет семилетний стаж, диплом Имперского колледжа Лондона, а также предоставил поддельный номер медицинской лицензии — PS306189 — который не соответствует ни одной действующей лицензии в штате.
Следователь под видом пациента описал такие симптомы, как постоянная грусть, чувство пустоты, усталость и потеря мотивации. Чат-бот предположил, что у него депрессия и заявил, что имеет полномочия назначать лечение. При этом персонаж набрал более 45 000 консультаций с реальными людьми.
Это первый известный случай, где к ИИ применили закон о медицинской практике. Теперь Совет по медицине Пенсильвании требует запретить деятельность компании Character Technologies, Inc на территории штата.
Компанию уже проверяют генпрокуроры 44 штатов, FTC и суды за пропаганду опасного поведения среди подростков.
Инцидент имеет серьезные последствия для разработчиков и маркетологов в сфере HealthTech: системы LLM склонны к «галлюцинациям» — выдумыванию фактов, что критично в сфере медицины и обязывает внедрять защитные механизмы, блокирующие выдачу персонажами ложных квалификаций.