Хакеры против автопилотов

Хакеры против автопилотов: почему умный автомобиль опасен

Не секрет, что современные транспортные средства, оснащенные точками доступа Wi-Fi, полуавтономными бортовыми компьютерами и другой умной электроникой, стали отличной мишенью для хакеров. Не во всех странах еще пришли к пониманию этой проблемы. Но, например, в Великобритании власти озаботились правилами кибербезопасности для автомобильных производителей. События последних месяцев показали, что умные системы на автомобилях могут реально повысить уровень безопасности.

Например, в декабре 2016 года, когда произошел теракт в Берлине, погибло 12 человек, 48 получили ранения. Их могло бы быть больше, но унес жизни 12 человек, а еще 48 получили травмы. Жертв могло быть больше, но тягаче Scania во время активировалась система аварийного торможения.

Позже стало понятно, что как только электроника зафиксировала первый удар, она полностью остановила фуру. А вот и другая история, в 2015 году американские хакеры решили провести эксперимент и на камеру взломали Jeep Cherokee, который находился на приличном расстоянии от них. Воспользовавшись уязвимостью системы мультимедиа, хакеры взломали аудиосистему и через нее получили доступ к стеклоочистителям, рулевому управлению, трансмиссии и, что самое страшное, к тормозам. Жертвой хакеров стала и Tesla. Китайские взломщики в 2015 году, находясь на расстоянии в 20 км, смогли перехватить контроль над Model S. Взломав систему электромобиля, они смогли открывать и закрывать багажник на ходу, складывать зеркала, контролировать систему тормозов. Менее чем через 10 дней автопроизводитель выпустил обновление для ПО, где были ликвидированы прежние уязвимости.

Однако в 2016 году очередные китайские хакеры взломали Model X. Хакеры тогда рассказали, что чтобы взломать систему, пришлось устанавливать на электрокар новую прошивку.

Между тем, в Tesla регулярно привлекают сторонних программистов для поиска уязвимостей в системе. Однако не всем взломщикам удалось получить поощерение от производителя. Например, известный в США взломщик iPhone и PlayStastion, когда решил купить Model S, получил предупреждение, что подаст на него в суд, если он попробует украсть интеллектуальную собственность компании.

В Tesla решили, что известный хакер захочет применить чужие разработки в проекте своего автопилотируемого ТС. В России ранее помощник президента России Игорь Левитин заявил, что в 2027 году в нашей стране стоимость беспилотника не превысит 5 тысяч долларов. Однако эксперты не настроены так оптимистично.

Они отмечают, что со временем автопилотируемые ТС попадут на массовый рынок и станут доступными, но 10 лет – слишком маленький срок для этого. В Intel предположили, что на каждый 1,5 часа поездки система робомобиля будет генерировать 4 терабайта данных. Сюда попадают изображения с сенсоров, данные о трафике, персональная информация водителя. Для работы со всеми этими данными необходимы огромные мощности.

Также информации и системе, работающей с ней, необходим высокий уровень защиты. Масштаб атакуемой поверхности современного транспортного средства растет, и эта тенденция сохранится в ближайшие несколько десятилетий. Чем умнее и самостоятельнее бортовой компьютер, тем выше угроза атаки. Некоторые эксперты считают, что беспилотники в принципе не предусматривают внешнего управления, так что хакерам нечего будет взламывать.

Беспилотный транспорт и хакеры

Известный эксперт в области информационной безопасности, Симсон Гарфинкель, рассказал в одном из последних интервью о том, почему он считает беспилотный транспорт небезопасным. По его мнению, киберпреступники, или попросту хакеры, являются основной угрозой для этой инновационной отрасли.

Беспилотный транспорт: проблемы становления

По мнению Гарфинкеля, перед тем, как массово внедрять транспорт управляемый компьютерами в жизнь, производителям необходимо решить одну проблему, которая может оказаться гораздо более серьезной, чем безаварийное перемещение и точная навигация. Машины без водителей нужно защитить от кибератак, которые наверняка будут осуществляться на эти устройства. Компьютерные системы распознавания препятствий и аварийной безопасности, используемые в последних разработках беспилотных автомобилей, являются очень сложными и основаны на алгоритмах машинного обучения. Некоторые из этих закрытых систем не вполне понятны даже ведущим специалистам компаний-разработчиков, что и может стать причиной появления серьезных проблем.

Год назад, специалисты из Университета Южной Каролины и их коллеги из Чжэцзянского университета (Китай), при участии крупной охранной компании Qihoo 360, провели эксперимент, в ходе которого заглушили датчики электромобилей Tesla S, лишив их навигационную систему возможности распознавать объекты. Несмотря на такой опыт, большинство специалистов отрасли видят только радужные перспективы в развитии такого транспорта. Кристофер Харт, руководитель Национального комитета по вопросам безопасного движения, сообщил, что он смотрит в будущее беспилотников уверенно и ожидает от них высокой эффективности в деле снижения количества ДТП на дорогах США.

Почему беспилотный транспорт под угрозой?

Основную причину возникновения хакерских атак на системы беспилотных автомобилей, Симсон Гарфинкель видит в увеличении безработицы, связанным с тем, что новый вид транспорта оставит без куска хлеба множество людей. Для того, чтобы нанести ущерб такому транспортному средству, даже не обязательно быть асом программирования — простой лазер-указка, достаточной мощности, направленный на датчики автомобиля, способен дезориентировать транспортное средство и привести к аварии. Эту диверсию может выполнить кто угодно, начиная от скучающего подростка и заканчивая озлобленным на работодателя безработным таксистом из Uber.

Кстати, именно Uber является одной из первых компаний, которая всерьез озаботилась безопасностью перемещения беспилотных машин. Сара Абдул, представляющая техническую службу этого мегаперевозчика заявила, что в ее подчинении находится большая группа специалистов в области информационной и физической безопасности, которые разрабатывают различные способы защиты от хакерских и реальных атак и ищут новые методики предупреждения подобных преступлений. К сожалению, Абдул вынуждена констатировать тот факт, что современные технологии развиваются настолько быстро, что их самые передовые разработки устаревают, так и не успев принести пользу. В будущем, при массовых беспилотных перевозках пассажиров и грузов, могут появиться и новые угрозы, предсказать которые сейчас не могут даже самые опытные специалисты. Существует также внутренняя угроза, со стороны искусственного интеллекта, который рано или поздно начнет внедряться в беспилотных транспортных средствах.

Автопилот, Jeep и хакеры: пока это только предупреждение

О том, что современные автомобильные автопилоты не являются в полной мере безопасными, говорили уже давно. Дружественные хакеры во время испытаний не единожды взламывали подобные комплексы и перехватывали управление различными системами, но до аварий до сей поры дело не доходило. Jeep стал первым, кто столь серьезно пострадал от действий «злоумышленников». Они, кстати, были хакерами-исследователями, как, впрочем, не являлись сотрудниками компании, специально занимающиеся проблемой защиты будущей системы. Поэтому трудно предположить, что случится, если за дело возьмутся те, кто действительно желает навредить не автомобилю, так его пассажирам.

По мнению экспертов проблемы с защитой систем автоматического управления в будущем будут нарастать, как катящийся с горы снежный ком.

Впрочем, пока до массового внедрения беспилотных систем довольно далеко, тем не менее, эти сигналы говорят о том, что проблема защиты будет нарастать, как снежный ком. В первую очередь ею придется озаботиться премиальным производителям, вроде Audi, BMW и Mercedes, которые изо всех сил стараются опередить соперников и стать первым, кто внедрит полноценный автопилот в массовое производство.

По большому счету, все составляющие беспилотных систем уже готовы, причем, не только изобретены и испытаны, но и практически готовы к установке на серийные машины. Mercedes, к примеру, вот-вот представит новый Е-класс, который получит те же элементы автопилота, которыми сегодня оснащен и новый S-класс. Audi проводит трековые испытания RS7 с автопилотом, позволяющим автомобилю ездить по трассам с гоночной скоростью. В то же время, BMW 7-й серии начал реагировать не только на прикосновения, но и на жесты.

Новые технологии постепенно отстраняют человека от управления автомобилем, но не гарантируют безопасность.

Помимо этого, вся вышеперечисленная троица предлагает системы автоматического торможения с высокой степенью автоматизации, активный круиз-контроль… В общем, все то, что постепенно отстраняет человека от управления машиной.

Теперь же помимо сложностей, касающихся непосредственной разработки перед ними замаячила не менее серьезная цель — убедить потребителей в том, что те переплатят порядка 45 000 евро не за бесполезный и крайне уязвимый компьютер на колесах, а за полноценную и, главное, безопасную систему автономного управления. Представители большой немецкой тройки утверждают, что в их распоряжении имеется полный набор инструментов, позволяющий предупредить и помешать разного рода кибер-атакам.

Машины-беспилотники насторожили ФБР

Volvo испытает беспилотники на людях

И все же тесты говорят об обратном. В интервью Bloomberg исполнительный директор консалтинговой компании EY, занимающейся различными вопросами в области телематики и мобильности, Райнер Шольц выразил мнение, что современные авто настолько сложны, что о полной защите от хакерских атак тут и речи быть не может. В настоящее время разработчики, как правило, сосредоточены на изготовлении полностью работоспособного конечного продукта. Вопросы же безопасности при этом отходят на второй план: ими обычно занимаются уже после того, как основная работа завершена. По его словам, основная проблема заключается в том, что хакерам не нужен непосредственный доступ к машине, искать уязвимости систем они могут и на расстоянии, причем, делать это совершенно незаметно для владельца и пассажиров.

Через полтора десятка лет подавляющее большинство новых авто будет подключено к интернету. И каждая из них будет являться потенциальной мишенью для хакеров.

Впрочем, проблемы у автопроизводителем могут начать задолго до того, как дороги заполонят беспилотные авто. По оценкам экспертов компании Hitachi, к 2020 году более 90% новых авто в одной только Западной Европе будут подключены к интернету. В настоящий момент их доля не достигает и 30%. Не менее важным фактором является и ограниченное количество поставциков оборудования и софта.

Как утверждают эксперты, машины становятся наиболее уязвимыми в тот момент, когда активно обмениваются данными с глобальной сетью. Иными словами, чем больше функций и гаджетов функционируют в авто одновременно, тем больше у хакеров возможностей перехватить управление системами автомобиля.

Именно это, к слову, и случилось во время испытаний Jeep: пара хакеров-любителей взломала машину, внедрившись в нее через бортовую развлекательную систему. После все эти данные были отправлены Fiat Chrysler, дабы те могли изучить проблему и устранить уязвимость… на без малого полутора миллионах автомобилей.

В настоящее время наиболее уязвимыми местами автомобильного софта являются системы управления информационно-развлекательными комплексами.

Определенно, некоторые сложности этот случай принесет и представителям большой немецкой тройки. В BMW, Mercedes и Audi не раз заявляли, что их системы совершенно безопасны. В то же время, сотрудники Daimler говорили и о том, что обеспечить машине абсолютную защиту невозможно в принципе, тем не менее, все системы проходят как внутренние, так и внешние испытания, что должно минимизировать риски. Это подтверждают и факты. В частности, в этом году спецам BMW пришлось устранять брешь в системе, найденной экспертами ADAC. Те выяснили, что из-за уязвимости, злоумышленники могут вскрыть почти любой BMW, MINI или Rolls-Royce за считанные секунды. Уязвимость была устранена сменой прошивки, но речь в данном случае шла о 2,2 миллионах автомобилей, оборудованных системой BMW ConnectedDrive. И это, судя по всему, только начало.

Хакеры заставили автопилот «Теслы» выехать на «встречку»


Камеры main, narrow и fisheye («рыбий глаз») на автомобиле Tesla Model S 75. Они обеспечивают входные данные для нейросетей автопилота

Исследователи из компании Tencent Keen Security Lab опубликовали отчёт с описанием успешной атаки на прошивку автомобиля Tesla Model S 75, включая удалённое управление рулевым колесом и атаку с помощью «состязательных примеров» (adversarial example) на автопилот, принудив его выехать на полосу встречного движения. Tesla активно применяет нейросети для многих задач машинного зрения, чем и воспользовались злоумышленники, которые применили стандартные методы атаки на машинное зрение.

Для эксплойта исследователи использовали цепочку уязвимостей, которую впоследствии раскрыли Tesla. Автопроизводитель закрыл уязвимости патчем 2018.24.

Для атаки с удалённым управление рулевым колесом исследователям пришлось обойти несколько уровней защиты. Тем не менее, они смогли написать приложение, которое позволило подключить геймпад к мобильному устройству — и через него управлять автомобилем.


Дизайн системы для удалённого управления рулевым колесом Tesla Model S 75 с геймпада

Эта атака имеет некоторые ограничения: так, можно полностью захватить контроль над автомобилем, который запаркован или едет на высокой скорости на круиз-контроле. Но если автомобиль недавно перешёл с передачи R на D, то им можно дистанционно управлять только со скоростью не более 8 км/ч.

Ниже опубликован скрипт для получения рутового доступа к автопилоту. Скрипт работает на Model S 75 в версии прошивки 2018.6.1 и закрыт патчем 2018.24.

Автомобили Tesla используют различные нейронные сети для автопилота и других функций (таких как обнаружение дождя на ветровом стекле и включение дворников). Для примера, ниже нейросеть, которая используется для распознавания полосы по картинке с основной и дополнительной камер.

А вот архитектура нейросети для обработки картинки с панорамной камеры «рыбий глаз».

Исследователи использовали состязательные примеры для атаки на эти нейросети.

Самым впечатляющим стал взлом системы обнаружения полосы движения. Добавив к разметке полосы шум в качестве «состязательных примеров», исследователи смогли обмануть автопилот, чтобы он полностью сбился с полосы. Более того, хакеры с помощью небольших стикеров на земле провели атаку типа «фальшивая полоса», которая обманным путём заставила автопилот выехать на полосу встречного движения. Атака работала даже в хороших погодных условиях, при дневном свете без снега, пыли или других помех.

Хакеры показали, что если нарисовать на снимке с камеры три маленьких квадрата в определённых местах, то модуль машинного зрения с высокой степенью уверенности распознает его как линию разметки. Затем они воссоздали сценарий в физическом мире.

На схеме вверху показаны красные интерференционные стикеры на дорожном полотне, которые автопилот Tesla рассматривает как продолжение своей правой полосы, при этом игнорируя реальную левую полосу напротив перекрёстка. Когда он доберётся до середины перекрестка, то займёт настоящую левую полосу, словно это его правая полоса.

Функция распознавания полосы автопилота Tesla хорошо работает в разных погодных условиях, но всё равно уязвима для такой относительно простой атаки. Исследователи подчёркивают, что этот вид атаки прост в развёртывании, а материалы легко получить. Эксперименты доказали, что эта архитектура с использованием нейросетей имеет определённые риски для безопасности, поскольку распознавание встречной полосы движения — одна из необходимых функций для автономного вождения на дорогах общего пользования без разделительной зоны между полосами с разным направлением.

Состязательные примеры против машинного зрения

Состязательные (враждебные) примеры — очень популярный тип атаки на алгоритмы машинного обучения, особенно по обработке изображений. Нейросеть представляет собой «чёрный ящик», которая реагирует на специфические признаки, иногда непонятные для человеческой логики. Задача хакера — внести минимальные изменения в изображение, чтобы классификатор нейросети распознал это изображение как совершенно иной класс. Это делается путём максимизации активации, например, определённого фильтра свёрточной нейросети.

Особо ценится, если для человека изображение практически не меняется.


В работе от 2015 года исследователи из Google показали, что глубинные нейросети можно заставить отнести это изображение панды к гиббонам

Хакеры уже провели ряд успешных атак на беспилотные автомобили. В августе 2017 года специалисты из Калифорнийского университета в Беркли, Мичиганского университета и Университет штата Нью-Йорк в Стоуни-Брук разработали новый алгоритм атаки — надёжные физические пертурбации (Robust Physical Perturbations или RP2). Он очень эффективно сбивает зрение беспилотных автомобилей, роботов, мультикоптеров и любых других роботизированных систем, которые пытаются ориентироваться в окружающем пространстве.

Задачей исследователей было найти минимально возможную дельту, которая бы сбивала классификатор системы машинного обучения, который обучался на наборе данных с изображениями дорожных знаков LISA. Авторы самостоятельно сделали ряд фотографий дорожных знаков на улице в разных условиях (расстояние, углы, освещение) и дополнили набор данных для обучения.

После вычисления дельты была выявлена маска — такое место (или несколько мест) в изображении, которое наиболее надёжно вызывает пертурбации у системы машинного обучения (машинного зрения). Был проведён ряд экспериментов для проверки результатов. В основном, эксперименты проводились на стоп-сигнале (знак «STOP»), который исследователи несколькими безобидными манипуляциями превращали для машинного зрения в знак «SPEED LIMIT 45». Разработанную технику можно использовать на любых других знаках. Авторы затем испытали её на знаке поворота.


Набор экспериментальных изображений с художественными стикерами на разных расстояниях и под разными углами: (а) 5 футов, 0 градусов; (b) 5′ 15°; (с) 10′ 0°; (d) 10′ 30°; (e) 40′ 0°. Обман работает на любом расстоянии и под любым углом: вместо знака «Стоп» система машинного обучения видит знак «Ограничение скорости 45 миль»

Научный коллектив разработал два варианта атаки на системы машинного зрения, которые распознают дорожные знаки. Первая атака — маленькие незаметные изменения по всей площади знака. С помощью оптимизатора Adam им удалось минимизировать маску для создания отдельных таргетированных состязательных примеров, нацеленных на конкретные дорожные знаки. В этом случае можно обманывать системы машинного обучения минимальными изменениями картинки, а люди вообще ничего не заметят. Эффективность этого типа атаки проверяли на напечатанных постерах с небольшими изменениями (сначала исследователи убедились, что система машинного зрения успешно распознаёт постеры без изменений).

Второй тип атаки — камуфляжная. Здесь система имитирует или акты вандализма, или художественные граффити, чтобы система не мешала жизни окружающих людей. Таким образом, человек-водитель за рулём сразу увидит знак поворота налево или стоп-сигнал, а робот увидит совершенно другой знак. Эффективность этого типа атаки проверяли на настоящих дорожных знаках, которые заклеивали стикерами. Камуфляж-граффити состоял из стикеров в форме слов LOVE и HATE, а камуфляж типа абстрактного искусства — из четырёх стикеров прямоугольной формы чёрного и белого цветов.

Такие «глюки» нейросети кажутся забавными, но могут серьёзно осложнить распространение беспилотного транспорта. Судя по всему, перед состязательными примерами уязвимы все нейросети. Если хулиганство с такими граффити будет обманывать машинное зрение, то беспилотные автомобили могут вообще не допустить на дороги общего пользования.

Маск похвалил хакеров за отчет о проблемах автопилота Tesla

Гендиректор Tesla Илон Маск похвалил исследовательскую группу Tencent Keen Security Lab, работающую в области компьютерной безопасности, за отчет об уязвимостях автопилота выпущенных его компанией машин. «Солидная работа, как всегда», — написал бизнесмен в Twitter в ответ на публикацию специалистов.

Маск занимает 40-е место в рейтинге богатейших людей мира по версии Forbes. Его состояние журнал оценил в $22,3 млрд.

Какие уязвимости выявили хакеры

Tencent Keen Security Lab удалось обмануть систему Tesla, которая распознает полосы дороги. Для этого специалисты разместили на дороге несколько меток, которые автопилот распознавал и на их основе принимал ошибочные решения. Эта уязвимость могла привести в том числе к выезду машины на встречную полосу.

Кроме того, исследователи смогли получить доступ к рулевой системе через автопилот и управлять автомобилем с беспроводного геймпада. Причем перехватить контроль удавалось даже тогда, когда автопилот был выключен.

Также Tencent Keen Security Lab удалось обмануть программу, которая автоматически включает дворники при дожде.

Что ответила Tesla

Компания вступилась за свои разработки, отметив, что хакеры для того, чтобы обмануть автопилот, намеренно разместили на дороге ложные знаки и изменили разметку, что в реальной жизни вряд ли возможно. Tesla также подчеркнула, что в случае ошибки автопилота водитель обязан немедленно взять управление на себя или затормозить.

Уязвимость, при которой управление автомобилем можно перехватить геймпадом, была устранена обновлениями еще в прошлом году, заверяет Tesla. Компания ни разу не сталкивалась с подобными случаями, добавил производитель.

Чтобы обмануть систему автоматического включения дворников, исследователи Tencent Keen Security Lab разместили перед автомобилем экран, на котором показывалось спроектированное алгоритмом изображение, утверждает производитель. По мнению компании, это нельзя назвать уязвимостью, и водители вряд ли столкнутся с подобной ситуацией на дороге. Кроме того, разработчик автомобилей подчеркнул, что пока функция находится в стадии бета-версии.

Хакеры против автопилотов

Современные автомобили с точками доступа Wi-Fi, полуавтономными системами вождения и миллионами строк кода стали уязвимы для взлома и кражи данных. Правительство Великобритании озаботилось правилами кибербезопасности для автопроизводителей.

Умные системы безопасности способны помешать планам террористов. Теракт в декабре прошлого года на рождественской ярмарке в Берлине унес жизни 12 человек, а еще 48 получили травмы. Жертв могло быть еще больше, если бы на тягаче Scania не сработала система аварийного торможения. Экспертная группа заявила, что, зафиксировав первый удар, электроника остановила тяжелый грузовик.

В то же время перед киберпреступниками современные автомобили могут оказаться беззащитными. Два года назад американские хакеры ради эксперимента взломали на расстоянии Jeep Cherokee. Воспользовавшись уязвимостью мультимедийного комплекса Uconnect, они получили удаленный доступ к аудиосистеме, стеклоочистителям, рулевому управлению, трансмиссии и даже тормозам.

Tesla с ее обновлением прошивки по «воздуху» стала жертвой китайских взломщиков. В прошлом году хакеры из Tencent Keen Security с расстояния почти 20 км перехватили контроль над хэтчбеком Model S: открывали багажник на ходу, складывали зеркала, тормозили. Не прошло и 10 дней, как Tesla выпустила программное обновление, закрывшее бреши в безопасности. Впрочем, спустя год китайцы снова взломали электромобиль американской марки – кроссовер Tesla Model X. Хакеры признались, что на этот раз все оказалось труднее и на машину, чтобы получить доступ к CAN-шине и контроллеру, пришлось устанавливать новую прошивку.

Tesla, поощряя эксперименты со взломом, не ко всем хакерам относится одинаково хорошо. Джордж Хоц (Geohot), известный взломщик iPhone и PlayStastion, задумал приобрести Model S, но компания задержала доставку машины и предупредила хакера о том, что кража чужой интеллектуальной собственности преследуется по закону.

В Tesla заподозрили, что Geohot планирует использовать их разработки для своего собственного автопилота. Предосторожности выглядят надуманными, если учесть, что в стартап Хоца Comma.ai перешел бывший тесловский инженер Риккардо Бьязини. Хакер придумал внешнюю систему автономного вождения Comma One. Устройство устанавливалось на месте салонного зеркала и подключалось к диагностическому разъему.

Хоц утверждал, что его разработка является аналогом технологии Tesla, но при этом может быть установлена на любой автомобиль. Он планировал продавать Comma One всего за 999 долларов плюс 24 доллара ежемесячной абонентской платы – 58 500 и 1 405 руб. по курсу ЦБ. Крест на амбициозном проекте поставила Американская Национальная администрация по безопасности дорожного движения. Чиновники усомнились в безопасности сверхдешевого пилота и потребовали всю техническую документацию, угрожая штрафами. Хоц был вынужден отказаться от собственного автопилота, но выложил все исходники в интернет.

По мнению помощника президента России Игоря Левитина, через 10 лет беспилотный автомобиль в России будет стоить всего 3-5 тыс. долларов. Эксперты и игроки рынка не согласны с этой оптимистичной оценкой, но считают, что сложные электронные системы со временем становятся доступными и в массовом сегменте. Автопилотирование – не исключение. Достаточно вспомнить ProPilot 1.0, который устанавливается на кроссоверы Qashqai и X-Trail. Он умеет разгоняться, тормозить и подруливать в пределах одной полосы.

«Массовость технологии – один из главных факторов, подстегивающих злоумышленников к действию. Массовое использование, совмещенное с удешевлением конечной технологии, ведет к переходу на концепцию «простота в ущерб безопасности» – это справедливо для всех популярных технологических товаров или услуг», – отметил ведущий аналитик компании «СерчИнформ», российского разработчика средств информационной безопасности Алексей Парфентьев.

По мнению Сергея Вислова из компании Meta System, специализирующейся на страховой телематике, массовый автомобиль будет легче заполучить для отработки технологий по взлому его систем.

По оценкам компании Intel, за полтора часа поездки беспилотный автомобиль будет генерировать четыре терабайта данных. Это и картинка с сенсоров, и сведения о трафике, и персональные данные водителя. Для обработки, хранения и передачи всей этой информации потребуются огромные вычислительные мощности. Кроме того, все данные должны быть надежно защищены. В то же время ограничение доступа к ним снизит возможности подключенных транспортных средств. Такая позиция содержится в отчете консорциума Flourish, тестирующего беспилотные автомобили в Великобритании, страховой фирмы Axa, аналитической компании Atkins и юридической фирмы Burgess Salmon.

«Атакуемая поверхность современного автомобиля неотвратимо растет из года в год», – рассказал технический директор разработчика решений для кибербезопасности Trend Micro Михаил Кондрашин. По его словам, функция автономного управления только усугубит удручающую тенденцию. Той же точки зрения придерживается и ведущий аналитик отдела развития компании «Доктор Веб» Вячеслав Медведев.

«Автономные машины должны взаимодействовать между собой, определяя оптимальный график движения, маршруты, дистанцию, скорость в потоке. И вот наличие этой сети машин делает систему пригодной для атак», – отметил он.

Представитель российской компании Cognitive Technologies Юрий Минкин отметил, что их собственные беспилотники не предполагают возможности внешнего управления и, соответственно, хакерам просто нечего взламывать.

«Если же рассматривать модель, когда машины могут управляться централизованно, то такая угроза действительно может быть. В таком случае необходимо разрабатывать серьезный защитный механизм. Эти механизмы должны быть сертифицированы и также должны постоянно обновляться и защищаться, как, например, системы банков или электронных платежей», – считает Минкин.

Эксперты Политехнического университета Милана и компаний Linklayer Labs и Trend Micro отмечают, что латание уязвимостей не может полностью обезопасить автомобиль от взлома. Все дело в устаревшем протоколе CAN, разработанном еще в 1980-х. Он объединяет все устройства и датчики автомобиля в единую сеть и может быть уязвимым для хакерских атак. Кроме того, эксперты отмечают, что с развитием каршеринга физический доступ к машине может получить любой желающий и при желании взломать бортовую электронику.

«В современных электрокарах (в будущем, автопилотах) ничего не поменялось. Используется та же CAN-шина. Но раньше для доступа к ней нужно было попасть в автомобиль, а сейчас можно сделать это через канал, по которому автомобиль получает обновления. В свою очередь, появление новых автоматизированных фич – открытие дверей кнопкой, автоматическая парковка с использованием информации от кучи датчиков – дает больше возможности управления автомобилем при его взломе», – рассказал Autonews.ru руководитель регионального развития кибербезопасности группы компаний Softline Михаил Лисневский

Эксперты признают, что вмешаться в работу современных автопилотов достаточно легко и даже не обязательно быть хакером. «Оснащенные системой распознавания знаков автомобили можно легко обмануть с помощью простых наклеек, изготовленных на обычном принтере. Наклейки или граффити, нанесенные на дорожные знаки, могут заставить бортовую систему вождения принять решение, абсолютно противоположное верному», – рассказал генеральный директор «АвтоСпецЦентр Kia» Сергей Ворновский.

Подобный эксперимент поставили исследователи из нескольких американских университетов. С помощью наклеек они превратили знак «Стоп» в знак ограничения скорости.

В то же время разработка автономного автомобиля, который сможет обходиться совсем без водителя, оказалась непростой задачей, и пока производителям не до хакерских атак. В марте этого года после аварии Uber приостановила совместный с Volvo проект по испытанию беспилотных автомобилей. По информации New York Times, от полноценного беспилотника отказалась и компания Apple.

Несколько резонансных ДТП произошло с «автопилотируемыми» Tesla. Например, в августе в штате Миннесота в такой аварии пострадали пять человек. Wall Street Journal пишет, что автопилот компании так и не стал самоуправляемым, несмотря на заверения Илона Маска. Более того, из-за различных разногласий, в том числе связанных со слишком оптимистичными заявлениями Маска, компанию покинули десять инженеров и четыре топ-менеджера.

# видео | Хакеры взломали автопилот Tesla нестандартными методами

В 2016 году группа исследователей в области безопасности Keen Security Lab успешно взломала систему автомобиля Tesla Model S, после чего компания заметно улучшила ее надежность. В 2019 году хакеры решили выявить слабые стороны автопилота, причем не при помощи взлома программного обеспечения, а используя визуальные ловушки. Исследователям это действительно удалось, однако компания Tesla не оценила их старания и опубликовала несколько заявлений, уверяющих в хорошей защищенности автомобилей.

По мнению исследователей, обеспечивающую беспилотное движение систему Advanced Driver Assistance System можно обмануть даже при помощи визуальных ловушек. В первом эксперименте хакеры продемонстрировали, что стеклоочистители автомобиля можно активировать извне, при помощи специально созданного изображения на большом экране телевизора.

Открытие не оказало на представителей Tesla особого впечатления. Они обратили внимание, что телевизор должен быть в непосредственной близости к лобовому стеклу автомобиля — вряд ли кто-то будет таскать с собой огромный экран, чтобы просто включить очистку стекла. Более того, пользователи могут отключить автоматическую активацию «дворников», и включать их строго вручную. Поэтому обнаруженная уязвимость не считается опасной.

Вторая попытка обмана автопилота была осуществлена при помощи наклеенных на дорогу меток, которые способны сбить систему с толку. Нарисовав на размеченной дороге лишнюю точку, хакеры действительно изменили направление автомобиля — он перешел на встречную полосу движения.

У компании Tesla нашелся ответ и на это открытие. По словам представителей, владельцы автомобилей Tesla обязаны быть готовыми взяться за руль даже во время включенного автопилота. Поэтому, если хакерам и удастся обмануть автомобиль при помощи разметки, водитель сможет вернуться в нужную сторону или затормозить.

Согласны ли вы с мнением Tesla, или обнаруженные уязвимости все-таки опасны? Свое мнение пишите в комментариях, а обсудить надежность систем автоматического вождения можно в нашем Telegram-чате.

Хакеры против автопилотов

Проблема защиты беспилотных автомобилей от внешнего вмешательства становится все более обсуждаемой. Я убедилась в этом во время недавней поездки по крупнейшим европейским исследовательским центрам, включая Оксфорд и Кембридж. В том, что именно кибербезопасность является самой серьезной угрозой для применения беспилотных автомобилей, уверена значимая часть и профессионального сообщества и широкой аудитории. Например, по данным влиятельной международной организации Risk Insurance Management Society (RIMS), этого мнения придерживается более 55% представителей страховых компаний. В России доля опасающихся превращения беспилотников в оружие массового поражения заметно ниже, хотя также ощутима. Согласно опросу, проведенному недавно Международным центром роботизации МИСиС, примерно 14% молодых людей (до 35 лет) беспокоит проблема уязвимости беспилотных автомобилей. Еще 27% считают, что ею нужно будет серьезно заниматься в ближайшие пять-семь лет.

Чужой автопилот

Действительно, для опасений есть все основания. Хакеры с легкостью взламывают информационные ресурсы Пентагона, добывают конфиденциальные данные с госпорталов ведущих стран, атакуют социальные сети, блокируют деятельность социальных учреждений. Все чаще случаи вмешательства злоумышленников и во внутренние системы автомобилей. В прошлом году американское издание Wider, чтобы обратить внимание общества, наняло двух айтишников, которые в режиме онлайн смогли подключиться к электронике Jeep Cherokee и воздействовать на его внутренние системы: запуск двигателя, работу дворников, систем кондиционирования, управления рулевым колесом и музыкальной установкой.

Коснулась эта проблема и машин с функциями интеллектуальной системы помощи водителю (advanced driver assistant system, или ADAS). Не раз хакерам удавалось победить и защиту Tesla.

Столкнувшись с угрозой, производители и законодатели начали действовать сразу по нескольким фронтам. Разработчики совершенствуют системы безопасности беспилотных автомобилей и увеличивают штаты профильных департаментов. Так, в General Motors группа по вопросам кибербезопасности достигла 80 человек. Еще увереннее может чувствовать себя Google, где число специалистов, борющихся с хакерами, спамерами и шпионами, превышает 600 человек.

Автопроизводители и IT-компании стали привлекать к созданию систем кибербезопасности специалистов из смежных областей, имеющих опыт борьбы со злоумышленниками. Например, мы в Cognitive Technologies для решения этой задачи используем собственный опыт разработок контура безопасности электронных торговых площадок. Через эти ресурсы ежедневно проходят триллионы рублей, у участников торгов совершенно разные интересы, и неудивительно, что такие площадки регулярно подвергаются мощнейшим DDoS-атакам и иным формам воздействия.

Еще одним способом защиты от хакеров, как ни удивительно, стало сотрудничество с ними и даже прием на работу. В январе 2016 года с подобным предложением к хакерам обратилась General Motors, которая инициировала специальную программу GM Security Vulnerability Disclosure Program. Сотрудничая с хакерами, компания может получать информацию о возможных угрозах и потенциальных методах взлома. Аналогичную инициативу разрабатывают сегодня Tesla, Fiat и другие компании. А в прошлом году специалистов, взломавших внедорожник Cherokee, приняла к себе на работу Uber.

На защиту от хакеров встают и законодатели. Недавно сенат штата Мичиган предложил законопроект, предполагающий ввести тюремное заключение за вмешательство во внутренние системы беспилотных автомобилей. А Министерство спорта Германии предложило законопроект, обязывающий производителей беспилотников устанавливать в них бортовые самописцы, аналогичные «черным ящикам» в авиации, что позволит с высокой точностью определять источники внешней атаки.

Союз против хакеров

Понимая, что эту задачу необходимо решать сообща, ведущие мировые автопроизводители, технологические компании и госструктуры ведут переговоры по созданию структуры для совместного блокирования хакерских атак. Создаваемая сегодня группа насчитывает 15 автопроизводителей, таких как General Motors Co., Ford Motor Co., Toyota Motor Corp. и Honda Motor Co., а также ряд поставщиков ПО для автомобилей. Новая организация уже заручилась поддержкой американского государства в лице Национального управления безопасностью движения на трассах (NHTSA). Обсуждается участие в ее работе и Google. Объединение позволит оперативно обмениваться информацией как о возможных атаках с целью их предупреждения, так и об уже состоявшихся, чтобы определить их источники и проанализировать работу систем безопасности.

Не закрыты двери в эту организацию и для России. Во время моей поездки в Европу вопрос нашего участия поднимался не раз. Активно обсуждается и создание единых стандартов в сфере кибербезопасности беспилотников. В этот процесс вовлечены и Международная организация по стандартизации (ISO), и консорциум производителей автомобильной электроники AUTOSAR. Такой стандарт позволил бы автопроизводителям и поставщикам комплектующих «говорить на одном языке».

Стоит сказать, что весной этого года ФБР и NHTSA стали выдавать предупреждения наиболее уязвимым к хакерскому взлому моделям. Представители государства и автопроизводителей задумались о необходимости создания международного рейтинга автомобилей, наиболее подверженных хакерскому взлому.

Но нужно понимать, что технологии безопасности беспилотных автомобилей — это огромный и растущий рынок. И какой бы эффективной ни была система безопасности беспилотника, возможность ее взлома будет всегда. Всегда была и будет конкуренция возможностей хакеров и разработчиков. Важно, что в современном мире террористы используют самые дешевые средства воздействия. Как мы видели в Ницце, создать оружие массового поражения с участием малообразованного террориста проще и выгоднее, чем набрать команду хакеров и взломать совершенную систему безопасности автомобиля. И дорогостоящая техника и сенсоры беспилотных автомобилей стоимостью несколько тысяч долларов могут быть «сломаны» с помощью лазеров и устройств за $60. Такую ситуацию надо предвидеть. А предвидеть, как нас учат классики, значит управлять.

Как уберечь машину от атаки хакеров

Чем опасен взлом

Времена простых и понятных теплых ламповых аналоговых автомобилей, которые можно было легко прямо в пути отремонтировать с помощью ключа на 13, отвертки и такой-то матери, безвозвратно ушли. Сегодня даже самый простой и дешевый автомобиль содержит массу электроники — от кнопок управления стеклоподъемниками и датчиков давления в шинах до блока управления двигателем и встроенной мультимедийной системы с кнопками управления на руле.

Получив доступ к вашему автомобилю, преступник может сделать вот что:

  • Открыть двери и похитить ценные вещи из салона или багажника, не привлекая к себе внимания (ни разбивать стекла, ни взламывать замки не надо).
  • Завести и угнать автомобиль, заодно отключив системы спутникового слежения, чтобы замести следы.
  • Удаленно управлять машиной и спровоцировать ДТП из хулиганских побуждений (либо использовать ее для совершения терактов) и т.п.

Причина уязвимостей — технологии 1970-х в XXI веке

Основные принципы устройства бортовой электроники не изменялись еще с 1970-х годов, когда появились первые блоки управления двигателями на первых впрысковых моторах. Производители решили, что тянуть отдельную пару проводов от каждого датчика, от каждой кнопочки, от каждого исполнительного механизма к блоку управления — сложно и дорого, ведь тогда проводов потребовалось бы очень много.

Поэтому придумали так называемую CAN-шину (Controller Area Network) — здесь все модули «висят» на одной общей магистрали и каждый передает и принимает свои команды.

Принцип такой же, как у хаба в офисной «локалке»: конкретный компьютер получает пакет, который ему предназначен, игнорируя остальные, и не нужно связывать каждый с каждым.

Уязвимость, как несложно догадаться, заключается в том, что никакой проверки легитимности отправителя команды не существует. Поэтому, получив физический доступ к CAN-шине, довольно легко управлять всеми системами автомобиля.

Кроме того, создается безграничное количество возможностей для разного рода пакостей — на автомобилях с ESP, например, можно принудительно включить тормоза, а если есть электроусилитель руля, то машина может изменить направление движения по команде хакера.

И это мы говорим не про «робокары», в которых подобные функции заложены изначально, а про обычные автомобили, которыми управляет водитель!

Как получают доступ к «мозгам» автомобиля

Получить доступ к CAN-шине проще всего через диагностический OBD-разъем, расположенный, как правило, под приборной панелью («жучок» туда вставляется за секунду, достаточно просто отвлечь водителя так, как это делают барсеточники). Во многих машинах доступ к проводке можно получить за пару минут, не вскрывая ее, например, подключившись к проводам задних фонарей или датчиков парктроника.

Есть эксплойты, загружаемые через Bluetooth-модуль встроенной громкой связи, через диски с картами навигации или даже через флешку с MP3-файлами для аудиосистемы.

Распространение же «подключенных» автомобилей с LTE-модемами позволит и вовсе «достучаться» до машины через интернет: прошлым летом журналист Wired добровольно предоставил свой Jeep Cherokee со штатной системой UConnect для эксперимента хакерам, которые без всяких «жучков» плавно остановили его на автомагистрали, а потом аккуратненько завели в кювет, заперли двери и включили по радио какую-то отвратительную попсу на полную громкость.

После этого компания Chrysler отозвала почти полтора миллиона проданных автомобилей для того, чтобы установить программные «заплатки».

К счастью, всем владельцам этих автомобилей не пришлось ехать в сервис и ждать, пока мастера покопаются в «мозгах». Вместо этого можно было получить по почте USB-флешку и самостоятельно установить обновления.

Как взламывают бесключевой доступ

Смысл до безобразия прост: система работает по принципу передачи случайного кода в ключ и генерации ключом ответа, который проверяется на правильность по определенному алгоритму. Так вот, если ответ по каким-то причинам не пришел, то он все равно считается правильным, и если через какое-то время злоумышленник передаст именно этот ответный код, то дверь откроется.

Практически этот метод реализуется размещением под машиной этого самого Rolljam: когда хозяин подходит к машине с ключом и пытается открыть дверь, девайс глушит ответ ключа таким образом, чтобы автомобиль его не получил, но сохраняет в своей памяти. Двери не открываются, и хозяин пытается открыть их еще раз.

В этот момент ключ генерирует новый код, но устройство сохраняет его, а автомобилю передает первый, двери открываются, хозяин уезжает. Теперь злоумышленник может подойти в любое время к машине, проследив, где она стоит, и, «скормив» ей второй ключ, который она считает валидным и ранее не использовавшимся, открыть двери.

Впрочем, навыки взлома автомобильных систем могут быть и полезны в борьбе с блокировками, которые устанавливают некоторые автопроизводители. Так, например, в новых автомобилях Volvo нельзя просто так взять и заменить какую-то деталь такой же с разборки: машина ее «не увидит» из-за программной блокировки. Хакеры же «прописывают» другую деталь, позволяя сэкономить и не покупать новую по ценам официальных дилеров.

Что делать, чтобы не взломали

  1. Если автомобиль позволяет устанавливать приложения, ни в коем случае не скачивать их из сомнительных источников и не пытаться получить бесплатно то, что стоит дорого (да, мы знаем, что приложения для авто пока недешевы). Даже карты для встроенной навигации лучше покупать у дилера.
  2. Не отдавать автомобиль для любых работ с электроникой в «гаражные» сервис-центры. Как правило, софт для работы у них пиратский, и в нем могут присутствовать «закладки», которые в итоге окажутся и в вашем автомобиле.
  3. После поездки даже в шиномонтаж или на мойку проверять, не вставили ли «жучок» в OBD-порт.

В остальном остается уповать на автопроизводителей и их доработки электронных систем в плане безопасности. А это, увы, у них не особенно в приоритете, раз такие простые «дырки» существуют до сих пор.

Что хакер может сделать с вашим автомобилем

Краткое разъяснение и подборка материалов от специалистов.

​О чём эта статья:​ ваш крутой автомобиль уязвим для хакерских атак. Прямо сейчас его можно угнать, и никакие ключи не помогут. Сейчас объясним, почему. И как это можно предотвратить.

Кому мало поверхностных знаний, в конце текста смотрите подборку аналитических отчетов и видеопруфов от экспертов.

Почему мы написали про это: новость о том, что Мюнхенский автомобильный клуб ADAC провел исследование, доказывающее, что 24 модели автомобилей от 19 производителей уязвимы для беспроводных атак.

Суть этих атак состоит в многократном усилении сигнала взаимодействия между автомобилем и брелком, который находится в доме, что заставляет бортовой компьютер автомобиля думать, что брелок находится в непосредственной близости от двери.

Какие машины 100% уязвимы

Вот список уязвимых моделей машин:

  • Audi A3, A4 and A6;
  • BMW’s 730d;
  • Citroen’s DS4 CrossBack;
  • Ford’s Galaxy and Eco-Sport;
  • Honda’s HR-V;
  • Hyundai’s Santa Fe CRDi;
  • KIA’s Optima;
  • Lexus’s RX 450h;
  • Mazda’s CX-5;
  • MINI’s Clubman;
  • Mitsubishi’s Outlander;
  • Nissan’s Qashqai and Leaf;
  • Opel’s Ampera;
  • Range Rover’s Evoque;
  • Renault’s Traffic;
  • Ssangyong’s Tivoli XDi;
  • Subaru’s Levorg;
  • Toyota’s RAV4;
  • Volkswagen’s Golf GTD and Touran 5T.

Представители ADAC утверждают, что это далеко не полный список.

Стоимость оборудования для такой атаки составляет всего 225 долларов. А всего несколько лет назад бюджет на проведение подобной операции составлял несколько тысяч. Исследователи не публикует подробностей о техническом устройстве этого прибора, лишь намекая на его простоту:

Любой второкурсник-радиотехник может собрать такой же, не обращаясь к справочной литературе.

Подобные новости последние несколько лет появляются очень часто. Тесты автомобилей на подверженность беспроводным атакам проводятся и в России:

На этом видео показано как за пару минут происходит угон автомобиля Toyota, оборудованного интеллектуальной системой доступа в автомобиль Keyless Go, c помощью ретранслятора «Длинная рука». Вот схема ее работы:

Имея определенную аппаратуру и людей, умеющих действовать по инструкции, можно за считанные секунды угнать многие модели автомобилей. Но это проблема чисто материального характера. Такие проишествия очень неприятны для владельца, но переживаемы.

А ведь уязвимости в электронике могут стать причиной нанесения непоправимого вреда здоровью и потери человеческой жизни.

Вот видео эксперимента, проведенного корреспондентом Forbes:

На нем два специалиста по ИБ подсоединяют специальное устройство к диагностическому порту автомобиля журналиста, он садится за руль и едет. По пути он замечает мелкие сюрпризы, которые устраивают ему «хакеры»: самопроизвольные повороты руля, торможение, воспроизведение звукового сигнала и т.д.

Это видео наглядно показывает — человека можно убить парой нажатий кнопок на клавиатуре.

Дженс Хинричсен CEO NXP высказался следующим образом о защищенности цифровой начинки автомобиля:

Обычно сети автомобилей — это как дом, в котором вы можете свободно перемещаться из одной комнаты в другую. Автопроизводители должны реализовать систему безопасности таким образом, чтобы каждая комната запиралась на ключ, а для спецкомнат были предусмотрены спецзамки. В спальне можно даже поставить сейф и сложить в него самые ценные вещи.

Что он имел в виду?

Современный автомобиль напичкан электроникой. Чтобы устройства от разных производителей могли взаимодействовать между собой в качестве стандарта для обмена данными был внедрен протокол CAN (Controller Area Network). Начиная с 2006 года его используют на всех автомобильных заводах. Он также применяется в «умных домах» и промышленной автоматике.

Если получить доступ к одному элементу сети CAN, то автоматически получаешь доступ ко всем остальным элементам. Именно поэтому Дженс Хинричсен сравнивает современные автомобильные сети с домом, комнаты в котором не запираются.

На картинке показано, что может делать злоумышленник, имеющий доступ к этой сети:

  • Включать и выключать фары;
  • Сигналить;
  • Управлять дворниками;
  • Открывать и закрывать окна/двери;
  • Разблокировать багажник;
  • Отправлять текстовые сообщения на приборную панель;
  • Управлять воспроизведением музыки;
  • Вращать руль;
  • Отключить навигацию;
  • Заблокировать тормоза;
  • Следить за местоположением автомобиля;
  • Подслушивать разговоры.

Разберемся, каким образом хакер может получить доступ к электронике автомобиля.

Прямой физический доступ

У современных автомобилей есть диагностический порт OBD (onBoard Debug). Подключившись к нему можно получить доступ ко всей CAN сети. Вот устройство стоимостью несколько десятков долларов, которое позволяет управлять автомобилем на расстоянии (фото из вышеупомянутого эксперимента Forbes):

А подключить такую штучку можно за минуту. С учетом обращения к Google с целью найти место нахождения разъема.

На видео показано, как машиной с подключенным ключом управляют смсками:

Бесконтактные атаки

К сожалению, получить доступ к электронике автомобиля можно и без проникновения внутрь салона. На схеме показаны дистанции, на которых определенные части автомобиля уязвимы для хакерских атак:

.

Если злоумышленник получит доступ к Bluetooth или Wi-Fi модулю, то весь автомобиль окажется в его власти. Как и положено в CAN сети.

Процесс взлома Wi-Fi модуля автомобиля ничем принципиально не отличается от процесса взлом любых других Wi-Fi модулей, о котором написаны сотни статей.

GPS-спуффинг

Еще одна опасность которая теоретически может подстерегать автомобилиста — фальшивые сигналы GPS. На этом видео эксперт объясняет, как происходит подделка сигналов спутников:

Устройства для имитации GPS находятся в свободной продаже, применяются для тестирования систем навигации и стоят довольно дорого:

Использование такой техники оправдано для сбития с курса яхты (такой эксперимент проводился в 2013 году) или вертолета. Впрочем, у спецов по ИБ есть более компактные и дешевые самодельные устройства.

На этом видео показано как с помощью GPS-спуффинга навигационную систему автомобиля, стоящего в гараже в Пекине, убеждают в том, что он находится в Тибете:

А для выведения из строя GPS-сигнализаций применяются простейшие «глушилки» стоимостью несколько тысяч рублей, которые не подделывают сигнал, а просто заглушают его:


Эти уже устройства нужны для защиты от «маячков» в случае слежки.

Что делать автовладельцу?

Есть три основные меры для защиты своего автомобиля:

  • Перенос/перепиновка/блокировка разъема OBD;
  • Своевременная установка всех обновлений прошивки от производителя;
  • Установка качественной противоугонной системы. Ее выбор — тема для отдельной статьи. Прежде всего, она должна мгновенно сообщать владельцу о потери сигналов GPS/сотовой связи.

В статье на Wired есть совет класть ключ на ночь в морозилку, чтобы сигнал от него не могли поймать жулики. Но не думаю, что на этот метод стоит возлагать большие надежды:-)

Что дополнительно почитать и посмотреть по теме

Хотите знать все технические подробности? Вот парочка объемных англоязычных докладов по теме, где детали взлома разложена по полочкам:

Текст об эксперименте 2013 года с участием корреспондента Forbes и специалистов по ИБ Charlie Miller и Chris Valasek.

Те же ребята в 2015 году с корреспондентом Wired:


Статья об эксперименте.

А вот они выступают с докладом на Defcon (международной конференции специалистов по ИБ) в 2015 году:

  • Твитнуть
  • Поделиться
  • Рассказать

Ирина Чернова

Рас*здяйка. Графоманка. Боюсь людей. Страдаю манией величия. Фото удалено модераторами, так как внешность безнадежно испорчена тяжелой жизнью.

Ссылка на основную публикацию
Для любых предложений по сайту: [email protected]