Вам нужно защитить данные клиентов страховой компании хоть потоп

Защитить данные клиентов страховой компании «Хоть потоп»

Задача:

Защитить данные клиентов страховой компании «Хоть потоп». Разработать такой метод преобразования данных, чтобы по ним было сложно восстановить персональную информацию. Обосновать корректность его работы.

Цель:

Защитить данные, чтобы при преобразовании качество моделей машинного обучения не ухудшилось. Подбирать наилучшую модель не требуется.

Инструменты:

Pandas
Seaborn
numpy
sklearn
машинное обучение

Краткое описание проведённой работы:

Для защиты данных клиентов страховой компании разработаны методы преобразования данных, чтобы по ним было сложно восстановить персональную информацию.
Была проведена предобработка данных. Произведена проверка работы алгоритма модели линейной регрессии при перемножении на обратимую матрицу. Произведена проверка влияния перемножения на обратимую матрицу, а затем перемножения на обратную матрицу обратимой. Произведена проверка метрики R2 Линейной регрессии на идентичных данных — сначала исходных, затем умноженных на обратимую матрицу, размер которой равен числу признаков. Метрики полностью совпали. Можно сделать вывод, что алгоритм работает.

Данные и выводы

В результате нашей работы был разработан алгоритм, где данные были преобразованы методом умножения признаков исходных данных на обратимую матрицу P. Результатом такого преобразования явилась новая (изменённая) матрица признаков, которая справилась с основными задачами по шифровке данных и при сравнении качества предсказаний с моделью из Scikit−learn, сохранила значения R2 и MSE неизменными.

Таким образом мы выполнили требования поставелнной задачи и компания «Хоть потоп» может спать спокойно!

Если проект не открывается, его можно просмотреть по ссылке: Protect_customer_data_company_Though_the_Flood

Projects

Яндекс.Практикум

Специалист по Data Science

License

MIT

With ❤️ by Anastasia Kim (@gingermuffin)

Data Science

В этом репозитории собраны мои проекты из курса «Специалист по Data Science» Яндекс.Практикума

This repository contains my projects from the «Data Science Specialist» training program by Yandex.Praktikum

Содержание: / Content:

• Модуль 01 / Module 01
  • Предобработка данных / Data Processing — Project_01
  • Исследовательский анализ данных / Exploratory data analysis — Project_02
  • Статистический анализ данных / Statistical analysis of data — Project_03
  • Сборный проект / Common project — Project_04
• Модуль 02 / Module 02
  • Введение в машинное обучение / Introduction to machine learning — Project_05
  • Обучение с учителем / Supervised learning — Project_06
  • Машинное обучение в бизнесе / Machine learning in business — Project_07
  • Сборный проект / Common project — Project_08
• Модуль 03 / Module 03
  • Линейная алгебра / Linear algebra — Project_09
  • Численные методы (градиентный бустинг) / Numerical analysis (gradient boosting) — Project_10
  • Временные ряды / Time series — Project_11
  • Машинное обучение для текстов / Machine learning for texts — Project_12
• Модуль 04 / Module 04
  • Извлечение данных / Data retrieval — Project_13
  • Компьютерное зрение / Computer vision — Project_14
  • Рекомендации и обучение без учителя / Unsupervised learning
• Выпускной проект / Final project — Project_final

Project_01

Предобработка данных

Заказчик — кредитный отдел банка. Нужно разобраться, влияет ли семейное положение и количество детей клиента на факт погашения кредита в срок. Входные данные от банка — статистика о платёжеспособности клиентов.
Результаты исследования будут учтены при построении модели кредитного скоринга — специальной системы, которая оценивает способность потенциального заёмщика вернуть кредит банку.

Data Processing

The customer is the bank’s credit department. It is necessary to find out, whether family status and number of children of the client influence on the fact of loan repayment in due time. Input data from the bank — statistics on clients’ solvency.
The results of the research will be taken into account when building a credit scoring model — a special system that evaluates the ability of a potential borrower to repay a loan to the bank.

Project_02

Исследовательский анализ данных

В вашем распоряжении данные сервиса Яндекс.Недвижимость — архив объявлений о продаже квартир в Санкт-Петербурге и соседних населённых пунктов за несколько лет. Нужно научиться определять рыночную стоимость объектов недвижимости. Ваша задача — установить параметры. Это позволит построить автоматизированную систему: она отследит аномалии и мошенническую деятельность.

Exploratory data analysis

At your disposal is the data of the service Yandex. Apartments for sale in Saint-Petersburg and neighboring settlements for several years. You need to learn how to determine the market value of real estate. Your task is to set the parameters. This will build an automated system: it will track anomalies and fraudulent activity.

Project_03

Статистический анализ данных

Вы аналитик компании «Мегалайн» — федерального оператора сотовой связи. Клиентам предлагают два тарифных плана: «Смарт» и «Ультра». Чтобы скорректировать рекламный бюджет, коммерческий департамент хочет понять, какой тариф приносит больше денег.

Statistical analysis of data

You are an analyst of Megaline, a federal mobile operator. The clients are offered two tariff plans: «Smart» and «Ultra». To adjust the advertising budget, the commercial department wants to understand which tariff brings more money.

Project_04

Сборный проект

Вы работаете в интернет-магазине «Стримчик», который продаёт по всему миру компьютерные игры. Из открытых источников доступны исторические данные о продажах игр, оценки пользователей и экспертов, жанры и платформы (например, Xbox или PlayStation). Вам нужно выявить определяющие успешность игры закономерности. Это позволит сделать ставку на потенциально популярный продукт и спланировать рекламные кампании.

Common project

You work in the online store » Streamchik «, which sells around the world computer games. Historical data on game sales, user and expert evaluations, genres and platforms (e.g. Xbox or PlayStation) are available from open sources. You need to identify patterns that determine the success of the game. This will allow you to bet on a potentially popular product and plan advertising campaigns.

Project_05

Введение в машинное обучение

Оператор мобильной связи «Мегалайн» выяснил: многие клиенты пользуются архивными тарифами. Они хотят построить систему, способную проанализировать поведение клиентов и предложить пользователям новый тариф: «Смарт» или «Ультра».

Introduction to machine learning

Mobile operator «Megaline» found out: many customers use archive tariffs. They want to build a system that can analyze customer behavior and offer users a new tariff: «Smart» or «Ultra».

Project_06

Обучение с учителем

Из «Бета-Банка» стали уходить клиенты. Каждый месяц. Немного, но заметно. Банковские маркетологи посчитали: сохранять текущих клиентов дешевле, чем привлекать новых. Нужно спрогнозировать, уйдёт клиент из банка в ближайшее время или нет. Вам предоставлены исторические данные о поведении клиентов и расторжении договоров с банком.

Supervised learning

«Beta-Bank» started leaving clients. Every month. A little, but noticeable. Banking marketers thought: it is cheaper to save current customers than to attract new ones. It is necessary to predict whether the client will leave the bank in the near future or not. You are provided with historical data on the behavior of clients and the termination of contracts with the bank.

Project_07

Машинное обучение в бизнесе

Допустим, вы работаете в добывающей компании «ГлавРосГосНефть». Нужно решить, где бурить новую скважину. Вам предоставлены пробы нефти в трёх регионах: в каждом — 100 000 месторождений, где измерили качество нефти и объём её запасов. Постройте модель машинного обучения, которая поможет определить регион, где добыча принесёт наибольшую прибыль.

Machine learning in business

Suppose you work at GlavRosGosNeft production company. We need to decide where to drill the new well. You have been given samples of oil in three regions: in each region there are 100,000 oil fields where the quality of oil and the volume of its reserves were measured. Build a model of machine training that will help you determine the region where production will bring the most profit.

Project_08

Сборный проект

Подготовьте прототип модели машинного обучения для «Цифры». Компания разрабатывает решения для эффективной работы промышленных предприятий. Модель должна предсказать коэффициент восстановления золота из золотосодержащей руды. В вашем распоряжении данные с параметрами добычи и очистки. Модель поможет оптимизировать производство, чтобы не запускать предприятие с убыточными характеристиками

Common project

Prepare a prototype machine learning model for «Numbers». The company develops solutions for efficient operation of industrial enterprises. The model must predict the recovery rate of gold from gold ore. Data with mining and cleaning parameters are at your disposal. The model will help to optimize production so as not to run a plant with loss-making characteristics.

Project_09

Линейная алгебра

Вам нужно защитить данные клиентов страховой компании «Хоть потоп». Разработайте такой метод преобразования данных, чтобы по ним было сложно восстановить персональную информацию.

Linear algebra

You need to protect your customer data from «We’re not afraid of the flood» insurance company. Develop a method to convert data so that it is difficult to recover personal information.

Project_10

Численные методы

Сервис по продаже автомобилей с пробегом «Не бит, не крашен» разрабатывает приложение для привлечения новых клиентов. В нём можно быстро узнать рыночную стоимость своего автомобиля. В вашем распоряжении исторические данные: технические характеристики, комплектации и цены автомобилей. Вам нужно построить модель для определения стоимости.

Numerical analysis

Car sales service with mileage «Not broken, not painted» develops an application to attract new customers. In it you can quickly find out the market value of your car. Historical data: technical specifications, equipment and prices of cars are at your disposal. You need to build a model to determine the price.

Project_11

Временные ряды

Компания «Чётенькое такси» собрала исторические данные о заказах такси в аэропортах. Чтобы привлекать больше водителей в период пиковой нагрузки, нужно спрогнозировать количество заказов такси на следующий час. Постройте модель для такого предсказания.

Time series

«Cool Taxi» Company has collected historical data on taxi orders at airports. To attract more drivers during the peak load, you need to predict the number of taxi orders for the next hour. Build a model for such a prediction.

Project_12

Машинное обучение для текстов

Интернет-магазин «Викишоп» запускает новый сервис. Теперь пользователи могут редактировать и дополнять описания товаров, как в вики-сообществах. То есть клиенты предлагают свои правки и комментируют изменения других. Магазину нужен инструмент, который будет искать токсичные комментарии и отправлять их на модерацию.

Обучите модель классифицировать комментарии на позитивные и негативные. В вашем распоряжении набор данных с разметкой о токсичности правок.

Machine learning for texts

Online store «Wikishop» launches a new service. Now users can edit and supplement product descriptions, as on wikis. That is, customers offer their edits and comment on changes made by others. The store needs a tool that will search for toxic comments and send them to moderation.

Teach the model to categorize comments into positive and negative. At your disposal is a data set with markings on the toxicity of edits.

Project_13

Извлечение данных

Вы аналитик российской авиакомпании F9, выполняющей внутренние пассажирские перевозки. Важно понять предпочтения пользователей, покупающих билеты на разные направления. Вам предстоит изучить базу данных и проанализировать спрос пассажиров на рейсы в города, где проходят крупнейшие культурные фестивали.

Data retrieval

You are an analyst of the Russian airline F9, which performs domestic passenger transportation. It is important to understand the preferences of users who buy tickets to different destinations. You will have to study the database and analyze passenger demand for flights to cities where major cultural festivals are held.

Project_14

Компьютерное зрение

Сетевой супермаркет «Хлеб-Соль» внедряет систему компьютерного зрения для обработки фотографий покупателей. Фотофиксация в прикассовой зоне поможет определять возраст клиентов, чтобы:

• Анализировать покупки и предлагать товары, которые могут заинтересовать покупателей этой возрастной группы;
• Контролировать добросовестность кассиров при продаже алкоголя.

Computer vision

Network supermarket «Bread and salt» introduces a computer vision system for processing photos of customers. Photofixing in the checkout area will help determine the age of customers to:

• Analyze purchases and offer products that may interest customers of this age group;
• Monitor the integrity of cashiers when selling alcohol.

Project_final

Выпускной проект

Чтобы оптимизировать производственные расходы, металлургический комбинат ООО «Так закаляем сталь» решил уменьшить потребление электроэнергии на этапе обработки стали. Вам предстоит построить модель, которая предскажет температуру стали.

Final project

In order to optimize production costs, «That’s how we temper steel» metallurgical plant decided to reduce electricity consumption at the steel processing stage. You have to build a model that predicts the temperature of steel.