Method Article
* Эти авторы внесли равный вклад
В этом исследовании оцениваются прогностические системы у пациентов с колоректальным кольцевым раком с использованием моделей машинного обучения и конкурирующего анализа риска. Он определяет логарифмическую вероятность положительного результата в лимфатических узлах как превосходный предиктор по сравнению со стадией pN, демонстрируя высокую прогностическую эффективность и помогая принимать клинические решения с помощью надежных инструментов прогнозирования выживаемости.
Состояние лимфатических узлов является критическим прогностическим предиктором для пациентов; тем не менее, прогноз колоректальной кольцевой карциномы (SRCC) привлек ограниченное внимание. В этом исследовании изучается прогностическая прогностическая способность логарифмических шансов положительных лимфатических узлов (LODDS), соотношения лимфатических узлов (LNR) и стадирования pN у пациентов с SRCC с использованием моделей машинного обучения (Random Forest, XGBoost и Neural Network) наряду с конкурирующими моделями риска. Соответствующие данные были извлечены из базы данных Surveillance, Epidemiology, and End Results (SEER). Для моделей машинного обучения были определены прогностические факторы для специфической для рака выживаемости (CSS) с помощью одномерного и многомерного регрессионного анализа Кокса с последующим применением трех методов машинного обучения — XGBoost, RF и NN — для определения оптимальной системы стадирования лимфатических узлов. В конкурирующей модели риска для выявления прогностических факторов были использованы одномерный и многомерный конкурирующие анализы риска, а также была построена номограмма для прогнозирования прогноза пациентов с SRCC. Для оценки характеристик модели использовалась область под кривой рабочих характеристик приемника (AUC-ROC) и калибровочные кривые. Всего в исследование было включено 2409 пациентов с SRCC. Для подтверждения эффективности модели была включена дополнительная когорта из 15 122 пациентов с колоректальным раком, за исключением случаев SRCC, для внешней валидации. Как модели машинного обучения, так и конкурирующая номограмма риска продемонстрировали высокую производительность в прогнозировании результатов выживания. По сравнению со стадией pN, системы стадирования LODDS продемонстрировали превосходные прогностические возможности. После оценки модели машинного обучения и конкурирующие модели рисков показали превосходную прогностическую производительность, характеризующуюся хорошей дискриминацией, калибровкой и интерпретируемостью. Наши результаты могут помочь в принятии клинических решений для пациентов.
Колоректальный рак (КРР) занимает третье место среди наиболее распространенных злокачественных опухолей в мире 1,2,3. Кольцевая карцинома (SRCC), редкий подтип КРР, составляет примерно 1% случаев и характеризуется обильным внутриклеточным муцином, вытесняющим ядро клетки 1,2,4. SRCC часто ассоциируется с более молодыми пациентами, имеет более высокую распространенность у женщин и имеет поздние стадии опухоли при постановке диагноза. По сравнению с колоректальной аденокарциномой, SRCC демонстрирует более слабую дифференцировку, более высокий риск отдаленного метастазирования и 5-летнюю выживаемость всего 12%-20%5,6. Разработка точной и эффективной прогностической модели для SRCC имеет решающее значение для оптимизации стратегий лечения и улучшения клинических результатов.
Данное исследование направлено на построение надежной прогностической модели для пациентов с синдромом SRCC с использованием передовых статистических подходов, включая машинное обучение (ML) и конкурирующие модели риска. Эти методологии могут учитывать сложные взаимосвязи в клинических данных, предлагая индивидуальную оценку рисков и превосходя традиционные методы по точности прогнозирования. Модели машинного обучения, такие как Random Forest, XGBoost и Neural Networks, превосходны в обработке многомерных данных и выявлении сложных закономерностей. Исследования показали, что модели ИИ эффективно прогнозируют результаты выживаемости при колоректальном раке, подчеркивая потенциал машинного обучения в клинических приложениях 7,8. Дополняя машинное обучение, конкурирующие модели риска учитывают несколько типов событий, таких как смертность от рака по сравнению с другими причинами смерти, для уточнения анализа выживаемости. В отличие от традиционных методов, таких как оценка Каплана-Мейера, конкурирующие модели риска точно оценивают предельную вероятность событий при наличии конкурирующих рисков, обеспечивая болееточную оценку выживаемости. Интеграция машинного обучения и конкурирующего анализа рисков повышает эффективность прогнозирования, предлагая мощную основу для персонализированных прогностических инструментов в SRCC 9,10,11.
Метастазирование в лимфатические узлы существенно влияет на прогноз и рецидив у пациентов с КРР. В то время как оценка N-стадии в классификации TNM имеет решающее значение, недостаточное обследование лимфатических узлов, о котором сообщалось в 48-63% случаев, может привести к недооценке заболевания. Чтобы решить эту проблему, были введены альтернативные подходы, такие как коэффициент лимфатических узлов (LNR) и логарифмические шансы положительных лимфатических узлов (LODDS). LNR, отношение положительных лимфатических узлов (PLN) к общему количеству лимфатических узлов (TLNs), меньше зависит от количества TLN и служит прогностическим фактором при КРР. LODDS, логарифмическое отношение PLN к отрицательным лимфатическим узлам (NLNs), показал превосходную прогностическую способность как при SRCC желудка, так и при колоректальном раке10,11. Машинное обучение все чаще применяется в онкологии, с моделями, улучшающими стратификацию риска и прогностическое прогнозирование различных видов рака, включая рак молочной железы, предстательной железы и легких 12,13,14. Тем не менее, его применение при колоректальном SRCC остается ограниченным.
Данное исследование направлено на преодоление этого разрыва путем интеграции LODDS с ML и конкурирующими моделями риска для создания комплексного прогностического инструмента. Оценивая прогностическую ценность LODDS и используя передовые методы прогнозирования, это исследование направлено на улучшение процесса принятия клинических решений и улучшение результатов для пациентов с SRCC.
В данном исследовании не говорится об этическом одобрении и согласии на участие. Данные, использованные в данном исследовании, были получены из баз данных. В исследование были включены пациенты с диагнозом колоректальная карцинома с 2004 по 2015 гг., а также другие виды колоректального рака. Критерии исключения включали пациентов со временем выживаемости менее одного месяца, пациентов с неполной клинико-патологической информацией, а также случаи, когда причина смерти была неясна или не указана.
1. Сбор данных
2. Разработка и верификация ML-моделей
3. Разработка и верификация конкурирующей модели риска
Характеристика пациентов
Это исследование было сосредоточено на пациентах с диагнозом колоректальный SRCC с использованием данных из базы данных SEER за период с 2004 по 2015 год. Критерии исключения включали пациентов со временем выживаемости менее одного месяца, пациентов с неполной клинико-патологической информацией, а также случаи, когда причина смерти была неясна или не указана. В общей сложности 2409 пациентов с колоректальным SRCC, которые соответствовали критериям включения, были случайным образом разделены на обучающую когорту (N = 1686) и валидационную когорту (N = 723). Демографические и клинические параметры когорт обучения и валидации были проанализированы с использованием программного обеспечения R, как показано в таблице 1. Среди всех включенных пациентов большинство были старше 60 лет, с одинаковым количеством пациентов мужского и женского пола. Большинство пациентов были белыми. Более половины пациентов (56%) состояли в браке. Большинство опухолей были классифицированы как III-IV (76%). У большинства пациентов (82%) размеры опухоли превышали 3,5 сантиметра, а большинство пациентов относились к группе LODDS1 (42%). Во всей когорте высокая доля пациентов (53%) получала химиотерапию. Первичные опухоли в основном располагались в правой толстой кишке (67%). После рандомизации не было существенных различий в исходных характеристиках между двумя группами статистически.
Идентификация прогностических клинических факторов, входящих в ML-модели
Сначала мы проверили значимые переменные для включения в модель машинного обучения с помощью регрессионного анализа Кокса. Результаты одномерной регрессии Кокса показали, что время выживаемости в значительной степени коррелировало с определенными клиническими переменными, включая пол, возраст, расу, семейное положение, стадию AJCC, стадию pT, стадию pN, стадию pM, размер опухоли, уровень CEA, классификацию LNR, классификацию LODDS, а также то, получал ли пациент лучевую терапию или химиотерапию (Таблица 2). Примечательно, что стадирование LNR, LODDS и pN продемонстрировали статистически значимые отношения рисков (HR), что указывает на то, что эти три системы стадирования LN связаны с прогнозом. Последующий многофакторный регрессионный анализ Кокса был проведен для дальнейшего определения связи между стадированием pN, LODDS, LNR и CSS у пациентов с SRCC. Результаты показали, что LODDS, LNR и pN статус значительно влияют на CSS у пациентов с SRCC (рис. 2).
Сравнение систем LN
Прогностические способности трех систем LN были схожими как в когорте обучения, валидации, так и во внешней валидации (образцы колоректального рака, отличные от кольцевой карциномы, которые были отобраны на этапе 1.4; Таблица 3). В обучающей когорте индексы C для LNR, LODDS и pN составили 0,309, 0,308 и 0,337 соответственно, в то время как в валидационной когорте индексы C составили 0,288, 0,279 и 0,319 соответственно. В когорте внешней валидации С-индексы для LNR, LODDS и pN составили 0,419, 0,420 и 0,424 соответственно. Кроме того, значения AIC для каждой системы в обучающей когорте составили 12667,56, 12670,57 и 12731,89, а в валидационной когорте — 4575,36, 4559,13 и 4613,20 соответственно. В когорте внешней валидации значения AIC для каждой системы были следующими: 106554,68 для LODDS, 106581,85 для LNR и 106915,45 для стадии pN. Эти результаты свидетельствуют о том, что различия в качестве дискриминации между тремя системами минимальны. Поэтому мы использовали методы машинного обучения — RF, XGBoost и NN — для дальнейшего определения оптимальной системы LN с точки зрения прогностических возможностей. Этот анализ включал переменные, которые были значимы в одномерной регрессии Кокса и, по крайней мере, одну многомерную модель (pN, LODDS или LNR) для построения моделей машинного обучения, включая pN, pT, pM, возраст, расу, классификацию LNR, классификацию LODDS, а также то, получал ли пациент лучевую терапию или химиотерапию.
Мы построили модели RF, XGBoost и NN с использованием обучающего набора данных. Значения важности для каждой переменной показаны на рисунке 3. В RF и XGBoost наибольшее значение продемонстрировал ЛНР, в то время как LODDS также продемонстрировал значительное значение. Тем не менее, в модели NN LODDS продемонстрировали лучшую прогностическую способность по сравнению с pN и LNR. Рассмотрев объединенные результаты трех подходов к машинному обучению, мы пришли к выводу, что система LODDS может быть лучшей системой для оценки статуса ЛУ у пациентов с SRCC.
Производительность моделей машинного обучения
Как показано в таблице 4 и на рисунке 4A-C, все три модели смогли эффективно прогнозировать прогноз, а AUC трех моделей варьировались от 0,777 до 0,851 в тестовом наборе данных (XGBoost: AUC = 0,820, 95% ДИ =0,789-0,851; РФ: AUC = 0,819, 95% ДИ = 0,788-0,850; NN: AUC = 0,809, 95% ДИ = 0,777-0,841). Модели XGBoost, RF и NN показали большую специфичность (0,82, 0,825, 0,815) и точность (0,762, 0,763, 0,757). Калибровочные кривые показаны на рисунке 5D-F.
Построение и валидация модели конкурентных рисков
Учитывая, что модели машинного обучения не учитывали влияние конкурирующих факторов риска, мы построили конкурирующую модель риска для дальнейшего выявления LN-системы, которая показала наилучшие результаты с точки зрения прогностических возможностей. Специфическая для рака выживаемость (CSS) представляет собой смерть от рака, в то время как общая выживаемость (OSS) учитывает смертность от других причин, выступая в качестве конкурирующих событий риска. Мы использовали одномерные и многомерные конкурирующие модели риска для анализа прогностических факторов для CSS в обучающей когорте. Одномерная конкурирующая модель риска показала, что прогностические факторы для CSS включали пол, возраст, расу, семейное положение, стадию AJCC, стадию TNM, размер опухоли, классификацию LNR, классификацию LODDS, уровень CEA, получал ли пациент лучевую терапию или химиотерапию, а также расположение первичной опухоли. Наконец, многофакторный конкурирующий анализ риска, стадия T, стадия N, стадия M, классификация LODDS и расположение первичной опухоли были идентифицированы как пять независимых прогностических маркеров для пациентов с колоректальным SRCC. Результаты одномерного и многомерного конкурирующего анализа риска представлены в таблице 5, а соответствующие кривые кумулятивной функции заболеваемости (CIF) для независимых факторов риска представлены на рисунке 5. Основываясь на пяти значимых переменных (стадия T, стадия N, стадия M, классификация LODDS и локализация первичной опухоли), мы разработали прогностическую номограмму (рис. 6A). Мы обнаружили, что по сравнению с pN, LODDS показал более высокий вес. Этот вывод согласуется с предыдущими результатами, предполагая, что система LODDS является лучшей системой для оценки статуса ЛУ у пациентов с SRCC.
Для оценки точности модели были построены калибровочные кривые (рис. 6B-D). Результаты показали, что модель показала хорошие результаты в прогнозировании общей выживаемости пациентов через 1, 3 и 5 лет. Подгонка кривых к линии 45° демонстрирует сильную согласованность модели. Результаты оценки ROC-кривой для номограммы (рис. 5E-G) показали, что площадь под кривой (AUC) для прогнозов через 1, 3 и 5 лет была больше 0,75. Эти результаты свидетельствуют о том, что кривые прогнозирования на 3 и 5 лет продемонстрировали значительные преимущества, указывающие на то, что номограмма имеет ценное клиническое применение и референсную ценность.
Рисунок 1: Блок-схема, представляющая процесс скрининга в базе данных SEER. В соответствии с нашими критериями включения и исключения мы успешно отобрали пациентов с колоректальным раком из базы данных SEER для последующей серии анализов на основе R. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Ассоциация стадий LNR, LODDS и pN с CSS в обучающей когорте. На этом рисунке показаны результаты многомерного регрессионного анализа Кокса для стадирования (A) LNR, (B) LODDS и (C) pN, оцениваемые наряду с другими независимыми прогностическими факторами. Анализ включает отношения рисков (ОР) и 95% доверительные интервалы (ДИ). Результаты показывают, что LNR, LODDS и pN статус являются значимыми прогностическими факторами для специфической для рака выживаемости у пациентов с SRCC, при этом все значения HR демонстрируют статистическую значимость (p < 0,05). *p < 0,05, **p < 0,01, ***p < 0,001. Полосы погрешностей представляют 95% ДИ. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Рисунок 3: Относительная важность переменных. (A) модель XGBoost, (B) радиочастотная модель и (C) модель NN. На этом рисунке показана относительная важность переменных. В моделях XGBoost и RF наибольшее значение имел LNR, а LODDS также продемонстрировал значительную значимость. И наоборот, в модели NN LODDS продемонстрировал превосходную прогностическую способность по сравнению с pN и LNR. На основании объединенных результатов трех моделей предполагается, что система LODDS является наиболее эффективной для оценки статуса ЛУ у пациентов с СРКК. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Рисунок 4: ROC-кривые и калибровочные кривые моделей машинного обучения, XGBoost и eXtreme градиентного бустинга. (A, D) обучающая когорта, (B, E) валидационная когорта и (C, F) внешняя валидационная когорта. Значение площади под кривой (AUC), близкое к 1, указывает на более высокую производительность классификации модели. Полосы погрешностей представляют 95% доверительный интервал для прогнозируемой вероятности фактического наступления события. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Рисунок 5: Кумулятивные оценки заболеваемости смертностью в соответствии с характеристиками пациента на колоректальном SRCC. КИФ подгрупп. Был применен тест Грея. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Рисунок 6: Разработка и валидация номограммы для CSS у пациентов с колоректальным SRCC. (A) Конкурирующая номограмма риска, прогнозирующая 1-летнюю, 3-летнюю и 5-летнюю вероятность выживаемости пациентов с колоректальным SRCC при раке. Калибровочные кривые номограмм для прогнозирования 1-, 3-, 5-летней выживаемости при раке в (B) обучающей когорте, (C) валидационной когорте и (D) внешней валидационной когорте. Кривые рабочих характеристик приемника для прогнозирования 1-, 3- и 5-летней выживаемости при раке в (E) обучающей когорте, (F) валидационной когорте и (G) внешней валидационной когорте. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Таблица 1: Клиническая характеристика пациентов с колоректальным SRCC. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Таблица 2: Одномерный регрессионный анализ CSS по Коксу в обучающей когорте. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Таблица 3: Прогностическая эффективность трех систем стадирования лимфатических узлов. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Таблица 4: Прогностическая эффективность моделей в когорте валидационной проверки и когортах внешней валидации. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Таблица 5: Одномерный и многомерный конкурирующий анализ риска смертности от колоректального SRCC при раке в обучающей когорте. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.
Колоректальный рак (КРР) SRCC является редким и особым подтипом колоректального рака с плохим прогнозом. Поэтому необходимо уделять больше внимания прогнозу пациентов с СРКК. Точное прогнозирование выживаемости пациентов с SRCC имеет решающее значение для определения их прогноза и принятия индивидуальных решений о лечении. В данном исследовании мы изучили взаимосвязь между клиническими особенностями и прогнозом у пациентов с SRCC и определили оптимальную систему стадирования LN для пациентов с SRCC из базы данных SEER. Насколько нам известно, это первое исследование, в котором была определена подходящая система LN для пациентов с колоректальным SRCC путем комплексного использования машинного обучения и конкурирующих методов анализа риска, а также построена номограмма для прогностического прогнозирования.
Количество метастатических ЛУ у пациентов с КРР является важным показателем прогноза и рецидива. Точное определение стадии ЛУ играет ключевую роль в определении стратегии лечения и прогноза для пациентов с СРКК. LNR и LODDS являются альтернативными методами, используемыми для оценки участия LN в GC, улучшения систем стадирования и предоставления более точной прогностической информации10,13. Мы выявили корреляцию между стадией LODDS, LNR и pN с CSS у пациентов с SRCC с использованием базы данных SEER. Прогностические способности этих трех систем LN (LNR, LODDS и pN) сравнивались с использованием AUC, AUC, BIC и индексов C. Однако различия между ними были минимальными. Поэтому мы использовали три метода машинного обучения — Xgboost, RF и NN — для выбора наиболее важных функций в качестве оптимальной LN-системы. Основываясь на объединенных результатах трех методов, мы определили LODDS как подходящую LN-систему.
Тем не менее, OSS является конкурирующим событием риска, которое влияет на прогноз пациентов с CSS. В процессе скрининга переменных на предмет включения в модель машинного обучения с использованием метода регрессии Кокса не учитывалось влияние OSS, что может привести к неточной оценке отношений рисков12. Таким образом, для дальнейшего определения оптимальной системы оценки ЛУ для пациентов с SRCC мы построили конкурирующую модель риска. Полученные результаты еще раз подтвердили, что система стадирования LODDS предоставляет более точную прогностическую информацию по сравнению с системой pN. За время наблюдения из 2409 пациентов 1339 (56%) умерли от ПСС, а 464 (19%) умерли от СОСС. Кроме того, мы также разработали конкурирующую диаграмму риска для прогнозирования смертности от рака через 1 год, 3 года и 5 лет. Мы считаем, что эта модель имеет существенное значение для клинических исследований с участием пациентов с колоректальным SRCC. Хотя Американский объединенный комитет по раку рекомендует систему TNM в качестве системы определения стадии для всех гистологических типов колоректального рака, она в основном используется для определения стадии колоректальной аденокарциномы. Стадия AJCC N ограничена TLN, в то время как LNR не учитывает влияниеNLN 13,14,15,16. Отчеты указывают на то, что LODDS меньше подвержен влиянию TLN и считает числоNLN 10,17. Scarinci et al. продемонстрировали, что LODDS предсказывает ОВ у пациентов с КРР лучше, чем стадирование LNR и pN, и предположили, что будущие исследования должны подтвердить его роль в различных подтипах КРР18. В этом исследовании мы обнаружили, что LODDS оказывает значительное прогностическое прогностическое влияние на ССС при колоректальном SRCC. Таким образом, LODDS может быть ценным инструментом для оценки диссекции лимфатических узлов и прогноза у пациентов с колоректальным SRCC. Несмотря на то, что оптимальный порог для LODDS еще не установлен, он зарекомендовал себя как самая надежная система этапирования LN. В связи с растущим вниманием к ЛОДДС, принято считать, что в обозримом будущем он получит широкое признание в клинических условиях.
Наше исследование показало, что расположение первичной опухоли является важным прогностическим фактором для ЦСС, со значительно худшим прогнозом для ректального SRCC, что согласуется с предыдущими исследованиями 12,19,20. Ректальный SRCC может иметь уникальные клинические, патологические и молекулярные характеристики21,22, требующие дальнейшего изучения. Диаграммы, полученные на основе прогностических моделей, являются ключевыми и эффективными инструментами для принятия клинических решений и консультирования пациентов. Насколько нам известно, это исследование является первым, в котором интегрированы модели ML и конкурирующие модели риска для изучения оптимальной системы стадирования LN для пациентов с SRCC. Мы разработали и валидировали три модели машинного обучения для прогнозирования прогноза пациентов с SRCC. В тестовом наборе данных модели XGBoost, RF и NN показали хорошую прогностическую прогностическую прогностическую эффективность на основе значений AUC и соответствующих метрик. Таким образом, ML-модели могут помочь в принятии решений о лечении пациентов с SRCC путем прогнозирования прогноза. Кроме того, мы создали конкурирующие диаграммы риска на основе моделей пропорционального риска для анализа прогностических факторов для колоректального SRCC и оценки роли LODDS в нем. Мы использовали индекс С и калибровочные кривые для оценки прогностической эффективности номограммы. На диаграмме отображались общие клинические переменные, такие как первичный очаг опухоли и группировка LODDS. Кроме того, построенная нами номограмма является эффективным методом прогнозирования CSS на 1, 3 и 5 лет у пациентов с колоректальным SRCC. Этот инструмент может помочь клиницистам в проведении точных, тщательных и своевременных прогностических оценок для каждого пациента с колоректальным SRCC, что позволяет им формулировать персонализированные планы лечения23.
Наконец, это исследование имеет несколько ограничений. Во-первых, пациенты в исследовании были диагностированы в период с 2004 по 2015 год, что привело к относительно короткому периоду наблюдения. Мы ожидаем, что более длительный период наблюдения поможет повысить точность прогнозов моделей. Во-вторых, используемый здесь дизайн исследования является ретроспективным и опирается на данные, полученные из базы данных SEER, что может привести к некоторым врожденным смещениям. Некоторая информация, такая как расположение метастатических LN, не регистрировалась. Наконец, большинство пациентов в этом исследовании были белыми, что потребовало более широких исследований с участием различных групп населения для подтверждения и усиления этих результатов.
Заключение
Исследование показало, что LODDS проявляют сильную прогностическую прогностическую способность к колоректальному SRCC. Основываясь на этом фундаменте, мы разработали номограмму на основе конкурирующей модели риска для прогнозирования общей выживаемости с интервалами 1 год, 3 года и 5 лет для пациентов с колоректальным SRCC. После серии оценок и внутренних валидаций номограмма продемонстрировала значительную клиническую применимость и ценность, послужив руководством для клиницистов при принятии решений о лечении. Кроме того, мы построили три модели машинного обучения. Эти подходы ML могут расширить прогностические прогностические возможности SRCC и помочь врачам понять, как ML может быть использовано для оптимизации стратегий лечения и последующего наблюдения.
Авторы не имеют финансовых конфликтов интересов, которые можно было бы раскрыть.
Никакой
Name | Company | Catalog Number | Comments |
SEER database | National Cancer institiute at NIH | ||
X-tile software | Yale school of medicine | ||
R-studio | Posit |
Запросить разрешение на использование текста или рисунков этого JoVE статьи
Запросить разрешениеThis article has been published
Video Coming Soon
Авторские права © 2025 MyJoVE Corporation. Все права защищены
Мы используем файлы cookie для улучшения качества работы на нашем веб-сайте.
Продолжая пользоваться нашим веб-сайтом или нажимая кнопку «Продолжить», вы соглашаетесь принять наши файлы cookie.