Идеи, предвосхитившие машинное обучение
Несмотря на то что сам термин "машиное обучение" (machine learning, ML) появился лишь в XX веке, идеи, лежащие в его основе, начали формироваться гораздо раньше. В XVII–XX веках математики разрабатывали концепции, которые позднее стали краеугольными камнями машинного обучения: теория вероятностей, статистика, комбинаторика и теория информации. В эти столетия активно развивались логика и математический анализ, закладывая фундамент будущих интеллектуальных машин.
Одним из мыслителей был английский математик и логик Джордж Буль (1815–1864), разработавший булеву алгебру — основу цифровой логики, без которой невозможно представить современные вычисления. Ее элементы бывают либо истинными, либо ложными, без промежуточных вариантов.
Переломным моментом стал вклад Алана Тьюринга (1912–1954), британского математика и логика, которого по праву считают одним из отцов машинного обучения.
В 1950 году в качестве результата многолетнего изучения он опубликовал статью "Вычислительные машины и разум", в которой предложил знаменитый тест Тьюринга — критерий, позволяющий определить, может ли машина мыслить. Он предположил, что машины смогут обучаться через процесс, аналогичный обучению ребенка. Эта идея оказала огромное влияние на развитие ИИ и машинного обучения.
1950–1960-е: первые эксперименты и оптимизм
В 1957 году американский психолог Фрэнк Розенблатт (1928–1971) создал первую обучаемую нейросеть — персептрон. Это была простейшая модель, способная распознавать образы и делать выводы на основе входных данных
В середине 50-х появились и другие подходы к автоматическому обучению. Ярким примером был проект IBM 704 — один из первых компьютеров, участвовавших в обучении программ. Исследователи того времени верили, что уже в ближайшие десятилетия машины достигнут уровня человеческого интеллекта.
В конце 1960-х стало ясно, что технология далека от идеала. Простые нейросети вроде персептрона не справлялись с задачами, требующими более сложной логики. В 1969 году американские ученые Марвин Мински (1927–2016) и Сеймур Пейпер (1928–2016) опубликовали книгу Perceptrons, в которой критически разобрали ограничения модели Розенблатта. Эта работа охладила интерес к нейросетям и искусственному интеллекту.
Первые практические применения машинного обучения
Сегодня ИИ управляет автомобилями и анализирует медицинские снимки, но в прошлом даже базовые функции считались прорывом. Одно из первых направлений практического применения — распознавание символов и рукописного текста. В 1960-х годах в США зародилась технология оптического распознавания символов (OCR) для автоматической обработки почтовых отправлений. Алгоритмы обучались распознавать рукописные цифры.
Аналогичные исследования шли в СССР, а в конце 1970-х ввели стандартизированную форму записи почтовых индексов — шестизначные цифры, написанные в специальных окошках с прямыми засечками, чтобы их можно было обрабатывать автоматически. Цифры должны были быть напечатаны или написаны от руки максимально четко и строго по шаблону, чтобы машины могли "считать" их при помощи простейших алгоритмов распознавания. Это был один из ранних примеров использования машинного обучения, или, точнее, механизмов шаблонного сопоставления, в СССР.
В медицине проводились эксперименты с системами поддержки принятия решений. Некоторые программы могли на основе симптомов и лабораторных данных предлагать вероятные диагнозы. Несмотря на скепсис врачей, такие системы показали потенциал и стали предшественниками современных ИИ-диагностов.
К процессу подключилась игровая индустрия: с 1980-х годов создавались обучающиеся игровые боты, которые совершенствовали свою стратегию по мере накопления опыта, особенно в настольных играх.
Разочарование и застой
Период с 1974 по 1980 год называют "первой зимой ИИ": финансирование проектов сократилось, а многие ученые переключились на более практичные и реализуемые задачи. Причины были очевидны — модели машинного обучения оказались слишком примитивными для сложных задач, а аппаратная база не позволяла экспериментировать в нужных масштабах.
Но развитие не остановилось полностью. Некоторые ученые продолжали исследования, пытаясь преодолеть существующие ограничения. Стали популярны подходы, основанные на символической логике и экспертных системах. Это были программы, в которых знания задавались вручную в виде правил и логических связей. Они не относились напрямую к обучающимся системам, но повлияли на дальнейшее развитие ИИ.
Именно в этот период начала формироваться идея о необходимости алгоритмов, которые могли бы сами извлекать закономерности из данных. Эта парадигма и станет центральной в следующем витке развития машинного обучения.
"Вторая зима" была с середины 1980-х до середины 1990-х годов, связанная на этот раз с разочарованием в экспертных системах и с появлением большого количества персональных компьютеров, которые требовали новых программ. Вопрос ИИ снова отошел на второй план.
Интерес 1980–1990-х и статистический подход
В 1990-х годах интерес к обучающимся алгоритмам начал возвращаться. Ключевым событием стало развитие метода обратного распространения ошибки (backpropagation), впервые описанного еще в 1974 году советским ученым Александром Галушкиным (1940–2016), — эффективного способа обучения многослойных нейронных сетей.
Backpropagation позволил моделям обучаться на сложных выборках и выявлять скрытые зависимости между данными. Ученые начали заново интересоваться нейросетями. Появились первые рабочие модели, которые могли решать задачи распознавания речи, рукописного текста, классификации изображений на базовом уровне.
Параллельно развивалось направление, которое окажет огромное влияние на всю индустрию, — статистическое машинное обучение. Исследователи начали применять методы статистики для построения предсказательных моделей. Среди наиболее значимых достижений — алгоритмы ближайших соседей, наивный байесовский классификатор, логистическая регрессия, деревья решений и их производные. Некоторые из них были описаны раньше и теперь стали активно применяться.
В это же время машинное обучение стало активно использоваться в прикладных задачах. Ярким примером стало распознавание символов на банковских чеках — задача, которую удавалось решать с высокой точностью. В 90-е сформировались первые полноценные научные школы и университетские курсы, посвященные ML.
2000–2010 годы: большие данные и новые возможности
Начало нового тысячелетия ознаменовалось резким скачком в возможностях машинного обучения. Основным катализатором стал рост вычислительной мощности: массовое распространение процессоров с поддержкой параллельных вычислений, появление кластеров, а позже — графических ускорителей (GPU), адаптированных под работу с матрицами и тензорами.
Но более важной причиной стала эпоха больших данных. Интернет, социальные сети, цифровые устройства стали генерировать колоссальные объемы информации. Возникла необходимость обрабатывать эти данные быстро и эффективно, что сделало машинное обучение как никогда востребованным.
В это время на первый план вышли алгоритмы ансамблирования: бэггинг, бустинг, случайные леса (Random Forest) и градиентный бустинг (Gradient Boosting Machines). Эти методы демонстрировали высокую точность при работе с разнородными данными и активно применялись в бизнесе, здравоохранении, маркетинге, финансах.
Важным этапом стало распространение подхода обучения с учителем (supervised learning) — алгоритм обучается на размеченных данных. Это позволило решать конкретные задачи вроде прогнозирования продаж, оценки кредитного риска, анализа поведения пользователей.
Начали развиваться неподконтрольные методы — кластеризация и понижение размерности, которые применялись в поисковых системах и системах рекомендаций.
2010 год — по настоящее время: глубокое обучение и стремительное развитие
Революционный скачок произошел в 2012 году, когда команда ученых из Университета Торонто (Канада) в составе Алекса Крижевского, Ильи Суцкевера и Джеффри Хинтона представила нейросеть AlexNet — модель глубокого обучения, победившую в конкурсе ImageNet с огромным отрывом от конкурентов. Событие стало прорывом и ознаменовало начало эры глубокого обучения (deep learning).
Нейросети стали стремительно развиваться и превосходить классические методы во многих задачах — от компьютерного зрения до генерации текста. Стали возможны проекты, которые раньше казались фантастикой:
- система AlphaGo от DeepMind победила чемпиона мира по игре в го;
- BERT и GPT продемонстрировали возможность машинной обработки и генерации естественного языка;
- DALLE, Stable Diffusion научили машины создавать изображения по текстовому описанию.
Расширился и инструментарий, появились открытые библиотеки и фреймворки (TensorFlow, PyTorch, Keras), которые сделали технологии доступными не только ученым, но и разработчикам по всему миру. Это ускорило внедрение ИИ в самые разные сферы — от медицины до сельского хозяйства.
Особое значение получили сверточные нейронные сети (CNN) — для анализа изображений, рекуррентные нейросети (RNN) и трансформеры — для работы с текстами и последовательностями. В настоящее время именно трансформеры, лежащие в основе моделей вроде ChatGPT, считаются одним из самых мощных инструментов машинного обучения.
Ключевые фигуры в истории машинного обучения
Хронология машинного обучения неразрывно связана с учеными, чьи идеи и исследования задали вектор развития целым поколениям технологий. В список наиболее влиятельных входят:
- Алан Тьюринг — один из первых, кто серьезно задумался о возможности создания обучающейся машины. Его работы не только заложили основы компьютерных наук, но и инициировали философские дискуссии о природе интеллекта.
- Артур Самуэль (1901–1990) — американский ученый, разработчик одной из первых программ, способных обучаться в процессе игры в шашки. Ему приписывают первое употребление термина machine learning в 1959 году.
- Джеффри Хинтон, Илья Суцкевер и Алекс Крижевский — первыми представили архитектуру глубокой сверточной нейронной сети.
- Дэвид Феруччи, руководитель группы исследователей, разработавшей суперкомпьютер Watson с вопросно-ответной системой. Она была названа в честь первого президента IBM Томаса Уотсона, могла понимать вопросы на естественном языке и искать ответы на них в базе данных.
- Эндрю Барто и Ричард Саттон разработали фундаментальные технологии. Они легли в основу современного ИИ, включая создание больших моделей логического мышления.
Развитие технологий в области машинного обучения и искусственного интеллекта продолжаются, поэтому список в дальнейшем дополнится.
Как развивалась терминология машинного обучения
Понятие "машинное обучение" мы сегодня воспринимаем как нечто привычное. Но, как и многие другие термины из этой области, оно появилось не сразу и не в привычном нам виде.
- Словосочетание artificial intelligence возникло в 1956 году на Дартмутской конференции. В течение нескольких десятилетий оно оставалось доминирующим, а машинное обучение рассматривалось как его подзадача. С конца 1990-х, особенно в 2010-х, исследования и разработки сосредоточились именно на обучении по данным и термин ML стал более конкретным и техническим.
- Термин machine learning ввел Артур Самуэль в 1959 году. Он использовал его для описания своей программы по обучению игры в шашки, подчеркивая отличие от традиционного программирования: система не получала инструкции напрямую, а выводила правила на основе опыта.
- Словосочетание "нейронная сеть" пришло из биологии. Первые модели, как персептрон, были попыткой воссоздать принципы работы мозга. Позже появились термины "многослойный персептрон" (MLP) и "обратное распространение ошибки" (backpropagation) — методы, которые долгое время были под запретом из-за сложности вычислений, но вернулись в 80–90-х благодаря вычислительным мощностям.
- Deep learning, или "глубокое обучение", как термин закрепился в начале 2010-х годов, когда появились модели с большим числом слоев. Хотя подобные структуры существовали и раньше, они не показывали впечатляющих результатов. С 2012 года, после победы AlexNet, термин стал ассоциироваться с самым передовым направлением в ИИ.
Многие из этих слов используются обывателями иначе, чем специалистами: в медиа "ИИ" нередко означает любую форму автоматизации, в то время как в техническом контексте это куда более узкий и формализованный класс задач.
Междисциплинарные связи: от нейрофизиологии до экономики
Развитие машинного обучения шло на стыке разных наук:
- Математика и статистика заложили основы моделирования, обучения и оценки точности предсказаний.
- Нейрофизиология вдохновила создателей нейросетей, стремившихся воспроизвести работу мозга.
- Философия поставила вопрос, можно ли считать машину разумной.
- Экономика и социология предложили практические задачи — прогнозы, сегментацию потребителей, выявление аномалий.
- Лингвистика дала толчок обработке естественного языка — одному из самых быстрорастущих направлений ML.
- Физика и инженерия сыграли ключевую роль в создании аппаратного обеспечения и ускорителей обучения.
Развитие ML продолжается в новых формах — самообучающиеся агенты, модели с открытым исходным кодом, low-code/autoML-платформы, edge-обработка.
Хронология машинного обучения, как и вся история науки, — это поиск, ошибки, прорывы и непрерывное движение вперед. От идей XIX века до моделей XXI века, от ручных вычислений до миллиардов параметров, от теории до десятков или сотен приложений в кармане у каждого. Технология уже изменила наш мир и продолжает это делать.
Комментарии