Хала Нельсон - Базовая математика для искусственного интеллекта [2 книги] (2023, 2024) бесплатно

"Дополнительная информация:"

Хала Нельсон (Hala Nelson) — доцент кафедры математики в Университете Джеймса Мэдисона (James Madison University), специализируется на математическом моделировании, консультирует официальные органы по вопросам чрезвычайных ситуаций и инфраструктуры. Получила докторскую степень по математике в Курантовском институте математических наук (Courant Institute of Mathematical Sciences) при Нью-Йоркском университете.
Хала Нельсон. Базовая математика для искусственного интеллекта. Математика нового уровня для эффективных и успешных систем ИИ
Введение
Почему я написала эту книгу
Кому предназначена книга
Кому противопоказана книга
Как в книге представлена математика
Инфографика
Требования к математической подготовке для понимания материала книги
Краткий обзор глав
Мои любимые книги по искусственному интеллекту
Условные обозначения и соглашения
Примеры применения кода
Платформа онлайн-обучения O’Reilly
Как с нами связаться?
Благодарности
ГЛАВА 1. Почему так важно изучать математику искусственного интеллекта?
Что такое искусственный интеллект
Секрет популярности искусственного интеллекта
Возможности искусственного интеллекта
Конкретные задачи агента искусственного интеллекта
Ограничения искусственного интеллекта
Что происходит, когда системы искусственного интеллекта дают сбой
Направления развития искусственного интеллекта
Кто сегодня вносит основной вклад в развитие искусственного интеллекта
Какая математика используется в искусственном интеллекте
Итоги и перспективы
ГЛАВА 2. Данные, данные, данные
Данные для искусственного интеллекта
Реальные и имитационные данные
Математические модели: линейные и нелинейные
Пример реальных данных
Пример имитационных данных
Математические модели: симуляции и искусственный язык
Как получить данные
Словарь распределений данных, вероятностей, статистики
Случайные величины
Распределение вероятностей
Маргинальные (частные) вероятности
Равномерное и нормальное распределения
Условные вероятности и теорема Байеса
Условные вероятности и совместные распределения
Предварительное распределение, последующее распределение, функция правдоподобия
Смеси распределений
Суммы и произведения случайных величин
Использование графов для представления совместных распределений вероятностей
Ожидание, среднее значение, вариация, неопределенность
Ковариация и корреляция
Марковский процесс
Нормализация, масштабирование, стандартизация случайной переменной или набора данных
Общие примеры
Непрерывные и дискретные распределения (плотность us масса)
Сила совместной функции плотности вероятности
Распределение данных: равномерное распределение
Распределение данных: колоколообразное нормальное (гауссово) распределение
Распределение данных: другие важные и часто используемые распределения
Варианты значений слова "распределение
А/В-тестирование
Итоги и перспективы
ГЛАВА 3. Подгонка функций под данные
Лучшие традиционные модели машинного обучения
Численные и аналитические решения
Регрессия: предсказание числового значения
Обучающая функция
Функция потерь
Оптимизация
Логистическая регрессия: разделение на два класса
Обучающая функция
Функция потерь
Оптимизация
Регрессия softmax: классификация по нескольким категориям
Обучающая функция
Функция потерь
Оптимизация
Встраивание моделей в последний слой нейросети
Другие популярные методы машинного обучения и ансамбли методов
Машины опорных векторов
Деревья решений
Случайные леса
Кластеризация к средних
Показатели эффективности моделей классификации
Итоги и перспективы
ГЛАВА 4. Оптимизация нейронных сетей
Кора мозга и искусственные нейросети
Обучающая функция: полносвязные (плотные) нейросети с прямой связью
Нейросеть — это вычислительный граф, представляющий обучающую функцию
Линейная комбинация, добавление смещения и последующая активация
Основные функции активации
Универсальная аппроксимация функций
Теория аппроксимации в глубоком обучении
Функции потерь
Оптимизация
Математика и загадочный успех нейронных сетей
Градиентный спуск
Роль гиперпараметра скорости обучения г)
Выпуклые и невыпуклые ландшафты
Стохастический градиентный спуск
Инициализация весов в оптимизации
Методы регуляризации
Отсев
Ранняя остановка
Пакетная нормализация каждого слоя
Регулирование размера весов наложением штрафа на их норму
Наложение штрафа на нормы L2 и L1
Роль параметра а в регуляризации
Примеры гиперпараметров в машинном обучении
Цепное правило и обратное распространение ошибки: вычисление
Метод обратного распространения ошибки практически не отличается от того, как обучается наш мозг
Почему лучше использовать обратное распространение ошибки
Обратное распространение ошибки в деталях
Оценка значимости признаков входных данных
Итоги и перспективы
ГЛАВА 5. Сверточные нейронные сети и компьютерное зрение
Свертка и кросс-корреляция
Инвариантность и эквивариантность переноса
Свертка в обычном пространстве — это произведение в частотном пространстве
Свертка с точки зрения проектирования системы
Свертка и импульсная характеристика линейных и инвариантных по переносу систем
Свертка и одномерные дискретные сигналы
Свертка и двумерные дискретные сигналы
Фильтрация изображений
Карта признаков
Нотация линейной алгебры
Одномерный случай: умножение на матрицу Теплица
Двумерный случай: умножение на дважды блочно-циркулянтную матрицу
Пулинг
Сверточная нейросеть для классификации изображений
Итоги и перспективы
ГЛАВА 6. Сингулярное разложение: обработка изображений, обработка естественного языка и социальные сети
Факторизация матриц
Диагональные матрицы
Матрицы как линейные преобразования, действующие в пространстве
Воздействие А на правые сингулярные векторы
Воздействие А на стандартные единичные векторы и определяемый ими единичный квадрат
Воздействие А на единичную окружность
Преобразование окружности в эллипс методом сингулярного разложения
Матрицы поворота и отражения
Воздействие А на общий вектор х
Три способа умножения матриц
Большая картина
Число обусловленности и вычислительная устойчивость
Компоненты сингулярного разложения
Сингулярное и спектральное разложения
Вычисление сингулярного разложения
Численное вычисление собственного вектора
Псевдоинверсия
Применение сингулярного разложения к изображениям
Метод главных компонент и снижение размерности
Метод главных компонент и кластеризация
Приложение для социальных сетей
Латентно-семантический анализ
Рандомизированное сингулярное разложение
Итоги и перспективы
ГЛАВА 7. Искусственный интеллект для естественного языка и финансов: векторизация и временные ряды
Искусственный интеллект в обработке естественного языка
Подготовка данных естественного языка к машинной обработке
Статистические модели и логарифмическая функция
Закон Ципфа для подсчета терминов
Векторные представления документов на естественном языке
Векторное представление частоты термина документа или мешка слов
Векторное представление частоты термина и обратной частоты термина документа
Векторное представление тематики документа, определенной с помощью скрытого семантического анализа
Тематическое векторное представление документа, определенное с помощью латентного размещения Дирихле
Тематическое векторное представление документа, определенное с помощью латентного дискриминантного анализ
Смысловые векторные представления слов и документов, определяемые встроенными нейросетя
Косинусное сходство
Приложения для обработки естественного языка
Анализ настроений
Фильтрация спама
Поиск и извлечение информации
Машинный перевод
Создание подписей к изображениям
Чат-боты
Другие приложения
Трансформеры и модели внимания
Архитектура трансформера
Механизм внимания
Трансформеры далеки от совершенства
Сверточные нейросети для данных временных рядов
Рекуррентные нейросети для данных временных рядов
Как работает рекуррентная нейросеть
Управляемые рекуррентные блоки и блоки долгой краткосрочной памяти
Пример данных естественного языка
Финансовый искусственный интеллект
Итоги и перспективы
ГЛАВА 8. Вероятностные генеративные модели
Ценность генеративных моделей
Типичная математика генеративных моделей
Переключение мозга с детерминированного на вероятностное мышление
Оценка максимального правдоподобия
Явные и неявные модели плотности
Явно прослеживаемая плотность: полностью видимые сети доверия
Пример: генерация изображений с помощью PixelCNN и машинного звука с помощью WaveNet
Явно прослеживаемая плотность: нелинейный анализ независимых компонент с изменением переменных
Явно непрослеживаемая плотность: аппроксимация вариационных автокодировщиков вариационными методами
Явно непрослеживаемая плотность: аппроксимация машины Больцмана с помощью цепи Маркова
Неявная плотность — цепь Маркова: генеративная стохастическая сеть
Неявная плотность — направление: генеративно-состязательные сети
Принцип работы генеративно-состязательной сети
Пример: машинное обучение и генеративные сети для физики высоких энергий
Другие генеративные модели
Наивная байесовская модель классификации
Модель гауссовой смеси
Эволюция генеративных моделей
Сети Хопфилда
Машина Больцмана
Ограниченная машина Больцмана (явная плотность и трудноразрешимость)
Исходный автокодировщик
Вероятностное языковое моделирование
Итоги и перспективы
ГЛАВА 9. Графовые модели
Графы: узлы, грани и их признаки
Пример: алгоритм PageRank
Инверсия матриц с помощью графов
Графы Кэли для групп: чистая алгебра и параллельные вычисления
Передача сообщений внутри графа
Безграничные возможности применения графов
Сети головного мозга
Распространение заболеваний
Распространение информации
Обнаружение и отслеживание распространения фейков
Рекомендательные системы веб-масштаба
Борьба с онкологией
Биохимические графы
Генерация молекулярных графов для выявления структуры лекарственных препаратов и белков
Сети цитирования
Социальные медиасети и прогнозирование общественного воздействия
Социологические структуры
Байесовские сети
Прогноз трафика
Логистика и исследование операций
Языковые модели
Графовая структура Всемирной паутины
Автоматический анализ компьютерных программ
Структуры данных в вычислительной технике
Балансировка нагрузки в распределенных сетях
Искусственные нейросети
Случайные блуждания по графам
Обучение представлению узлов
Задачи для графовых нейросетей
Классификация узлов
Классификация графов
Кластеризация и обнаружение сообществ
Генерация графов
Максимизация влияния
Предсказание ссылок
Динамические графовые модели
Байесовские сети
Байесовская сеть как компактная таблица условных вероятностей
Создание предсказаний при помощи байесовской сети
Байесовские сети — это не каузальные сети, а сети доверия
Что нужно знать о байесовских сетях
Цепи, вилки и коллайдеры
Как создать байесовскую сеть для всех переменных из набора данных?
Графические диаграммы вероятностного каузального моделирования
Краткая история теории графов
Основные положения теории графов
Остовные деревья и кратчайшие остовные деревья
Наборы разрезов и разрезанные вершины
Планарность
Графы как векторные пространства
Реализуемость
Раскраска и сопоставление
Перечисление
Алгоритмы и вычислительные аспекты графов
Итоги и перспективы
ГЛАВА 10. Исследование операций
Отсутствие бесплатного обеда
Анализ сложности и нотация O()
Оптимизация — сердце исследования операций
Рассуждения об оптимизации
Оптимизация: конечные размерности без ограничений
Оптимизация: конечные размерности, ограниченные множители Лагранжа
Оптимизация: бесконечные размерности, вариационное исчисление
Оптимизация в сетях
Задача о коммивояжере
Минимальное остовное дерево
Кратчайший путь
Максимальный поток и минимальный разрез
Максимальный поток и минимальная стоимость
Метод критического пути для разработки проекта
Задача об П ферзях
Линейная оптимизация
Общая и стандартная формы
Визуализация задачи линейной оптимизации в двух измерениях
От выпуклости к линейности
Геометрия линейной оптимизации
Симплекс-метод
Транспортная задача и задача о назначении
Двойственность, релаксация Лагранжа, теневые цены, максимин, минимакс и все такое
Чувствительность
Теория игр и мультиагентные системы
Очередизация
Управление запасами
Машинное обучение в исследовании операций
Уравнение Гамильтона — Якоби — Веллмана
Исследование операций в искусственном интеллекте
Итоги и перспективы
ГЛАВА 11. Вероятность
Когда в книге встречается вероятность?
Что еще важно знать в области искусственного интеллекта?
Каузальное моделирование и исчисление do
Альтернативный метод: исчисление do
Парадоксы и интерпретация диаграмм
Парадокс Монти Холла
Парадокс Берксона
Парадокс Симпсона
Большие случайные матрицы
Примеры случайных векторов и случайных матриц
Основные положения теории случайных матриц
Ансамбли случайных матриц
Плотность собственных значений суммы двух больших случайных матриц
Базовая математика для больших случайных матриц
Стохастические процессы
Процесс Бернулли
Процесс Пуассона
Случайное блуждание
Процесс Винера, или броуновское движение
Мартингейл
Процесс Леви
Процесс ветвления
Цепь Маркова
Лемма Ито
Марковские процессы принятия решений и обучение с подкреплением
Примеры обучения с подкреплением
Обучение с подкреплением как марковский процесс принятия решений
Обучение с подкреплением в контексте оптимального управления и нелинейной динамики
Библиотека Python для обучения с подкреплением
Строгие теоретические основания
Какие события вероятны?
Возможен ли более широкий диапазон случайных величин?
Вероятностная тройка (пространство выборок, сигма-алгебра, мера вероятности)
В чем сложность?
Случайная величина, ожидание, интегрирование
Распределение случайной величины и теорема о замене переменной
Дальнейшие шаги в строгой теории вероятностей
Универсальная теорема для нейросетей
Итоги и перспективы
ГЛАВА 12. Математическая логика
Логические структуры
Пропозициональная логика
От нескольких аксиом к целостной теории
Кодирование логики внутри агента
Как сочетаются детерминированное и вероятностное машинное обучение?
Логика первого порядка
Отношения между кванторами существования и всеобщности
Вероятностная логика
Нечеткая логика
Темпоральная логика
Сравнение с естественным человеческим языком
Машины и сложные математические рассуждения
Итоги и перспективы
ГЛАВА 13. Искусственный интеллект и дифференциальные уравнения в частных производных
Что собой представляет дифференциальное уравнение в частных производных?
Моделирование с помощью дифференциальных уравнений
Модели различных масштабов
Параметры дифференциального уравнения в частных производных
Как изменение одного параметра в дифференциальном уравнении в частных производных может обернуться серьезными проблемами
Насколько полезен искусственный интеллект?
Численные решения обладают огромной ценностью
Непрерывные и дискретные функции
Дифференциальные уравнения в частных производных в моей докторской диссертации
Дискретизация и проклятие размерности
Метод конечных разностей
Метод конечных элементов
Вариационные или энергетические методы
Методы Монте-Карло
Немного статистической механики: замечательное основное уравнение
Решения как ожидания лежащих в основе случайных процессов
Преобразование дифференциального уравнения в частных производных
Преобразование Фурье
Преобразование Лапласа
Операторы решения
Пример использования уравнения теплопроводности
Пример использования уравнения Пуассона
Метод простой итерации
Искусственный интеллект применительно к дифференциальным уравнениям в частных производных
Глубокое обучение для нахождения значений физических параметров
Глубокое обучение для расчета сеток
Глубокое обучение для аппроксимации операторов решения дифференциальных уравнений в частных производных
Численные решения высокоразмерных дифференциальных уравнений
Моделирование природных явлений непосредственно из данных
Дифференциальное уравнение в частных производных Гамильтона — Якоби — Веллмана для динамического программирования
Дифференциальные уравнения в частных производных для искусственного интеллекта
Другие аспекты дифференциальных уравнений в частных производных
Итоги и перспективы
ГЛАВА 14. Искусственный интеллект, этика, математика, право и политика
Хороший искусственный интеллект
Вопросы политики
Что может пойти не так?
От математики к вооружению
Боевые отравляющие вещества
Искусственный интеллект и политика
Нежелательные результаты генеративных моделей
Как это исправить?
Решение проблемы недостаточной представленности в обучающих данных
Устранение погрешностей в векторах слов
Решение проблемы конфиденциальности
Решение проблемы справедливости
Встраивание моральных аспектов в искусственный интеллект
Демократизация и доступность искусственного интеллекта для неспециалистов
Установка приоритета на высококачественные данные
Отличие предвзятости от дискриминации
Излишняя шумиха
Заключительные размышления
Предметный указатель
Об авторе
Хала Нельсон. Базовая математика для искусственного интеллекта. Математика нового уровня для эффективных и успешных систем ИИ
В оригинале
Hala Nelson. Essential Math for AI: Next-Level Mathematics for Efficient and Successful AI Systems
Companies are scrambling to integrate AI into their systems and operations. But to build truly successful solutions, you need a firm grasp of the underlying mathematics. This accessible guide walks you through the math necessary to thrive in the AI field such as focusing on real-world applications rather than dense academic theory.
Engineers, data scientists, and students alike will examine mathematical topics critical for AI--including regression, neural networks, optimization, backpropagation, convolution, Markov chains, and more--through popular applications such as computer vision, natural language processing, and automated systems. And supplementary Jupyter notebooks shed light on examples with Python code and visualizations. Whether you're just beginning your career or have years of experience, this book gives you the foundation necessary to dive deeper in the field.
AI is built on mathematical models. We need to know how. I wrote this book in purely colloquial language, leaving most of the technical details out. It is a math book about AI, however, with very few mathematical formulas and equations, no theorems, no proofs, and no coding. My goal is not to keep this important knowledge in the hands of very few elite, and to attract more people to technical fields. I believe that many people get turned off by math before they ever get a chance to know that they might love it and be naturally good at it.
The most beautiful thing about math is that it has the expressive ability to connect seemingly disparate things together. A field as big and as consequential as AI not only builds on math, as that is a given; it also needs the binding ability that only math can provide in order to tell its big story concisely. In this book I will extract the math required for AI in a way that does not deviate at all from the real-life AI application in mind. It is infeasible to go through existing tools in detail and not fall into an encyclopedic and overwhelming treatment. What I do instead is try to teach you how to think about these tools and view them from above, as a means to an end that we can tweak and adjust when we need to. I hope that you will get out of this book a way of seeing how things relate to each other and why we develop or use certain methods among others. In a way, this book provides a platform that launches you to whatever area you find interesting or want to specialize in.
Another goal of this book is to democratize mathematics, and to build more confidence to ask about how things work. Common answers such as “It’s complicated mathematics,” “It’s complicated technology,” or “It’s complex models,” are no longer satisfying, especially since the technologies that build on mathematical models currently affect every aspect of our lives. We do not need to be experts in every field in mathematics (no one is) in order to understand how things are built and why they operate the way they do. There is one thing about mathematical models that everyone needs to know: they always give an answer. They always spit out a number. A model that is vetted, validated, and backed with sound theory gives an answer. Also, a model that is complete trash gives an answer. Both compute mathematical functions. Saying that our decisions are based on mathematical models and algorithms does not make them sacred. What are the models built on? What are their assumptions? Limitations? Data they were trained on? Tested on? What variables did they take into account? And what did they leave out? Do they have a feedback loop for improvement, ground truths to compare to and improve on? Is there any theory backing them up? We need to be transparent with this information when the models are ours, and ask for it when the models are deciding our livelihoods for us.
Texts on Artificial Intelligence are usually either technical manuscripts written by experts for other experts, or cursory, math-free introductions catered to general audiences. This book takes a refreshing third path by introducing the mathematical foundations for readers in business, data, and similar fields without advanced mathematics degrees. The author weaves elegant equations and pithy observations throughout, all the while asking the reader to consider the very serious implications artificial intelligence has on society. I recommend Essential Math for AI to anyone looking for a rigorous treatment of AI fundamentals viewed through a practical lens. - George Mount, Data Analyst and Educator