Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

697

Bentham, Letter to Jacques Pierre Brissot de Warville.

698

Bentham, Preface.

699

Russell, Ideas That Have Harmed Mankind.

700

Another Day the World Almost Ended.

701

Aksenov, Stanislav Petrov.

702

Там же.

703

Hoffman, ‘I Had a Funny Feeling in My Gut.’

704

Цитата из трагедии Шекспира «Гамлет», д. 1, сц. 5, слова Гамлета. В переводе М. Вронченко (1828).

705

Nguyen, Yosinski, and Clune, Deep Neural Networks Are Easily Fooled. Обсуждение прогнозов надежности предсказаний нейросетей см. в Guo et al., On Calibration of Modern Neural Networks.

706

См. Szegedy et al., Intriguing Properties of Neural Networks и Goodfellow, Shlens, and Szegedy, Explaining and Harnessing Adversarial Examples. Это активная область исследований, современные работы, посвященные тому, как сделать системы устойчивыми для соперничающих примеров, см. в Mądry et al., Towards Deep Learning Models Resistant to Adversarial Attacks, Xie et al., Feature Denoising for Improving Adversarial Robustness и Kang et al., Testing Robustness Against Unforeseen Adversaries. См. также Ilyas et al., Adversarial Examples Are Not Bugs, They Are Features. Последняя статья помещает соперничающие примеры в контекст выравнивания – «неверное выравнивание между (свойственным людям) понятием устойчивости к изменениям и свойственной данным от природы структуре» – и утверждает, что «создание надежных и объяснимых моделей потребует явного внесения априорной для людей информации в процесс обучения».

707

Creighton, Making AI Safe in an Unpredictable World.

708

Детали исследования «проблемы открытой категории» Диттериха, за которое он получил грант от Института будущего жизни, см. на https://futureoflife.org/ai-researcher-thomas-dietterich/.

709

Thomas G. Dietterich, Steps Toward Robust Artificial Intelligence (лекция), 14 февраля 2016 года, 30‐я конференция по искусственному интеллекту AAAI, Феникс, штат Аризона, http://videolectures.net/aaai2016_dietterich_artificial_intelligence/. Те же самые мысли исследователь в несколько иной форме повторил в печати; см. Dietterich, Steps Toward Robust Artificial Intelligence. Больше информации об обучении открытой категории см. Scheirer et al., Toward Open Set Recognition, Da, Yu, and Zhou, Learning with Augmented Class by Exploiting Unlabeled Data, Bendale and Boult, Towards Open World Recognition, Steinhardt and Liang, Unsupervised Risk Estimation Using Only Conditional Independence Structure, Yu et al., Open-Category Classification by Adversarial Sample Generation и Rudd et al., The Extreme Value Machine. Другие связанные подходы к соперничающим примерам и надежной классификации включают работы Liu and Ziebart, Robust Classification Under Sample Selection Bias и Li and Li, Adversarial Examples Detection in Deep Networks with Convolutional Filter Statistics. Больше о последних результатах Диттериха и его коллег см. в Liu et al., Can We Achieve Open Category Detection with Guarantees? и Liu et al., Open Category Detection with PAC Guarantees, а также Hendrycks, Mazeika, and Dietterich, Deep Anomaly Detection with Outlier Exposure. Предложение Google Brain и OpenAI 2018 года объявить конкурс, чтобы стимулировать исследования по этим вопросам, см. в Brown et al., Unrestricted Adversarial Examples, а также в Introducing the Unrestricted Adversarial Example Challenge, Google AI Blog, https://ai.googleblog.com/2018/09/introducing-unrestricted-adversarial.html.

710

Руссо, Жан-Жак. Эмиль, или О воспитании. – Пер. с фр. М. А. Энгельгардта // Жан-Жак Руссо. Избранное. Книговек, 2018.

711

Jefferson, Notes on the State of Virginia.

712

Интервью автора с Ярином Галь, 11 июля 2019.

713

Yarin Gal, Modern Deep Learning Through Bayesian Eyes (лекция), Microsoft Research, 11 декабря 2015, https://www.microsoft.com/en-us/research/video/modern-deep-learning-through-bayesian-eyes/.

714

Zoubin Ghahramani, Probabilistic Machine Learning: From Theory to Industrial Impact (лекция), 5 октября 2018, PROBPROG 2018: Международная конференция по пробабилистическому программированию, https://youtu.be/crvNIGyqGSU.

715

Знаковые статьи, связанные с Байесовскими нейронными сетями: Denker et al., Large Automatic Learning, Rule Extraction, and Generalization, Denker and LeCun, Transforming Neural-Net Output Levels to Probability Distributions, MacKay, A Practical Bayesian Framework for Backpropagation Networks, Hinton and Van Camp, Keeping Neural Networks Simple by Minimizing the Description Length of the Weights, Neal, Bayesian Learning for Neural Networks и Barber and Bishop, Ensemble Learning in Bayesian Neural Networks. Более современные работы см. Graves, Practical Variational Inference for Neural Networks, Blundell et al., Weight Uncertainty in Neural Networks и Hernandez-Lobato and Adams, Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks. Более подробную историю этих идей см. в Gal, Uncertainty in Deep Learning. Более обобщенный обзор пробабилистических методов в машинном обучении см. в Ghahramani, Probabilistic Machine Learning and Artificial Intelligence.

716

Интервью автора с Ярином Галь, 11 июля 2019.

717

Yarin Gal, Modern Deep Learning Through Bayesian Eyes (лекция), Microsoft Research, 11 декабря 2015, https://www.microsoft.com/en-us/research/video/modern-deep-learning-through-bayesian-eyes/.

718

Точку зрения на использование неопределенности, достигаемой с помощью дропаута и ансамбля нейросетей, для обнаружения соперничающих примеров см. в Smith and Gal, Understanding Measures of Uncertainty for Adversarial Example Detection.

719

Каждой модели обычно приписываются весовые значения, описывающие, насколько хорошо она объясняет данные. Этот метод называется «Байесовская модель среднего» (Bayesian model averaging, BMA); см. Hoeting et al., Bayesian Model Averaging: A Tutorial.

720

В частности, было обнаружено, что дропаут помогает удержать нейросеть от чрезмерного обучения на тренировочных данных. См. Srivastava et al., Dropout. Статью процитировали 18 500 раз за первые шесть лет после публикации.

721

См. Gal and Ghahramani, Dropout as a Bayesian Approximation. В последние годы появились альтернативные варианты и расширения, см. Lakshminarayanan, Pritzel, and Blundell, Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles.

722

Интервью автора с Ярином Галь, 11 июля 2019. Применение в области офтальмологии обсуждалось в основном тексте главы, среди других присутствуют прогностическая модель заказов Uber (Zhu and Nikolay, Engineering Uncertainty Estimation in Neural Networks for Time Series Prediction at Uber) и прогностическая система Исследовательского института Toyota (Huang et al., Uncertainty-Aware Driver Trajectory Prediction at Urban Intersections).

723

См. Gal and Ghahramani, Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference, § 4.4.2; если говорить конкретно, Галь