Краткая история нейроморфных компьютеров

neuromorf

Подражание природным компьютерам

Как осуществляются вычисления в природе? В попытках ответить на этот вопрос, так или иначе, на ум приходит биологическая нервная система, хотя и в других проявлениях жизни существует множество примеров вычислений. Некоторые примеры включают растения [1–5], бактерии [6], простейшие организмы [7] и рои [8]. Большинство попыток понять биологические нервные системы располагаются вдоль спектра. На одном конце осуществляются попытки имитировать наблюдаемые физические свойства нервной системы. Эти модели обязательно содержат параметры, которые следует настроить, чтобы они соответствовали биофизическим и архитектурным свойствам природной модели. Примеры такого подхода включают в себя нейроморфную цепь Боахена (Boahen) и процессор Neurogrid [9], разработанные в Стэнфордском университете, математическую модель спайковых нейронов Ижикечива (Izhikevich) [10] и крупномасштабное моделирование Элиасмита (Eliasmith) [11]. На другом конце спектра отказываются от биологического подражания в попытке решить проблемы, связанные с мозгом, такие как восприятие, планирование и управление, с помощью алгоритмов. Обычно это называется машинным обучением. К алгоритмическим примерам можно отнести максимизацию опорных векторов [12], кластеризацию методом k-средних [13] и использование метода случайных лесов [14]. Многие подходы попадают вдоль спектра между подражанием и машинным обучением. К таким методам относятся нейроморфные процессоры CAVIAR [15] и CogniMem [16], а также нейросинаптическое ядро IBM [17]. Более десяти лет мы искали альтернативный подход за пределами типичного спектра, задавая себе простой, но важный вопрос: как мозг может обрабатывать данные, учитывая, что он создан из энергозависимых компонентов? Изучение этого вопроса привело нас к формализованной теории вычислений на основе обучения Хебба и анти-Хебба (AHaH), разработкам нейроморфного сопроцессора под названием «термодинамическое ОЗУ» и многообещающим результатам первого мемристора компании Knowm, имитирующего принцип действия синапсов. Но прежде чем мы поговорим о перспективах нейроморфных вычислений, давайте взглянем на основные наработки и события, которые привели к текущему положению вещей в этой области.

Стоя на плечах гигантов

В 1936 году Тьюринг (Turing), известный новаторской работой в области вычислений и фундаментальной статьей «О вычисляемых числах» [18], предоставил формальное доказательство того, что машину можно создать таким образом, чтобы она могла выполнять любые возможные математические вычисления, представленные в виде алгоритма. Эта работа стала отправной точкой в развитии современной отрасли вычислений. Немногие знают, что, помимо работы, которая привела к созданию цифрового компьютера, Тьюринг спрогнозировал возникновение коннекционизма и нейроподобных вычислительных систем. В своем докладе «Интеллектуальные машины» [19] он описал машину, состоящую из искусственных нейронов, каким-либо способом связанных с помощью модификаторов. (Этот доклад был написан в 1948 году, но опубликован лишь после смерти автора в 1968 году.) Согласно автору, модификаторы можно настроить таким образом, чтобы они передавали или прерывали сигнал. Нейроны при этом состоят из логических элементов И-НЕ. Тьюринг выбрал именно эти логические элементы, потому что на их основе можно создать любую другую логическую функцию.

В 1944 году в свет вышла книга физика Шредингера (Schrödinger) «Что такое жизнь?», основанная на серии лекций, прочитанных в дублинском Тринити-колледже. В книге Шредингер задает вопрос: «Как физика и химия могут объяснить те явления в пространстве и времени, которые происходят с живим организмом?». Он описал апериодический кристалл, который предугадал природу ДНК (тогда еще не раскрытую), а также концепцию негэнтропии, согласно которой живая система экспортирует энтропию, чтобы поддержать свою собственную энтропию на низком уровне [20].

Только через год после выхода работы Тьюринга «Интеллектуальные машины» в 1949 году Хебб (Hebb) описал синоптическую пластичность как механизм, с помощью которого реализуется феномен обучения и памяти [21]. Десять лет спустя в 1958 году Розенблатт (Rosenblatt) определил теоретические основы коннекционизма и смоделировал перцептрон, что вызвало ажиотаж в отрасли [22].

В 1953 году Барлоу (Barlow) обнаружил, что нейроны мозга лягушки отвечают на конкретные визуальные стимулы [23]. Вслед за этим в 1959 году Хьюбел (Hubel) и Визел (Wiesel) смогли показать существование нейронов в первичной зрительной коре котов, которые выборочно реагируют на контуры при определенных ориентациях [24]. Это привело к созданию теории рецептивных полей, согласно которой клетки одного уровня структуры формируются из вводов клеток на более низком уровне.

В 1960 году Уидроу (Widrow) и Хофф (Hoff) разработали ADALINE, физическое устройство, в котором использовалось электрохимическое покрытие угольных стержней для имитации синоптических элементов, называемых мемисторами [25]. В отличие от мемристоров, мемисторы — это электрохимические компоненты. Проводимость между двумя электродами мемисторов зависит от интеграла от силы тока, проводимого в третьем электроде, по времени. Эта работа представляет собой первое объединение мемристоров с электронной обратной связью, что имитирует механизм познания.

В 1969 году Минский (Minsky) и Паперт (Papert) вызвали ажиотаж своими исследованиями о перцептронах. Они проанализировали некоторые свойства перцептронов и показали, что с их помощью нельзя вычислить функцию «исключающего ИЛИ» (XOR) с использованием только местных нейронов [26]. Реакция на исследования Минского и Паперта отвлекла внимание от соединительных сетей до появления ряда новых открытий, в том числе нейронной сети Хопфилда (1982 г.) [27], метода обратного распространения ошибки (1986 г.) [28], теории адаптивного резонанса (1987 г.) [29] и др. Ажиотаж в области нейронных сетей начал исчезать, так как ключевую проблему генерализации в отношении запоминания оценили в полной мере. Тогда вычислительный переворот сошел на нет.

В 1971 году Чуа (Chua) на основе симметрических аргументов создал теорию мемристора (запоминающего электрохимического элемента), который представляет собой недостающий четвертый элемент электросхемы с двумя электродами. Сопротивление мемристора зависит от суммарного заряда, прошедшего через электроды [30,31].

В 1980 году основоположник СБИС Мид (Mead) и Конвей (Conway) опубликовали книгу «Введение в проектирование больших интегральных микросхем» [32]. Кроме этого, Мид, Хопфилд и Фейнман (Feynman) провели совместные исследования вычислительных процессов в мозгу животных. Это сотрудничество ускорило выход в свет работ по нейронной сети Хопфилда, нейроморфной инженерии Мида и методам вычисления в области физики Фейнмана. Мид создал первые в мире нейронные микросхемы, а также искусственные сетчатку и улитку уха, которые он описал в своей книге Analog VLSI Implementation of Neural Systems («Аналоговое внедрение нейронных систем с большими интегральными микросхемами»), опубликованной в 1989 году [33].

В 1982 году Байненсток (Beinenstock), Купер (Cooper) и Мунро (Munro) опубликовали теорию синаптических изменений [34]. Известная ныне как правило пластичности BCM, эта теория предпринимает попытки объяснить эксперименты измерения селективной способности нейронов в первичной сенсорной коре головного мозга и ее зависимость от нейронных вводов. Если взять данные естественных изображений, правило BCM сосредотачивается на селективно-ориентированных рецептивных полях. Это является убедительным доказательством того, что такие же механизмы работают в коре головного мозга, что подтверждают эксперименты Хьюбела и Визеля. В 1989 году Барлоу предположил, что такая селективная реакция является результатом неконтролируемого алгоритма обучения, который пытается найти факториальный код независимых функций [35]. Белл (Bell) и Сежновски (Sejnowski) продолжили работу в этой области в 1997 году и показали, что независимые компоненты естественной среды — это пороговые фильтры [36]. Это стало основой математической формулировки пластичности нейронов: нейроны изменяют свой синаптический вес для извлечения независимых компонентов. Создавая математическую основу пластичности нейронов, Оя (Oja) вместе с другими учеными разработал несколько правил пластичности, указав статистические свойства распределения выходных сигналов нейронов в качестве объективных функций. Это привело к созданию принципа анализа независимых компонентов (АНК) [37,38].

Примерно в то же время в результате ранних исследований статистической теории обучения Вапника-Червоненкиса появилась теория максимизации опорных векторов, которая стала общепризнанным решением проблемы генерализации в отношении механизма запоминания в классификаторах [12,39].

В 2004 году Нугент (Nugent) и другие показали, каким образом правило пластичности на основе AHaH вытекает из минимизации эксцесс-целевой функции и используется в качестве основы самоорганизованной отказоустойчивости в сетевых классификаторах машины опорных векторов. Таким образом, была продемонстрирована связь максимизации границ с анализом независимых компонентов и пластичностью нейронов [40,41]. В 2006 году Нугент впервые подробно рассказал о способах реализации правила пластичности на основе AHaH в схеме мемристора и продемонстрировал, что свойства аттрактора AHaH можно использовать для настройки универсальной перенастраиваемой логической схемы [42-44].

В 2008 году HP Laboratories объявили о разработке предполагаемого электронного устройства Чуа — мемристора [45] и исследовали его использование в качестве синапсов в нейроморфных схемах [46]. Еще ранее сообщалось о разработке нескольких устройств, подобных мемристорам [47–51], которые демонстрировали характерный цикл гистерезиса, но они не были описаны как мемристоры. В том же году Хилтон (Hylton) и Нугент запустили программу SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) с целью продемонстрировать крупномасштабное адаптивное обучение с использованием интегрированных мемристоров на уровне биологических процессов. С 2008 года исследователи всего мира заинтересовались мемристорами [52–56], их моделями [57–62], их связью с биологическими синапсами [63–69] и их использованием в альтернативных архитектурах вычислительных систем [70–81].

В начале 2014 года мы опубликовали статью AHaH Computing — From Metastable Switches to Attractors to Machine Learning («Вычисления на основе обучения Хебба и анти-Хебба — от метастабильных переключателей до аттракторов и машинного обучения»). В ней формально описан новый подход к вычислениям, который мы называем «Вычисления на основе обучения Хебба и анти-Хебба», при котором, в отличие от традиционных компьютеров, память и процессор соединены. Идея основана на динамике аттракторов в нестабильных рассеивающих энергию электронных устройствах, за основу которых были взяты биологические системы. В результате мы получаем привлекательную альтернативную архитектуру со способностью к адаптации, самообслуживанию и обучению на основе взаимодействия с окружающей средой. В статье продемонстрированы функции машинного обучения высокого уровня, включая неконтролируемую кластеризацию, контролируемую и неконтролируемую классификацию, прогнозирование сложных сигналов, неконтролируемый роботизированный привод и комбинаторную оптимизацию. Позднее в том же году мы опубликовали статьи Thermodynamic RAM Technology Stack («Стек технологий термодинамического ОЗУ») и Cortical Computing with Thermodynamic-RAM («Использование термодинамического ОЗУ для рассчетов на базе вычислений, осуществляемых в коре головного мозга»), в которых описан принцип работы устройства и полная интеграция стека, а также представлены набор команд kT-RAM и API от компании Knowm для внедрения сопроцессоров для нейроморфного обучения на базе AHaH в существующие компьютерные платформы.
AHaH controller system

В конце 2014 года IBM объявила о создании интегральной схемы спайковых нейронов под названием TrueNorth, которая позволяет обойти узкие места фон-неймановской архитектуры, потребляет 70 мВт энергии и обладает плотностью мощности около 1/10 000 от плотности мощности обычных микропроцессоров. Однако на данный момент этому процессору не доступны внутрипроцессорное обучение и внутрипроцессорная адаптация.

Что насчет квантовых компьютеров?

Квантовые компьютеры — удивительная и привлекательная идея. Однако здесь к месту придутся слова Йоги Берра (Yogi Berra): «В теории нет никакой разницы между теорией и практикой. На практике эта разница есть». Квантовые компьютеры основаны на концепции кубита. Кубит может продемонстрировать такое исключительное свойство, как квантовая запутанность. Благодаря запутанности квантовые частицы становятся как-бы «связанными» и ведут себя не как изолированные частицы, а как система. Проблема в том, что частицы могут связываться с чем угодно, например с блуждающими молекулами или фотонами. До тех пор, пока мы можем предельно точно контролировать процесс связывания, такие объединенные частицы можно использовать для решения проблем действительно непредсказуемыми способами. Звучит здорово, не правда ли? Конечно же! Но только если такую систему вообще возможно создать. Спустя 30 лет с того момента, как великие физики, такие как Ричард Фейнман (Richard Feynman), начали обсуждать этот вопрос, нам еще предстоит понять, как создать квантовый компьютер, который на практике работает лучше, чем уже готовое оборудование. Почему так? Потому что природа не может сосуществовать с кубитами. Она уничтожает их с той же скоростью, с которой они создаются. Каждая живая клетка, каждый нейрон, почти каждый атом и молекула на планете постоянно взаимодействуют с окружающей средой. И именно процесс этого взаимодействия (т. е. декогеренция) определяет частицы в первую очередь. Действительно сложно использовать в качестве базовой единицы вычислений состояние материи, с которым природа не может сосуществовать. Именно поэтому получается создать лишь такие аппараты, для снижения температуры которых практически до абсолютного нуля требуются огромные затраты энергии. Означает ли это, что функционирующий квантовый компьютер невозможно создать? Конечно же нет. Однако еще предстоит справиться с множеством практических трудностей, не говоря уже о сопутствующих затратах.

На мероприятии Google Tech Talk Сет Ллойд (Seth Lloyd) заметил, что квантовые вычисления изначально трудно понять.

С учетом этого получится ли пустить в широкий обиход настолько сложную в понимании и использовании технологию (при условии, что она будет работать, как обещают), если принципы ее работы понимают лишь ее разработчики? Не лучше ли использовать «простую, привычную и интуитивно понятную» технологию? Мы не говорим, что стоит бросить попытки разрабатывать технологии квантовых вычислений. Просто стоит учитывать все практические аспекты при оценке технологий искусственного интеллекта.

Заглядывая в будущее

Несомненно, текущая основная цель — создать и вывести в коммерческий оборот первые в мире нейроморфные микросхемы, что позволит разрабатывать невозможные ранее высокопроизводительные приложения машинного обучения с низким энергопотреблением и небольшими затратами ресурсов. Мы, безусловно, следуем собственному пути и считаем, что наши методы и полученные результаты оправдывают ожидания и закладывают крепкую основу для будущих разработок. Более десяти лет назад Нугент озвучил свой изначальный замысел так: «Переосмыслить наше виденье принципа вычислений и спроектировать новый тип процессора, который физически приспосабливается и самостоятельно учится». В нервной системе (и во всех других природных системах) процессор и память являются такими же механизмами обработки. Расстояние между процессором и памятью равно нулю. В то время как современные микросхемы должны сохранять абсолютный контроль над внутренними состояниями (единицами и нулями), природные компьютеры непостоянны — их компоненты постоянно изменяются, состояние ухудшается, они непрерывно восстанавливаются и воссоздают себя заново. Согласно второму закону термодинамики, материя спонтанно изменяет свое состояние для оптимального рассеивания потока энергии. Оставшейся задачей было выяснить, каким образом воссоздать этот феномен в микросхеме и понять его в достаточной мере, чтобы согласовать с существующим оборудованием и решить реальные проблемы машинного обучения. Годы разработок различных архитектур кристальных систем и проверок возможностей привели к спецификации термодинамического ОЗУ (сокращенно kT-RAM), сопроцессора, который может быть подключен к существующим аппаратным платформам для ускорения выполнения задач машинного обучения. Проверенные возможности kT-RAM включают все ключевые возможности биологической нервной системы и алгоритмы современного машинного обучения, применяемые в приложениях для решения реальных задач: неконтролируемую кластеризацию, контролируемую и неконтролируемую классификацию, прогнозирование сложных сигналов, обнаружение отклонений, неконтролируемый роботизированный привод и комбинаторную оптимизацию процедур.

Чтобы узнать больше о теории вычислений AHaH и о способах преобразования мемристоров в сочетании с интегральными микросхемами на комплементарных МОП-транзисторах в самообучающуюся компьютерную архитектуру с помощью пластичности на основе AHaH, прочитайте нашу общедоступную статью в PLOS One: AHaH Computing–From Metastable Switches to Attractors to Machine Learning («Вычисления на основе обучения Хебба и анти-Хебба — от метастабильных переключателей до аттракторов и машинного обучения»).

Материалы для справки:

  1. Grime JP, Crick JC, Rincon JE (1985) The ecological significance of plasticity. In: Proc. 1985 Symposia of the Society for Experimental Biology. volume 40, pp. 5–29.
  2. Desbiez MO, Kergosien Y, Champagnat P, Thellier M (1984) Memorization and delayed expression of regulatory messages in plants. Planta 160: 392–399.
  3. Aphalo PJ, Ballar ́e CL (1995) On the importance of information-acquiring systems in plant–plant interactions. Functional Ecology 9: 5–14.
  4. Falik O, Reides P, Gersani M, Novoplansky A (2003) Self/non-self discrimination in roots. Journal of Ecology 91: 525–531.
  5. Scialdone A, Mugford ST, Feike D, Skeffington A, Borrill P, et al. (2013) Arabidopsis plants perform arithmetic division to prevent starvation at night. eLife 2 doi: 10.7554/eLife.00669.
  6. von Bodman SB, Bauer WD, Coplin DL (2003) Quorum sensing in plant-pathogenic bacteria. Annual Review of Phytopathology 41: 455–482.
  7. Nakagaki T, Yamada H, T ́oth A ́ (2000) Intelligence: Maze-solving by an amoeboid organism. Nature 407: 470–470.
  8. Bonabeau E, Dorigo M, Theraulaz G (1999) Swarm Intelligence: from Natural to Artificial Systems, volume 4. Oxford University press New York.
  9. Choudhary S, Sloan S, Fok S, Neckar A, Trautmann E, et al. (2012) Silicon neurons that compute. In: Artificial Neural Networks and Machine Learning – ICANN 2012, Springer Berlin Heidelberg, volume 7552 of Lecture Notes in Computer Science. pp. 121-128.
  10. Izhikevich EM (2003) Simple model of spiking neurons. IEEE Transactions on Neural Networks 14: 1569–1572.
  11. Eliasmith C, Stewart TC, Choo X, Bekolay T, DeWolf T, et al. (2012) A large scale model of the functioning brain. Science 338: 1202–1205.
  12. Boser BE, Guyon IM, Vapnik VN (1992) A training algorithm for optimal margin classifiers. In: Proc. 1992 ACM 5th Annual Workshop on Computational Learning Theory. pp. 144–152.
  13. MacQueen J (1967) Some methods for classification and analysis of multivariate observations. In: Proc. 1967 5th Berkeley Symposium on Mathematical Statistics and Probability. 281-297, p. 14.
  14. Breiman L (2001) Random forests. Machine Learning 45: 5–32.
  15. Serrano-Gotarredona R, Oster M, Lichtsteiner P, Linares-Barranco A, Paz-Vicente R, et al. (2009) CAVIAR: A 45k neuron, 5M synapse, 12G connects/s AER hardware sensory–processing–learning– actuating system for high-speed visual object recognition and tracking. IEEE Transactions on Neural Networks 20: 1417–1438.
  16. Sardar S, Tewari G, Babu KA (2011) A hardware/software co-design model for face recognition using cognimem neural network chip. In: Proc. 2011 IEEE International Conference on Image Information Processing (ICIIP). pp. 1–6.
  17. Arthur JV, Merolla PA, Akopyan F, Alvarez R, Cassidy A, et al. (2012) Building block of a programmable neuromorphic substrate: A digital neurosynaptic core. In: Proc. 2012 IEEE Inter- national Joint Conference on Neural Networks (IJCNN). pp. 1–8.
  18. Turing AM (1936) On computable numbers, with an application to the entscheidungsproblem. Proceedings of the London Mathematical Society 42: 230–265.
  19. Turing A (1948) Intelligent machinery. Report, National Physical Laboratory.
  20. Schrodinger E (1992) What is Life?: With Mind and Matter and Autobiographical Sketches. Cambridge University Press.
  21. Hebb DO (2002) The Organization of Behavior: A Neuropsychological Theory. Psychology Press.
  22. Rosenblatt F (1958) The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Review 65: 386.
  23. Barlow HB (1953) Summation and inhibition in the frog’s retina. The Journal of Physiology 119: 69–88.
  24. Hubel DH, Wiesel TN (1959) Receptive fields of single neurones in the cat’s striate cortex. The Journal of Physiology 148: 574–591.
  25. Widrow B (1987) The original adaptive neural net broom-balancer. In: Proc. 1987 IEEE Interna- tional Symposium on Circuits and Systems. volume 2, pp. 351–357.
  26. Minsky M, Seymour P (1969) Perceptrons. MIT press.
  27. Hopfield JJ (1982) Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences of the United States of America 79: 2554–2558.
  28. Rumelhart DE, Hinton GE, Williams RJ (1986) Learning representations by back-propagating errors. Nature 323: 533–536.
  29. Grossberg S (1987) Competitive learning: from interactive activation to adaptive resonance. Cog- nitive Science 11: 23–63.
  30. Chua L (1971) Memristor—the missing circuit element. IEEE Transactions on Circuit Theory 18: 507–519.
  31. Chua LO, Kang SM (1976) Memristive devices and systems. Proceedings of the IEEE 64: 209–223.
  32. Mead C, Conway L (1980) Introduction to VLSI Systems. Boston, MA, USA: Addison-Wesley Longman Publishing Co., Inc.
  33. Mead C, Ismail M (1989) Analog VLSI Implementation of Neural Systems. Springer.
  34. Bienenstock EL, Cooper LN, Munro PW (1982) Theory for the development of neuron selectivity: orientation specificity and binocular interaction in visual cortex. The Journal of Neuroscience 2: 32–48.
  35. Barlow HB (1989) Unsupervised learning. Neural Computation 1: 295–311.
  36. Bell AJ, Sejnowski TJ (1997) The independent components of natural scenes are edge filters. Vision Research 37: 3327–3338.
  37. Hyvarinen A, Oja E (1997) A fast fixed-point algorithm for independent component analysis. Neural Computation 9: 1483–1492.
  38. Comon P (1994) Independent component analysis, a new concept? Signal Processing 36: 287–314.
  39. Scholkopf , Simard P, Vapnik V, Smola AJ (1997) Improving the accuracy and speed of support vector machines. Advances in Neural Information Processing Systems 9: 375–381.
  40. Nugent A, Kenyon G, Porter R (2004) Unsupervised adaptation to improve fault tolerance of neural network classifiers. In: Proc. 2004 IEEE NASA/DoD Conference on Evolvable Hardware. pp. 146–149.
  41. Nugent MA, Porter R, Kenyon GT (2008) Reliable computing with unreliable components: using separable environments to stabilize long-term information storage. Physica D: Nonlinear Phenom- ena 237: 1196–1206.
  42. Nugent A (2008). Plasticity-induced self organizing nanotechnology for the extraction of indepen- dent components from a data stream. US Patent 7,409,375.
  43. Nugent A (2008). Universal logic gate utilizing nanotechnology. US Patent 7,420,396.
  44. Nugent A (2009). Methodology for the configuration and repair of unreliable switching elements. US Patent 7,599,895.
  45. YangJJ,PickettMD,LiX,OhlbergDA,StewartDR,etal.(2008)Memristiveswitchingmechanism for metal/oxide/metal nanodevices. Nature Nanotechnology 3: 429–433.
  46. Snider GS (2008) Spike-timing-dependent learning in memristive nanodevices. In: Proc. 2008 IEEE International Symposium on Nanoscale Architectures (NANOARCH). pp. 85–92.
  47. Stewart DR, Ohlberg DAA, Beck PA, Chen Y, Williams RS, et al. (2004) Molecule-independent electrical switching in Pt/organic monolayer/Ti devices. Nano Letters 4: 133-136.
  48. Kozicki MN, Gopalan C, Balakrishnan M, Mitkova M (2006) A low-power nonvolatile switching element based on copper-tungsten oxide solid electrolyte. IEEE Transactions on Nanotechnology 5: 535–544.
  49. Szot K, Speier W, Bihlmayer G, Waser R (2006) Switching the electrical resistance of individual dislocations in single-crystalline SrTiO3. Nature Materials 5: 312–320.
  50. Dong R, Lee D, Xiang W, Oh S, Seong D, et al. (2007) Reproducible hysteresis and resistive switching in metal-CuxO-metal heterostructures. Applied Physics Letters 90: 042107.
  51. Tsubouchi K, Ohkubo I, Kumigashira H, Oshima M, Matsumoto Y, et al. (2007) High-throughput characterization of metal electrode performance for electric-field-induced resistance switching in metal/Pr0.7Ca0.3MnO3/metal structures. Advanced Materials 19: 1711–1713.
  52. ObleaAS,TimilsinaA,MooreD,CampbellKA(2010)Silverchalcogenidebasedmemristordevices. In: Proc. 2010 IEEE International Joint Conference on Neural Networks (IJCNN). pp. 1–3.
  53. Yang Y, Sheridan P, Lu W (2012) Complementary resistive switching in tantalum oxide-based resistive memory devices. Applied Physics Letters 100: 203112.
  54. Valov I, Kozicki MN (2013) Cation-based resistance change memory. Journal of Physics D: Applied Physics 46: 074005.
  55. Hasegawa T, Nayak A, Ohno T, Terabe K, Tsuruoka T, et al. (2011) Memristive operations demon- strated by gap-type atomic switches. Applied Physics A 102: 811–815.
  56. Jackson BL, Rajendran B, Corrado GS, Breitwisch M, Burr GW, et al. (2013) Nanoscale electronic synapses using phase change devices. ACM Journal on Emerging Technologies in Computing Systems (JETC) 9: 12.
  57. Choi S, Ambrogio S, Balatti S, Nardi F, Ielmini D (2012) Resistance drift model for conductive- bridge (CB) RAM by filament surface relaxation. In: Proc. 2012 IEEE 4th International Memory Workshop (IMW). pp. 1–4.
  58. Pino RE, Bohl JW, McDonald N, Wysocki B, Rozwood P, et al. (2010) Compact method for mod- eling and simulation of memristor devices: ion conductor chalcogenide-based memristor devices. In: Proc. 2010 IEEE/ACM International Symposium on Nanoscale Architectures (NANOARCH). pp. 1–
  59. Menzel S, Bottger U, Waser R (2012) Simulation of multilevel switching in electrochemical metal- lization memory cells. Journal of Applied Physics 111: 014501.
  60. Chang T, Jo SH, Kim KH, Sheridan P, Gaba S, et al. (2011) Synaptic behaviors and modeling of a metal oxide memristive device. Applied Physics A 102: 857–863.
  61. Sheridan P, Kim KH, Gaba S, Chang T, Chen L, et al. (2011) Device and SPICE modeling of RRAM devices. Nanoscale 3: 3833–3840.
  62. Biolek D, Biolek Z, Biolkova V (2009) SPICE modeling of memristive, memcapacitative and me- minductive systems. In: Proc. 2009 IEEE European Conference on Circuit Theory and Design (ECCTD). pp. 249–252.
  63. Chang T, Jo SH, Lu W (2011) Short-term memory to long-term memory transition in a nanoscale memristor. ACS Nano 5: 7669–7676.
  64. Merrikh-Bayat F, Shouraki SB, Afrakoti IEP (2010) Bottleneck of using single memristor as a synapse and its solution. preprint arXiv: cs.NE/1008.3450.
  65. Jo SH, Chang T, Ebong I, Bhadviya BB, Mazumder P, et al. (2010) Nanoscale memristor device as synapse in neuromorphic systems. Nano Letters 10: 1297–1301.
  66. Hasegawa T, Ohno T, Terabe K, Tsuruoka T, Nakayama T, et al. (2010) Learning abilities achieved by a single solid-state atomic switch. Advanced Materials 22: 1831–1834.
  67. Li Y, Zhong Y, Xu L, Zhang J, Xu X, et al. (2013) Ultrafast synaptic events in a chalcogenide memristor. Scientific Reports 3 doi:10.1038/srep01619.
  68. Merrikh-Bayat F, Shouraki SB (2011) Memristor-based circuits for performing basic arithmetic operations. Procedia Computer Science 3: 128–132.
  69. Merrikh-Bayat F, Shouraki SB (2013) Memristive neuro-fuzzy system. IEEE Transactions on Cybernetics 43: 269-285.
  70. Morabito FC, Andreou AG, Chicca E (2013) Neuromorphic engineering: from neural systems to brain-like engineered systems. Neural Networks 45: 1–3.
  71. Klimo M, Such O (2011) Memristors can implement fuzzy logic. preprint arXiv cs.ET/1110.2074.
  72. Klimo M, Such O (2012) Fuzzy computer architecture based on memristor circuits. In: Proc. 2012 4th International Conference on Future Computational Technologies and Applications. pp. 84–87.
  73. Kavehei O, Al-Sarawi S, Cho KR, Eshraghian K, Abbott D (2012) An analytical approach for memristive nanoarchitectures. IEEE Transactions on Nanotechnology 11: 374–385.
  74. Rosezin R, Linn E, Nielen L, Kugeler C, Bruchhaus R, et al. (2011) Integrated complementary resistive switches for passive high-density nanocrossbar arrays. IEEE Electron Device Letters 32: 191–193.
  75. Kim KH, Gaba S, Wheeler D, Cruz-Albrecht JM, Hussain T, et al. (2011) A functional hybrid memristor crossbar-array/CMOS system for data storage and neuromorphic applications. Nano Letters 12: 389–395.
  76. Jo SH, Kim KH, Lu W (2009) High-density crossbar arrays based on a Si memristive system. Nano Letters 9: 870–874.
  77. Xia Q, Robinett W, Cumbie MW, Banerjee N, Cardinali TJ, et al. (2009) Memristor-CMOS hybrid integrated circuits for reconfigurable logic. Nano Letters 9: 3640–3645.
  78. Strukov DB, Stewart DR, Borghetti J, Li X, Pickett M, et al. (2010) Hybrid CMOS/memristor circuits. In: Proc. 2010 IEEE International Symposium on Circuits and Systems (ISCAS). pp. 1967–1970.
  79. Snider G (2011) Instar and outstar learning with memristive nanodevices. Nanotechnology 22: 015201.
  80. Thomas A (2013) Memristor-based neural networks. Journal of Physics D: Applied Physics 46: 093001.
  81. Indiveri G, Linares-Barranco B, Legenstein R, Deligeorgis G, Prodromakis T (2013) Integra- tion of nanoscale memristor synapses in neuromorphic computing architectures. preprint arXiv cs.ET/1302.7007.

Источник: knowm.org



Categories: История, Образование, Технологии

2 replies

  1. А чему природному подражают decision trees/random forests? Сколько по neuroscience не читал, не видел аналога ни разу, поскольку им вроде надо сразу на всех данных учиться, а в природе такой роскоши нету

  2. Интересно, но все это уже есть на других ресурсах в сети. Не плохо создать на сайте раздел посвященный переводным материалом по ИИ и ДНК. На русском мало научных материалов посвященных этой теме. На хабре в основном технические темы и моло мировозренчиских материалов в последнее времяю Хорошими переводами таких переспективных направлений, как ИИ и ДНК применительно к развитию вычеслительной техники, можно у хабра переманит часть читателей. Биткойн тоже тема мировозренчиская, так что в тему. Удачи.

Поделитесь своими мыслями

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s