№ | Слайд | Текст |
1 |
 |
Язык и мозг: индексация смысловМожет ли компьютер выучить язык? Шумский Сергей Александрович serge.shumsky@gmail.com |
2 |
 |
Почему это важноПамять компьютеров 1980 1990 2000 2010 2020 2030 2040 2050 Science, 2011 1026 1024 1024 1022 1022 1020 1020 1018 1018 Все Знания уже оцифрованы но компьютеры их не понимают 1016 1016 1014 1014 1012 1012 |
3 |
 |
Почему это важно сейчасПроизводительность компьютеров GPU CPU 1980 1990 2000 2010 2020 2030 2040 2050 1024 1024 1022 1022 1020 1020 1018 1018 1016 1016 1014 1014 1012 1012 |
4 |
 |
Ключевая технологияОбучить компьютеры языку Индексация текстов Индексация смыслов |
5 |
 |
ТребуетсяПонимание значений Понимание отношений |
6 |
 |
ЗадачаПостроить модель «языкового органа» Зная, как устроен продукт этого органа Опираясь на принципы работы мозга |
7 |
 |
ПланКак устроен язык Структура данных в мозге Как устроена кора мозга Алгоритм обработки данных Как мозг понимает язык Архитектура органа языка Моделирование органа языка Учим компьютер языку |
8 |
 |
Как устроен языкРекурсивная природа языка |
9 |
 |
Разбор предложений: рекурсия бинарных слиянийS AuxP NP N VP Aux PP V P NP N John-ga Mary to renaisite iru John is in love with Mary Джон Мэри в влюблен есть Джон влюблен в Мэри |
10 |
 |
Как устроена кора мозгаМыслящая поверхность |
11 |
 |
Мыслящая поверхностьИнтеллект сосредоточен в коре мозга У человека ~ 4/5 объема мозга Кора относительно проста Однородная ткань ~ 3 мм 50 ? 50 см2 Единый алгоритм Распознать ситуацию Выработать ответ Ваша кора слушает это ? |
12 |
 |
Клеточная теория корыКора: однородная слоисто-ячеистая 6 слоев у всех млекопитающих Мини-колонки (ячейки) D ~ 30 мкм ~100 клеток Общее происхождение Макро-Колонки D ~ 300 мкм ~100 мини-колонок Возбуждаются одновременно «Разрешающая способность» мозга ~ 106 признаков “The columnar organization of neocortex” Mountcastle, 1997 |
13 |
 |
Модель коры: самоорганизующиеся картыКаждая ячейка распознает «свой» входной сигнал Активирует ближние, подавляет дальние Подкрепляет свою «память» ~ 0.3 мм Победитель забирает все |
14 |
 |
Модель коры: самоорганизующиеся картыКаждая ячейка распознает «свой» входной сигнал Распространяет активность на соседей и далее Подкрепляет свою «память» Kohonen, 1981 ~ 0.3 мм Формальный нейрон ~ 104 биологических нейронов |
15 |
 |
Запас прочности мозгаPIB – membrane protein IB (Porin) |
16 |
 |
Иерархия признаков102 бит/c 106 106 105 106 бит/c Лурия, Поляков, 1962 1/104?105 1/102?103 1/10 Первичные, вторичные, третичные области коры Понятия Сущности Сложные признаки Базовые признаки |
17 |
 |
Иерархия корковых зонА.Р. Лурия, 1962 Базовые действия Сложные действия Планирование действий Принятие решений Базовые признаки Сложные признаки Синтетические понятия |
18 |
 |
Иерархия связей коры макакиPNAS, 2010 |
19 |
 |
Результат обучения: зрительная кораКора – «тату» из ~ 106 специализированных детекторов 1 mm |
20 |
 |
Результат обучения: сенсорная/моторная кораКора – «тату» из ~ 106 специализированных детекторов |
21 |
 |
Как устроен «орган языка»Как кора организует рекурсивные вычисления? |
22 |
 |
Источник рекурсии – таламус (Гипотеза Кора ?-ритм ~ 20 Гц Таламус 1:1000 |
23 |
 |
Карты корреляцийГипотеза Пара-победитель «забирает все» |
24 |
 |
Карты корреляцийГипотеза Пара-победитель «закорачивает» путь повторного сигнала Повторный сигнал |
25 |
 |
Рекурсивные карты корреляцийЯзык Музыка Движение Гипотеза Код динамического паттерна ?-ритм Таламуса (~20 Гц) Джон был влюблен в Мэри |
26 |
 |
Модель «органа языка»Гипотеза Смыслы слов Кора Структура слов Структура предложений Части речи Алфавит Таламус 1:1000 |
27 |
 |
Моделирование «органа языка»Машинное обучение языку |
28 |
 |
Семантический процессор ГолемИз коллекции текстов любого языка Автоматически выявляет иерархию языковых паттернов (штампов) Типичные сочетания Букв/фонем: морфология Окончаний: синтаксис Оснований: семантика |
29 |
 |
Морфологический модульЧасти речи Алфавит |
30 |
 |
МорфологияОбучение Сочетания букв Результат Разбор слов Словоформы |
31 |
 |
Морфологическая кора |
32 |
 |
Синтаксический модульЧасти речи Алфавит |
33 |
 |
СинтаксисОбучение Сочетания окончаний Результат Разбор предложений |
34 |
 |
Семантический модульЧасти речи Алфавит |
35 |
 |
СемантикаОбучение Сочетания оснований Результат Распознавание понятий (классы эквивалентности): Кто, Где, Когда, Сколько, … |
36 |
 |
Семантическая картаБаллистическая зенитная крылатая межконтинентальная противотанковая твердотопливная … (33) Сергей александр андрей юрий николай олег … (298) Процентов километров килограмм миль нанометров баксов … (12) Дэвид майкл вера марк давид федор … (1799) windows dvd player internet flash twitter … (1799) Вышла приехал вышел приезжает вылетает уехал … (89) Тысяч метров грамм квт килограмм миллиметров … (31) Ван браун титов шевченко семенов павлов … (4341) Сказал отметил подчеркнул добавил напомнил уточнил … (19) Белоруссия армения венесуэла туркменистан сирия нкр … (69) Грузия турция азербайджан узбекистан абхазия индия … (40) Столица москва сочи париж пекин астана … (428) |
37 |
 |
Семантическая картаwent ran harried dropped stepped begged withdraw swung … (19) sward stick pipe boot knife rifle beard staff … (131) john george william charles henry james richard thomas … (308) washington napoli oxford quebec vienna new cambridge constantinople … (827) said replied says wrote gave exclaimed sees chose … (11) united colonial empire gospel navy romans jews clergy … (445) elizabeth marie maria anne isabelle julia jude robin … (484) london paris rome boston chicago berlin philadelphia edinburg … (134) france spain canada prussia babylon cuba poland portugal … (152) |
38 |
 |
Как это использоватьМашинная обработка знаний |
39 |
 |
Семантический поисковик ШерлокИван смотрел, как машина ехала по дороге 1 прототип: 1200 ? 120 ? 2 ? 1370 ? 110 ? 340 = 1013 вариантов |
40 |
 |
Шерлок: Интерактивное досье |
41 |
 |
Интерактивное досье |
42 |
 |
Интернет как база данныхПрототип факта: Ракета Булава имеет радиус действия 8000 км МО Ирана объявило о серьезных успехах в разработке баллистических ракет "Саджиль" и "Шахаб" (радиус действия до 2000 км). МО Ирана объявило о серьезных успехах в разработке баллистических ракет "Саджиль" и "Шахаб" (радиус действия до 2000 км). МО Ирана объявило о серьезных успехах в разработке баллистических ракет "Саджиль" и "Шахаб" (радиус действия до 2000 км). МО Ирана объявило о серьезных успехах в разработке баллистических ракет "Саджиль" и "Шахаб" (радиус действия до 2000 км). «Брамос» - двухступенчатая крылатая ракета длиной 10 м, диаметром 0,7 м, стартовым весом около 3050 кг, дальностью действия до 300 км и скоростью 2,8 М В параде будут представлены подразделения ракет средней дальности "Нодон" (до 1200 км) и улучшенные модели с радиусом поражения до 3000 км Индия планирует провести в начале 2011 года испытания новой баллистической ракеты "Агни-5" с дальностью в 5 тыс. км, которая укрепит средства сдерживания. |
43 |
 |
Next Big ThingБит/с за $1000 1980 1990 2000 2010 2020 2030 2040 1014 1012 1010 Сжатие видео 108 106 104 Искусственный Интеллект Мультимедиа коммуникации |
44 |
 |
Что нас ждетПроизводительность компьютеров GPU CPU 1980 1990 2000 2010 2020 2030 2040 2050 1024 1024 1022 1022 1020 1020 1018 1018 1016 1016 1014 1014 1012 1012 |
45 |
 |
Семантические чипыИндексация смыслов: Операции с большими матрицами GPU ? Семантические процессоры Ускорение в 30-100 раз Новая ниша для: Intel, AMD, NVIDEA, Texas Instruments |
«Видео баллистической ракеты сармат» |
http://900igr.net/prezentacija/biologija/video-ballisticheskoj-rakety-sarmat-255738.html