Category: технологии

Category was added automatically. Read all entries about "технологии".

любопытно

Служба потерянных вещей

Вдруг стало интересно: что произошло с классическим "AI", тем, который из Рассела-Норвига? Не тем, который перебрендировался в машинное обучение, а вот с тем, где в качестве основного инструмента запускали А-звездочку в хитрых пространствах "планов"?

Теория ведь была красивая, изящная. Роботы строили хитрые коварные планы и добивались своего. Оно работало, я диссертацию про это защитил, правда, роботы были на дисплее нарисованы.

А дальше тишина. Машинлернинг уже, кажется, в каждом чайнике, но весь он про "возьми сложную ситуацию и переведи в простую структурированную форму". А вторая часть - "возьми эту простую структурированную ситуацию и реши, как в ней действовать" - будто совсем никому и не нужна, кроме игростроителей, да и им тоже не нужна.
любопытно

Нейронные сети наносят ответный

Вчера побывал на интересном докладе мистера Yann LeCun. Докладчик рекламировал техники, известные под собирательным названием Deep Learning, и со сцены показывал фокусы realtime-распознавание компьютером разных предметов. Наводил по очереди на них камеру ноутбука, и тот уверенно опознал пульт управления, микрофон, дисплей, докладчика и прочие предметы; сколько именно вещей он умеет узнавать, осталось тайной, но, судя по слайдам, никак не меньше пары десятков, что уже вполне ок для многих практических применений. Потом прямо на лету, за пару секунд и пару кадров, обучил его отличать себя от случайного человека из зала. Случайным человеком оказался м-р Борковский, руководитель Yandex Labs. Этот фокус я "разгадал": на LeCun'е была белая рубашка, а на Борковском - клетчатая тёмная, так что черты лица тут ни при чем; но такое лихое распознавание даже и "униформы" - все равно очень круто.


Лица, впрочем, тоже можно
Collapse )
любопытно

Что такое квантовый компьютер

Ещё одна концепция, грамотное объяснение которой простыми русскими словами встречается примерно нигде - квантовые компьютеры. Попробую помочь разобраться.

Шум вокруг них довольно большой, СМИ активно перепечатывают новости в стиле "при помощи особой магии группа исследователей добилась чего-то непонятного". Ещё понятно, что квантовые компьютеры как-то связаны с криптографией, и что это явно очень круто, высокотехнологично и будущее. К сожалению, попытки вникнуть в тему чуть глубже быстро приводят к текстам, усыпанным формулами в бра-кет нотации, терминами вроде "гильбертово пространство" и прочими вещами, мало проясняющими суть дела.

Collapse )
любопытно

Про искусственный интеллект и с чего его начинать делать

Я утверждаю, что базовая операция, выполняемая мозгом на хардверном уровне (во всяком случае, одна из них, и, видимо, самая важная), это не какое-нибудь там "предсказание", как у Хокинса, а вовсе даже и алгоритм Мисры-Гриса.

Вот прямо так внаглую и совершенно всерьёз утверждаю.


Обоснование:
1) как это сделать "на нейронах", достаточно очевидно (автор оставляет это как упражнение для читателей)
2) нас интересует алгоритм, хоть как-то обобщающий гигабайт-входных-данных-в-секунду; он обязан тем или иным способом первым делом выполнять "поиск часто встречающегося" в один проход и за константную память, так почему бы не способом простым, уже нам известным, и массивно-параллельным
3) существо, умеющее такое делать, уже умеет замечать корреляции по крайней мере на уровне "если вижу много жёлтых пятнышек и немного красных, то скоро желтых станет больше". Поди плохо.
4) такая операция отлично stack'ается сама с собой для увеличения уровня абстракции

Видимо, Мисру-Гриса нужно немного как-то обобщить, чтобы в п.3 оно умело понимать не только что "вообще происходит", но и "как обратить это себе на пользу". А в п.4 нужно правильно stack'ать, чтобы с предыдущего уровня абстракции можно было использовать не только объекты, но и контексты. Не только "жёлтые пятнышки", то есть, но и "что-то, что часто встречается нам рядом с желтыми пятнышками".

Кто ничего не понял, тому и не надо, остальные discuss.
любопытно

Про искусственный интеллект и готические соборы


Как вы, возможно, знаете, искусственный интеллект - больная тема, вроде управления государством. У всех, кто о нём задумывается, появляются какие-то мысли на эту тему - умные или не очень. Мысли одеваются в слова, и возникают споры. В спорах, в частности, высказывается следующий аргумент: мысли дилетанта обладают такой же ценностью, что и мысли специалистов. В самом деле, например, специалист по табуреткам может сделать табуретку и тем самым доказать своё высокое звание. А что может предъявить специалист по ИИ?

Положим, современный специалист по табуреткам их, конечно, вручную не делает, а если сделает, то табуретка получится плохая. Но это естественное замечание тут, на самом деле, не главное. Аналогия не такая уж плохая, и ответить можно попытаться в тех же терминах.

Представьте, что мы живём в V веке, и мечтаем построить огромный кафедральный собор, такой, один из тех самых, вы понимаете, о чём я. Первый в мире, раньше таких не было. В обсуждении участвуют строители, имеющие опыт возведения одноэтажных зданий - деревянных и каменных, есть мечтатели-визионеры, есть духовные лидеры. Также среди нас есть специалисты по природным мегаструктурам: коралловым рифам и производящим их полипам (ну, тут аналогия как-то немного хромает, но что делать).

Нам известно, как растут природные мегаструктуры, и почему нам этот способ не подходит: и долго, и результат все равно наших задач не решит. Мы (прямо сейчас, во всяком случае) не умеем использовать те же механизмы в тех же масштабах, и не вполне понятно, возможно ли их разумное применение в данной задаче вообще.

Нам уже известно, что построить собор в точности так же, как мы строим одноэтажные здания, нельзя: пробовали, разваливается. Многие из нас умеют оценить, на каком этапе закончится крахом строительство по тому или иному проекту (но никакой строгой теории на сей счет нет, и потому доказать это горе-строителям и их инвесторам не получается). Нам известно, что доверить руководство этим проектом человеку, не имеющему опыт строительства каменных зданий, нельзя точно (причем опыт работы с деревом тоже понадобится). Нам обычно в точности известно, по какой конкретной причине неосуществим каждый прожект любого мечтателя-визионера, неспособного сделать даже табуретку. У нас появились кое-какие новые материалы и есть зачатки теории устойчивости и сопромата.

Со всем этим новым знанием кафедральный собор мы всерьез строить ещё даже не начинали. В основном потому что на прошлых неудачах слишком многие обожглись, да и экономически это бессмысленное занятие - это дело веры и сотен лет труда.
любопытно

Про иссскуссственнный интеллект ч.2

Продолжение.

Вот вы наконец получили последний допуск от разных секретных спецслужб. Железные ворота открываются, и вы попадаете на подземную базу. Проходите в святая святых и сквозь пятнадцатисантиметровое пуленепробиваемое стекло заглядываете в так называемый сатурниариум.

В клубах разноцветного газа вы замечаете те самые инопланетные пузыри, о которых столько слышали. Они умеют менять свои размеры, цвет и немного - форму. Свободно перемещаются по сатурниариуму, куда их посадили исследователи. Внутри подходящие для них атмосфера, давление и температура. К счастью, в таких условиях они обладают нулевой плавучестью, так что очень низкая гравитация на них почти никак (тьфу-тьфу) не сказывается.

Первые несколько часов пузыри непрерывно перемещались, внимательно исследовали стены, углы, заклёпки, активно меняли цвет, но затем скисли и сейчас находятся в некоторой апатии. Энергию они получают, пожирая керосин и жидкий кислород, которыми мы их снабжаем через равные интервалы. Скорее всего, это все равно что людей кормить только крутым кипятком и сахаром, но морить пузырей голодом как-то не комильфо, а что они там у себя привыкли кушать (или кого), мы представления не имеем.

Collapse )
любопытно

Про иссскуссственнный интеллект

Попробую вкратце (хи-хи) рассказать, как с ним обстоят дела.

Во-первых, следует понимать, что искусственный интеллект давно создан на самом деле никого не интересует. Широкие массы в основном путают его с искусственной душой (термином "широкие массы" я здесь обозначаю 2% населения, которые вообще о чем-нибудь таком когда-нибудь задумывались хотя бы на минуту) . Предположим, мы искусственный интеллект уже создали и наделили им человекоподобного робота (ну в самом деле, отчего бы N благородным донам ещё и не такое предположить). Сможет ли этот робот "по-настоящему" любить, страдать и т.п., или это будет лишь хитрая имитация? Вариант того же вопроса: будет ли он обладать сознанием (aka самосознанием)? В терминах хардкорных философов - способна ли машина в принципе испытывать (обладать? порождать?) qualia?

Согласно моим наблюдениям, подавляющее большинство специалистов как в области машинного обучения, так и в области человеческого разума, считают, что да, способна, машины в этом смысле от людей ничем не отличаются. По понятным причинам строго доказать эту точку зрения крайне сложно (как, впрочем, и обратную), к тому же и на практике нам до таких машин, мягко говоря, далеко (лет шесть как минимум), а даже когда останется недалеко, все равно никто их создавать не будет по причинам, о которых в следующем посте.

Не в качестве "окончательного доказательства", но лишь в качестве вариаций на тему приведу какие-то свои соображения.

1) Наличие сознания (или самосознания) - вовсе не бинарная характеристика. Даже для самого этого человека! Обладаете ли вы сознанием, когда засыпаете? А когда уже заснули и видите сон? А когда спите без задних ног? А где грань? Хорошо, как насчет алкоголя? Чувствуете ли вы что-нибудь "на самом деле" после двух бутылок пива? А после пяти? А не пива? Случалось бывать когда-нибудь мертвецки пьяным - ходите, говорите, принимаете какие-то решения (ну, например, налить ещё), но высшая нервная деятельность уже не ведется?

Обладали ли вы сознанием год назад? А я не верю, чем докажете. Ну хорошо, пока поверим, обладали, а в возрасте пяти лет? А в возрасте двух? А в момент рождения? А в момент образования зиготы? Теперь, как насчет животных -- обладает ли каким-то сознанием ваша собака (кошка)? Владельцы полноценных домашних животных, а не вот этих вот ваших мерзких черепашек-хомячков-и-прочего-корма, думаю, согласятся, что каким-то, пусть не очень полноценным, обладает. Как насчет крыс? Ворон? Змей? Тараканов? Амёб?

2) Контраргумент против "философского зомби" (я его тут излагал какое-то время назад в виде рассказа про случай на флоте е.и.в.п. Мопуту, но в той форме его, кажется, ВООБЩЕ никто не понял, хотя все вежливо посмеялись).

По-моему, очень простой. Вот какой: а сам-то ф.з. знает, что он зомби? Вопрос этот вполне осмысленный: даже если мы имеем дело с ничего не чувствующим разумным компьютером, термины "знание" и "незнание" по отношению к нему могут быть корректно определены.

С одной стороны, ф.з. о своем состоянии ничего знать не должен, потому что иначе мы смогли бы (по крайней мере, в принципе) поставить какой-то эксперимент, раскрывающий это его знание. Например, попытаться как-нибудь его обмануть (и не обязательно настолько нехитро, как в рассказе). С другой стороны, это что же это за сознание такое и прочие qualia, если сам субъект никак не может узнать, обладает он ими, или нет? Кажется, что это совсем не сочетается с нашим собственным представлением об этих предметах (например, со способностью уверенно отвечать на вопросы из п.1 - ага, а вы-то, небось, думали, он никак с п.2 не связан, да?)

Уф, ну ладно. Всё это, конечно, дико занимательно, но совершенно бесполезно. В следующей серии обратимся к тому, что сейчас происходит на практике, и алё 2012 год на носу где уже мои позитронные роботы чувак. Оставайтесь на линии, не вешайте нос и трубку.
любопытно

next big thing

Закрадывается подозрение, что "размышлялки" в ЖЖ писать бессмысленно. Нужны или статьи, или lytdybr, или анекдоты (в широком смысле слова). А то вот напишешь, скажем, про десктопный интерфейс. Наивно думаешь, что если кто-нибудь заинтересуется и начнет спорить, то человек этот более-менее как-то что-то понял, и выскажет здравые возражения. Например, что freeform input гораздо лучше подходит для "запросов", а "действиям" нужна предсказуемость. Может быть, скажет слово immutable. Или заметит, что, в отличие от веба, тут сложно накопить критическую массу проиндексированных действий, после которой система начнет срабатывать с необходимой полнотой. Или что необходимой массой, чтобы преодолеть потенциальный барьер, заставив разработчиков десктопного ПО жить по новым правилам, обладает только одна компания, а ей это не нужно. Или даже что-нибудь такое напишет, о чем ты сам не подумал!

Потом почитаешь реальные комментарии - и одно расстройство. Люди всерьез пишут, что freeform input невозможен, потому что вот Скрепка из Офиса всех бесила. А также командной строкой в *nix никто теперь не пользуется, а значит мысль отстой. Обидно как-то спорить на таком уровне, я лучше шоу Бенни Хилла посмотрю.

Нет, не буду сдаваться!
Collapse )
любопытно

Яндекс.Телепатия или from Russia with love

Запустили систему, над которой я работал последний год. За это время я успел её сначала полюбить, а потом возненавидеть (не переставая любить).

Технология "Спектр"

Здесь могу рассказать некоторые технические подробности, которые в официальный пост не вошли.

Система исследует запросы всех пользователей Яндекса и выделяет в них различные объекты
Тут произошла интересная вещь. Самым мощным источником информации для построения этой онтологии оказываются результаты выделения в массе поисковых запросов типичных "контекстов" и "концептов". Позже я ознакомился с работами A.Clark и некоторых других авторов, и оказалось, что этот сигнал неспроста. Подобный "парсинг" представляет собой некоторое (естественно, пока что крайне примитивное) приближение к тому, как человеческие существа учатся разговаривать на естественных языках. Такие вот 2017-дела.

Естественно! поверх всего этого работает много ручных правил всяких, фикслистов ("бензопила такая-то это не автомобиль" и т.п.), хаков, "чтение" википедии происходит по совершенно другим правилам, производится финальный проход совсем уж прямо алгоритмом Ахо-Корасик по заголовкам и снипетам готовых результатов в поисках спамоглупостей, и т.д. и т.п. Но все равно интересно, что из этого всего может выйти в прекрасном далёком.

поиск Яндекса максимизирует вероятность того, что человек найдет именно то, что искал
Это предложение описывает не столько результат, каким его хотелось бы видеть :), сколько процесс: используется честная вероятностная модель пользователя и его поведения, и выдача составляется таким образом, чтобы максимизировать некоторое матожидание в этой модели. Если обозначить количество url'ов на первой странице выдачи за N, то сложность этой процедуры экспоненциально растет с увеличением N (задача является NP-сложной, кроме шуток). К счастью, N, как правило, равно 10, к тому же простой "жадный" алгоритм для неё работает хорошо.

Эта вероятностная модель схожа с яндексовской метрикой pfound, о которой и Паша Карпович, и Илья Сегалович уже рассказывали в разных местах, и даже называется похоже. Она используется не только в текущем запуске, но и во многих других местах, где приходится иметь дело с тем, что разные пользователи хотят видеть в выдаче разные вещи (например, хоть как-то приближает к пониманию того, как определить, насколько уместны русскоязычные результаты в результатах украинского поиска). Я не могу сказать, что прямо изобрёл её (после некоторого количества размышлений такая модель кажется самоочевидной, так что её не раз переизобретали, а "о чем-то таком" в отделе качества поиска думали, наверное, вообще все), но всё-таки довел её до состояния named entity и популяризовал внутри компании.

И про название. Практически "всю дорогу" технология называлась "Разнообразием" ("Diversity"). Переименовать решили ближе к концу, когда после анонса во внутренней рассылке выяснилось, что "разнообразие" люди склонны понимать слишком буквально, и ожидают увидеть выдачу не сбалансированную по потребностям пользователей, а именно что максимально разнообразную. А "Спектром" при этом внутри называли совсем другую штуку. Ну что, всё как всегда.

Upd. Огромное спасибо прекрасной petsen, которая героически менеджила проект всё это время, проводила со мной ликбез насчёт всяких лингвистических тонкостей, уговаривала меня оставить одни безумные идеи и всерьез рассмотреть другие, ну и вообще подымала боевой дух. И Грише привет! :)
любопытно

Лем, "Сумма технологии"

Здоровенный том. Не фантастика, "серьезная" футурологическая работа (настолько, насколько вообще дальняя футурология может быть серьезной). Общий смысл книги такой: "Что я могу с уверенностью сказать о далеком будущем? В общем-то, ничего". Ну и после этого всякое ничего в подробностях на 500 с лишним страниц.

Написано в 1963 году. С учетом скорости, с которой устаревают представления о будущем - в каменном веке. Тем удивительнее, что многое он угадал.

Есть отличные страницы про подход к созданию искусственного интеллекта, при котором работа мозга не имитируется, нет никакого "осмысления", никакой рефлексии, никакого символьного вывода. Лем уверенно пишет, что этот способ, скорее всего, окажется предпочтительнее в прикладных задачах, т.к. может привести к решению раньше, чем разум человеческого типа успевает понять, какая вообще задача перед ним стоит, и как её формализовать. Местами у меня крышу уносило - да точно ли это в шестидесятых годах написано, ведь описан современный machine learning один в один, те же поисковики как будто прямо по его рецептам разрабатываются. Мало того, он это направление назвал "выращиванием знаний", и кое-где фантазирует о неких "молекулярных деревьях", в массе растущих в какой-то фантастической песочнице. Ему, видимо, TreeNet приснился (или RandomForest), за сорок лет до появления* в реальности. Хотя сам Лем отрицает возможность существования "вещих снов" и прочей экстрасенсорики (ага, он и об этом успел написать).

Очень уважает нашего Шкловского и любимую книгу моего детства "Вселенная, жизнь, разум". Лем напомнил мне о загадке, которую я знал до этого, но как-то успел забыть: если внеземные цивилизации распространены повсюду (а непонятно, с чего бы делам обстоять иначе), то почему мы не видим никаких следов их деятельности? Не буду вдаваться в подробности (желающие - в википедию), но загадка нетривиальна, вопрос корректен, и является осмысленным: мы можем сказать, каких именно явлений мы не видим. При этом ответ нам не известен, что, видимо, свидетельствует о каком-то крупном пробеле в наших знаниях о Космосе. К чему приводят человека попытки ответить на этот вопрос, зависит, судя по всему, от склада ума. Кому-то чудится мгновенное и неотвратимое достижение некоторого непостижимого для нас божественного состояния, в котором всё, что нас волнует, интересно цивилизации не больше, чем взрослым - детские игрушки (WAIT, O SHI~, не та цитата) Кто-то, наоборот, видит бесконечные миры, непрерывно и неотвратимо уничтожающие себя (или друг друга) посредством тотальных войн, экологических катастроф или массовых самоубийств, как только появляется такая возможность. С вероятностью ровно единица (меньшей не хватит). Ну да.

Лем пишет, что предлагает свое решение, но оно настолько чудовищно туманное и обобщенное, что я его так до конца и не понял. Кажется, если говорить простыми словами, суть в том, что изготовить некую "Матрицу" (в терминах современной массовой культуры), в какой-то момент оказывается настолько просто и притягательно (по сравнению со всеми остальными альтернативами развития сверхцивилизации), что такое "закукливание" - тот самый вариант выбора с вероятностью единица. Ну не знаю. Меня это не очень убедило, честно говоря. Впрочем, Лем достоин уважения хотя бы за то, что писал об этом совершенно всерьез еще до прихода подобных концепций в массовую культуру (за 6 лет до Ubik'а, скажем).

Естественно, много где Лем сильно попадает пальцем в небо (с современной точки зрения). Он, например, считает, что существование машин из "биллионов элементов", работающих без ошибок (или хотя бы с терпимым их количеством), запрещено фундаментальными законами физики, статистики, и термодинамики, и делает из этого много далеко идущих выводов; однако же вот она, я на ней этот пост пишу, и их, в свою очередь, миллионами в Тайване штампуют из песка за копейки. Ну и вообще, в момент написания книги Лем еще ничего не знает о криптографии, об NP-полноте, о теориях естественного языка (а всё это имеет к тем или иным главам прямое отношение; нет, правда!) и о многих других достижениях науки, которые с тех пор стали общим местом.

Вообще, я как-то горд за человечество, что ли. Кажется, мы пока легко справляемся с тем, что его страшило - не истребили сами себя, справились с информационным взрывом (причем оно как-то "само собой произошло", ну, никто специально не командовал: "А давайте срочно создадим Интернет, поиск и википедию, чтобы справиться с информационным взрывом"), не ушли в астрал, изобретя дешевые и безвредные наркотики и порносайты, не исчез институт семьи и брака, и т.д. и т.п.

Даже не знаю, рекомендовать ли читать. Наверное, нет. Все-таки 50 лет для футурологии - не шутка, да и занудой он был, хоть и великим.

*как известно, периодическая таблица еще до Менделеева первым приснилась Пушкину, но он ничего не понял