Конкурс

Здесь можно построить свой Яндекс, с блек-джеком и шлюхами.

Тем, кто занимается (или интересуется) машинным обучением, рекомендую заглянуть. Если что-то в формулировке задачи окажется непонятным - отвечу на вопросы здесь в комментариях.

У участников конкурса есть Данные, основанные на реальных событиях. Это некие признаки пары (запрос к поисковой машине, web-страница). Такие признаки вычисляются Яндексом в процессе обработки запроса, после чего на их основании наша яша решает, хорошо эта страница отвечает на запрос, и ее надо поставить на первое место, или плохо, и ее надо поставить на 82-ю страницу.

Такие ранжирующие признаки в Данных приведены для нескольких десятков тысяч пар (запрос, web-страница). Среди них есть что-то вроде PageRank, есть числа, имеющие смысл "насколько текст документа похож на текст запроса", есть классификаторы потенциального спама, ну и всякие другие числа, которые, по идее, в совокупности должны с какой-то точностью дать ответ на вопрос "насколько хорошо документ отвечает на запрос, и почему мы так считаем". Чтобы не раскрывать всякое мерзким поисковым оптимизаторам, в табличке, которую скачивают участники конкурса, приводятся "просто числа", без каких-либо объяснений. То есть нет ни текстов запросов, ни url'ов, ни названий признаков - только цифры. Примерно для половины пар приводится также оценка, которую паре выставил человек. Это тестовая выборка, по которой следует обучать свои алгоритмы.

В итоге каждой команде нужно придумать некую формулу или правило, согласно которому приписать каждой паре (запрос, документ) в тестовой выборке некоторое число (ранг). Документы затем ранжируются в соответствии с этим числом, и для каждого запроса получается "выдача". Ее качество оценивается: чем больше в топе разумных ответов, тем лучше. Нам всем тут кажется, что ранжирующие формулы лучше все-таки не "придумывать", а обучать при помощи тех или иных методов machine learning'а; но в принципе, правила не запрещают сделать все вручную.

В конкурсе побеждает тот, кто припишет парам (запрос, документ) числа, ранжирующие документы наиболее разумным образом.

Простейший подход - попытаться (при помощи регрессии или еще как-то) научиться "угадывать", какую оценку поставил бы человек данной паре. Но это вовсе не единственный, и даже не обязательно самый правильный метод. Мы тут в отделе качества поиска думаем, что знаем несколько способов, которые работают гораздо лучше. Можете попробовать нас разубедить.

Итак, последовательность действий:
1. Регистрируетесь
2. Скачиваете данные
3. Учитесь парсить их формат, смотрите на них "глазками", используете голову и разные мощные тулзы
4. ?????????????
5. Формируете результаты и отсылаете их (это можно делать несколько раз). Видите в режиме "почти реального времени" свою оценку и оценки других участников. При необходимости повторяете пп.3-5 любое количество раз.
6. PROFIT!

Бонусные хинты для тех, кто дочитал аж до сих пор.
1) Прежде чем кодить, почитайте интернеты, чтобы убедиться, что по крайней мере все термины, упомянутые в правилах, вам ясны.
2) Не переобучайтесь. Если оценка на learn'е улучшается, это вовсе не значит, что улучшится оценка на test'е. Даже если улучшается оценка и на learn'е, и на public-test'е, это все еще не говорит о том, что вы действительно научились ранжировать, а не обманываете сами себя каким-то хитрым образом. Если это вдруг так, то final test при подведении итогов это покажет. Если вы не знакомы с проблемой переобученности, см п.1
3) Не переусложняйте. Прежде чем перебирать утонченные ядра в экзотических вариантах SVM, попробуйте сначала какую-нибудь простую регрессию, ковариационный анализ, ну или кластеризуйте все по-быстренькому. Это недолго, а у вас появится и вменяемый результат, и baseline для понимания того, какой результат хорош, а какой не очень.
4) Некоторые переменные зависят только от документа (например, PageRank), некоторые - только от запроса (например, классификатор: "хотел ли пользователь найти порно"), некоторые - и от того, и от другого. Не игнорируйте это.

Удачи.

Update. Пропустили epic fail. В чем он состоял, не скажу, но данные пришлось поменять на новую порцию, соответственно, текущий рейтинг был сброшен. Смысл соревнования не изменился, новые данные доступны для скачивания, можно продолжать.