Искусственный интеллект превзошел человека в тесте на понимание текста, но радоваться рано

Прошлое мир облетела новость, зачем система искусственного интеллекта (ИИ) обошла человека в тесте в понимание теста. Сообщение претендует в сенсацию, поэтому я решил копануть несколько глубже своих собратьев сообразно перу и выяснить подробности. Следовательно, речь идет об одном изо тестов, который называется Stanford Question Answering Dataset (SQuAD). Разработал его Пранав Раджпуркар (Pranav Rajpurkar) с Стэнфордского университета. Тестом я называю его условно — по-английски сие именуется «reading comprehension dataset», разве датасет (набор данных) для того понимания смысла в читаемом тексте. Так как нынешние системы ИИ с задачей распознавания (преобразования в написанный текст) устной речи справляются уж не хуже человека, так уместно говорить о понимании смысла текста не выделяя частностей. А это, на мой угол зрения, самая важная и сложная мечта-идея в области искусственного интеллекта.

SQuAD заключает тексты размером с небольшой абзац, набранные изо свыше пятисот англоязычных статей Википедии, а опять же больше ста тысяч вопросов и ответов к ним. Бкрепкий делится на три части: 80% данных предназначены с целью тренировки обучаемой нейросети, 10% — чтобы её «калибровки», а оставшиеся 10% зарезервированы интересах прохождения теста (и поэтому недоступны разработчикам).

Исполнение) оценки результатов теста предназначены двум метрики: ExactMatch (EM) и F1. Первая оценивает произведение самым простым способом — иначе) будет то ответ тестируемой системы ИИ ровным счетом совпадает с правильным, то итог засчитывается, если нет — так нет. В свою очередь в F1 учитывается дисперсия (вероятно что-то нав смысловой дистанции) между ответом ИИ и правильным ответом.

В метриках EM и F1 безликий результат человека составляет адекватно 82.304% и 91.221%. В августе 2016 лета появились первые результаты — 54.505% и 67.748%. С тех пор они методически улучшались, и на днях в метрике EM превзошли человека с результатами 82.65% и 82.44%. Стержневой 3 января был представлен Microsoft Research Asia, а следующий 5 января — Alibaba iDST NLP. Изумительный второй метрике разработки обоих организаций до человеческого уровня по части-прежнему не дотягивают — 88.493% и 88.607%.

Наверняка в ближайшее век будет преодолен и этот грань, но едва ли позволено говорить о серьезных достижениях в области понимания смысла в тексте — его делать за скольких не было, так и ни духу. Речь идет скорее о лингвистических способностях натренированных нейросетей — так, о чем их спрашивают, они приставки не- понимают, а угадывают, исходя изо выявленных взаимосвязей между текстом, вопросом и правильным ответом в наборе изо ста тысяч примеров. Причем клеймящий по просмотренным мною примерам, ИИ в данном тесте имеет тяжба лишь с довольно примитивными вопросами, ответы в которые не выходят из-за пределы одного предложения.

Рассмотрим настоящий пример:

Одной из самых знаменитых уроженок Варшавы была Маруля Склодовская-Кюри, получившая международное распознавание за исследования в области радиоактивности и ставшая первой внутри женщин лауреатом Нобелевской премии. В числе знаменитых музыкантов — Владислав Шпильман и Фредерик Шопен. Даром что Шопен родился в деревне Желязова-Настырность в 60 км от Варшавы, его пчелосемья переехала в город когда некто был в возрасте семи месяцев. В этом месте также родился в 1745 году Казимирка Пулавский, польский генерал и аякс войны за независимость США.

К данному тексту прилагаются следующие вопросы с ответами:

  • Лауреатом что первой среди женщин стала Мария Склодовская-Кюри? (Нобелевской премии)
  • В каком году родился Мира Пулавский (1745)?
  • Кем был Фредерик Шопен (знаменитым музыкантом)?
  • В каком возрасте был Шопен, как-нибуд его семья переехала в Варшаву (семь месяцев)?

Казалось бы безделица сложного, но например в одном с прохождений этого теста получи вопрос «Кем был Фредерик Шопен?» одна изо программ вместо «знаменитым музыкантом» ответила «Владиславом Шпильманом». И такими ошибками выложенные в открытом доступе упражнения изобилуют. Тем более вряд ли, что нынешний высокий исход будет получен в более сложных вопросах. Зададим такого порядка: «За свободу какой страны боролся Вотан из соотечественников Шопена?» С тем правильно на него сделать помету, программе надо уметь:

  1. связать посредь собой понятия боролся и полубог войны, независимость и непринужденность
  2. понимать смысл слова единоплеменник
  3. объединить сведения из двух разных предложений.

А давно этого, судя по всему, покамест очень далеко.

SQuAD, Стэнфордский альма-матер

[на правах рекламы] Ulefone Power 3 против Xiaomi Redmi 5 Plus: сравнение времени зарядки

Вас можете не заметить актив быстрой зарядки при зарядке смартфона со стандартным аккумулятором. Однако для полной зарядки смартфона с громадный батареей может потребоваться одну крош часов, если он отнюдь не имеет технологию быстрой зарядки.

*** сверху правах рекламы ***

Правительству США хотят запретить использовать продукцию Huawei и ZTE

Компании еще давно подозреваются в связях с правительством Китая, почему использование их продукции госслужащими считают угрозой национальной безопасности

Samsung Galaxy S10 и смарт-часы Gear S4 получат аллюминиево-магниевый сплав Metal 12

В конце декабря 2017 возраст мы писали о возрожденном металлическом ноутбуке компании Samsung почти названием Notebook 9. Его торс сделан из алюминиево-магниевого сплава Metal 12. Говорят, что юбилейный флагман Galaxy S10 получит остов из него же.

За сутки криптовалюты упали в цене на 10–30%

Следовать прошедший час курс Биткоина упал вплоть до рекордно низких за последние месяцы $11 225. После он начал выравниваться, хотя как отмечает биржа coindesk, Биткоин и некоторые криптовалюты на час потеряли в цене примерно 10%.

Forever Battery: первые в мире пальчиковые батарейки с беспроводной зарядкой

Салон CES закончилась еще на прошлой неделе, как ни ее отголоски до этих пор доносятся до нас. Круглым счетом самым инновационным продуктом выставки назвали отнюдь не очередной беспилотный автомобиль и систему дополненной реальности, а пальчиковые батарейки Forever Battery с функцией беспроволочный зарядки.