Jak powstała klawiatura w Windows Phone 7?

Na szczęście Badger wcześniej pracował nad produktami do rozpoznawania mowy i uważał, że klawiaturowa łamigłówka jest zasadniczo problemem dekodowania, który można rozwiązać z wykorzystaniem maszynowego uczenia się. W przeszłości współpracował z Paekiem i zaprzyjaźnił się z nim. Słyszał również o badaniach Gunawardany.

 „Takie było nasze początkowe założenie. Chcieliśmy stworzyć najlepsze na świecie rozwiązanie do wprowadzania tekstu. W komunikacji cyfrowej przenoszenie idei z głowy na klawiaturę jest naprawdę ważne. Nie miałem oporów, żeby skontaktować się z Timem i zapytać, co myśli o tym problemie” — mówi Badger

• Aby rozwiązać problem, zespoły Microsoft Research i Windows Phone 7 najpierw przeprowadziły zakrojone na szeroką skalę eksperymenty na prototypie Windows 7. Zgromadziły dane na temat tego, jak ludzie dotykają wirtualnych klawiszy, co oznaczają różne sposoby trzymania telefonu — na przykład pisanie wyłącznie za pomocą kciuków — oraz jakie są wady i zalety konkurencyjnych klawiatur.

Geometria i intencje

Paek i Gunawardana postanowili wykorzystać swoją wiedzę w dziedzinie maszynowego uczenia się

• i lingwistyki, aby opracować podejście, które matematycznie uwzględnia geometrię obszaru klawiatury oraz to, co chce powiedzieć użytkownik. Badger z pomocą Drew Lineruda stworzył prototyp wykorzystujący to podejście, aby zademonstrować jego skuteczność. Prototyp miał kluczowe znaczenie dla akceptacji projektu przez grupę biznesową. Telefon najpierw używa statystycznych modeli wzorców językowych, aby ustalić, co użytkownicy próbują napisać.

„Wiemy, że zazwyczaj piszą po angielsku i z reguły wiemy, jak ma wyglądać tekst, nawet jeśli nie jest napisany dokładnie takim językiem, który można znaleźć w The Wall Street Journal. Zwykle można domyślić się, co ludzie chcą powiedzieć” — mówi Gunawardana

• Następnie telefon używa statystycznych modeli punktów dotyku, które prawdopodobnie się pojawią ze względu na to, że użytkownik próbuje trafić w określone litery.

• W ramach crowdsourcingu narzędzie do gromadzenia danych ostatecznie zmieniono w grę o nazwie Text Text Revolution!, którą napisał Dmitry Rudchenko, deweloper z zespołu Badgera. Gra, która otrzymała cztery na pięć gwiazdek w serwisie Windows Phone 7 Marketplace, nie tylko pomaga użytkownikom nauczyć się szybkiego i dokładnego pisania na urządzeniach Windows Phone, ale przy okazji generuje idealne dane do optymalizowania modeli statystycznych. Od czasu premiery gra zgromadziła ponad 20 milionów punktów dotyku, które wykorzystano do dostrajania algorytmów.

• Łącząc modele statystyczne wzorców językowych z punktami dotyku, klawiatura dynamicznie zmienia wirtualny rozmiar następnej prawdopodobnej litery, zwiększając jej obszar docelowy — ten, w którym dotknięcie klawiatury przekłada się na określoną literę, symbol lub cyfrę.
• Oprogramowanie klawiatury analizuje to, co pisze użytkownik, decyduje, która litera najprawdopodobniej zostanie wpisana jako następna, i powiększa obszar wirtualnego klawisza, aby stuknięcie w „T” dało w wyniku „T”, a nie „Y” lub „R”. W przyszłych wersjach klawiatura będzie nawet uwzględniać szybkość, z jaką próbuje pisać użytkownik.

Obecnie większość smartfonów próbuje odgadywać intencje użytkownika. W przypadku Windows Phone 7 chodziło o to, aby te domysły były trafniejsze — bez przeszkadzania użytkownikowi. Predykcyjne oprogramowanie telefonu może być tak radykalne, że nie pozwala użytkownikowi napisać tego, co naprawdę chce. Oprogramowanie, które w ten sposób moduluje swoje sugestie, pozostaje wysoce predykcyjne, ale nie nabiera takiej pewności siebie, żeby wchodzić w drogę użytkownikowi.

Szara rzeczywistość

Badacze musieli się również zmierzyć z szarą rzeczywistością: względnie niewielką mocą obliczeniową smartfonów.

— Poświęciłem temu mnóstwo czasu — mówi Gunawardana. — Wymyślałem modele, a następnie przykrawałem algorytmy tak, aby miały niewielkie rozmiary i działały błyskawicznie w tych niewielkich urządzeniach. Nikt nie chce, aby jego telefon „wieszał się” za każdym razem, kiedy odczytuje klawiaturę.

Gunwardana wykorzystał triki lingwistyczne, w tym coś, co nazywa „wycofywaniem się”, a co polega na tym, że system przyjmuje różne poziomy pewności co do intencji użytkownika. Oprogramowanie klawiatury może na przykład przewidzieć, że po literach „keyboar” niemal na pewno następuje „d”. Bądź co bądź, wzorzec ten można było zaobserwować tysiące razy. Kiedy jednak napotyka mniej znajome słowo, „wycofuje się” ze stawiania jednoznacznych prognoz. Może najpierw zasugerować trzy lub cztery litery jako następne możliwe etapy. Może też po prostu ustalić: „Ta litera jest spółgłoską, więc prawdopodobnie dalej nastąpi samogłoska”.

Jak twierdzą Almog i Badger, klawiatura spotkała się z entuzjastycznym przyjęciem.