V učení posilňovaním sa využíva model čiastočne pozorovateľných Markovovských rozhodovacích procesov. Zvyčajne sa predpokladá, že agent má predpripravený model sveta (jeho stavov), ktorý na základe pozorovaní a zvolenej stratégie ohodnocuje a na jeho základe vykonáva akcie. V príspevku sa zaoberáme problémom, či je model sveta možné vytvoriť na základe pozorovaní, aby si ho agent mohol odvodiť sám a nemusel byť explicitne zadaný. Zadefinujeme problém vytvorenia Markovovského modelu. Ukazujeme teoretické obmedzenia a demonštrujeme riešenie pomocou gramatickej indukcie pre zjednodušený prípad s aplikáciou pre problém bludiska. Vytvorený model je vhodný najmä pre využitie v učení posilňovaním.