Czy jesteś pewny tego obliczenia?
OCR1A = (uint8_t)(F_CPU / 8 / 100000 );
Jakie masz F_CPU?

8Mhz
Nie wiem co robię źle, jak ustawię poprawnie CTC to nic nie liczy tylko wyświetla 0 cały czas.
I jeszcze jedno pytanie który tryb CTC mam ustawić, bo w tabeli 46 noty, są dwa. Dla WGM12, i WGM12 + WGM13. Który jest prawidłowy, bo nie rozumiem tego. W każdym razie próbowałem oba.

dla pewności dodaj nawiasy ((F_CPU / 8)/100000)

Witam.
Jakiś czas temu, w poprzedniej firmie, wykonałem urządzenie do testowania encoderów. Tamte liczniki impulsów na kołach "fotobusa" pokonywały tysiące kilometrów. Nie wiem czy Ci się to przyda, ale wrzucam krótką instrukcję jaką wtedy wykonałem wraz z schematem i programem.
Oczywiście program nie jest tak czytelny jak Mirka czy kolegów z forum, ale jeszcze wtedy nie znałem forum atnel, nie miałem BB i nie wiedziałem co to przejrzystość kodu (wcale nie mówię, że teraz już wiem i piszę piękne programy).

http://www.fotokarol.pl/avr/enkoder.doc