Suponiendo que la cantidad de desplazamiento hacia atrás sea sólo un clic de la rueda de desplazamiento y no la mitad de la página, entonces lo que describes es típico de los ratones de rueda, especialmente los más antiguos.
Si abres un ratón de rueda y miras cómo funciona el mecanismo de la rueda de desplazamiento, verás que tiene una serie de protuberancias dentro de la rueda y un muelle que presiona contra las protuberancias para provocar la sensación de clic. Además, observará una serie de finas hendiduras en la cara de la rueda por las que pasa un pequeño haz de luz infrarroja, y el ratón detecta las interrupciones al girar la rueda.
El problema es que las protuberancias del interior de la rueda (“posiciones de reposo”) no siempre están perfectamente alineadas con las rendijas. Esto puede agravarse con el tiempo debido al desgaste. Por ello, cuando se gira la rueda, el ratón hace ver que ha dejado de desplazarse, pero cuando se suelta la rueda, ésta se asienta en la protuberancia, provocando una ligera rotación hacia delante o hacia atrás.
No hay mucho que se pueda hacer al respecto, pero una opción es abrir el ratón y quitar el muelle del todo (el que tiene un extremo dentro de la rueda, no el que la sujeta). Personalmente, lo encuentro mejor porque entonces el ratón no tiene ningún clic y se siente más suave. De hecho, es bastante deseable porque el exceso de clics con algunos ratones puede crear un gran dolor de cabeza debido a todas las vibraciones. El problema, por supuesto, es que si la rueda está demasiado suelta, puede girar con demasiada libertad y causar su propio problema de desplazamiento errático.