I’m a bit confused when to use と with Japanese onomatopoeia.

For example, for most onomatopoeia you don't need to add と when it describes the verb.

Examples:

ボールがゴロゴロ転がっていく

彼の能力はぐんぐん伸びている

雨がざあざあ降っている。

However with certain onomatopoeia I see sentences use と when it changes the quality of the verb. For example:

のろのろと歩いていると迷惑だ

古傷がずきずきと痛む。

葬式ではみんなしんみりとしていた

Does anyone have an easy to understand explanation for this phenomenon? Is it just a question of memorization?