С каждой стороны (дословно: руки) его сопровождал (вел, конвоировал) полицейский.
Пояснение:
В страдательном залоге (he was escorted) предлог by используется для указания лица, совершившего действие: the poem was written by A.Pushkin = стихотворение было написано А.Пушкиным; the book was translated by Ivanov = книгу перевел Иванов; he was escorted by a policeman = его сопровождал полицейский.
On either hand/side = по обе стороны, с каждой стороны.