Приступив к работе в русском отделе третьего подразделения Государственного полицейского управления, Гульберг просидел первые два года за письменным столом, получил чин капитана и вслед за тем начал делать первые робкие шаги в изучении обстановки на месте, занимая в 1952–1953 годах должность атташе по вопросам авиации при шведском посольстве в Москве. Любопытно, что он шел по стопам другого известного шпиона — несколькими годами раньше в его должности работал знаменитый полковник ВВС Стиг Веннерстрём.