事情的起因是关于香港回归后是否在香港驻军的问题。“两会”期间，香港记者到处采访，打探中央关于香港问题的立场、决定。据时任香港回归中方谈判代表团团长的周南在2007年出版的《周南口述：遥想当年羽扇纶巾》一书中回忆：“1984年5月，香港一些大的传媒派了一些女孩子来当记者。这些女孩子很难缠，有的还是奉命来摸底的。”前外交部长、时任全国人大常委会副委员长的黄华持同样看法，他在《亲历与见闻：黄华回忆录》中说：“被邀请来的香港记者极想捕捉到一点有关中央对香港回归问题谈判的信息，其中焦点之一就是回归后人民解放军是否进驻香港问题。香港记者趁人大会议期间香港各界人士同中国高层人士聚集的时机，见到党和国家领导人就劈头盖脸地提问。”
耿飚就是在劈头盖脸的提问中出了纰漏的。据中央人民广播电台记者刘振敏回忆：
有记者问耿飚副委员长：“香港老百姓怕驻军，你们中央是不是一定要在香港驻军？”耿飚副委员长作了含糊其辞的回答：我们可能不一定驻军吧。第二天，香港报纸讲香港不必驻军，是“中国政府的意见”；“中共前国防部长说，香港恢复后，中国将不派军队进驻香港”。一时间，满城风雨。有的认为，关于香港是否驻军问题，中国的政策变了，邓小平说的不算了。
耿飚是解放军着名将领，解放后长期在外交战线工作，后担任国防部部长、人大常委会副委员长等，为中国人民的解放事业和外交、国防工作作出了贡献，但他一句含糊其辞的话，被香港记者作了带有明显倾向性的诠释和报道，因而引发了轩然大波。
