出生于江西德化县（今九江）一个书香门第。曾祖父黄凤楼为道光进士，父亲黄儒藻秀才出身。幼年广涉经史，兼习英语。1900年父母双亡，年仅十五岁便成孤儿，寄居族兄家，入南浔公学读书。
在南浔公学期间投身革命思潮，曾因组织罢课被开除。1903年考中秀才，同年秋中举人（江西省第七名）。1904年参加清朝最后一次科举会试，高中进士，为同榜最年轻者，不满二十周岁。
中进士后获“知县即用”资格，但不愿入仕。以进士身份受官费资助，东渡日本，入日本中央大学学习法律。留学六年，“黾勉研索，昕夕无间”，兼修英语，打下坚实学识根基。
学成归国，以进士兼留学生身份进入邮传部，历任员外郎、参议厅行走、编译局纂修等职。曾奉命编纂《邮电航路四政条例》，一日成数千言，“叙事详尽，文词渊雅”，同僚叹服。然他深恨清朝腐败，对官场日益厌倦。
辛亥革命后辞官，1912年与张君劢、蓝公武创办《少年中国周刊》，开启记者生涯。后主编《庸言》月刊，任《申报》《时报》《东方日报》特约记者及《亚细亚报》撰述。
他是中国近代史上第一个专职记者，开创“通讯”这种新闻文体。“远生通讯”题材重大、分析深刻、文笔生动，报道宋教仁案、“二十一条”等重大事件。他提出新闻 “第一义在大胆，第二义在诚实不欺”，强调记者“四能”：脑筋能想、腿脚能奔走、耳能听、手能写。
袁世凯复辟帝制，强聘黄远生为《亚细亚报》总撰述，逼其写拥帝文章。黄远生不从，先逃离北京，10月乘船赴美避祸。12月25日，在旧金山唐人街广州楼用餐时，被人从背后枪杀，年仅三十岁。
死因一度成谜，曾误传为袁世凯所为，后经人透露系国民党在美人员误杀。1916年初，遗骸由顾维钧运回上海，2月20日举行追悼会，后归葬九江。1956年被追认为革命烈士。
好友林志钧整理《远生遗著》，成为中国最早的报刊通讯集。胡适称其为文学革命“先声”人物；周恩来1918年在日记中写道 “晚间观黄远生遗稿”；《新青年》《新潮》提及他言论不下三十篇。
他被誉为 “报界之奇才”，其短暂生命在中国新闻史和思想史上留下不可磨灭的印记。