世俗的眼光是不是真的那么重要？我该如何抉择呢？

你需要的是调整心理角色，在考虑你们俩的感情问题时，不用考虑“嫁不嫁给这个离异男人”，而把选择尽可能简化成“嫁不嫁这个男人”。这样做，就是将在你心理上造成困扰的“离过婚、有过孩子的男人”还原成为“男人”。再在“我这个女人”该不该嫁这个“男人”的层面上去想问题。因为，不是“离过婚、有过孩子的男人”和“未婚女”结婚就不能保证成功，而是所有女人同男人结婚也不可能保证都成功。因为离过婚就放弃真爱，就如同因噎废食般。
而这一心理角色的转换需要你们俩共同努力，你要用语言和实际行动让他明白，“离过婚”并不是错，从某种程度上来说，放下一段错误的、毫无感情的婚姻是一种文明和进步。只有明白这一点，他才能以正常的心态与你相处。
这其中的关键，取决在于你的心态，而不是让世俗的眼光，别人的看法来代替你的选择。