その他にもThat being said、Having said that、That saidなどが同じような意味で使われます。
The diet can make you slim without exercise. With that being said, exercise is important too. (ダイエットは運動なしであなたをスリムにすることができます。とは言え、運動も重要です)
You don't need to know grammar so much when you speak English. That being said, grammar is useful to understand English. (英語を話す時それほど文法の知識は必要ありませんが、そうは言っても、文法は英語を理解する時に役立ちます)
何かを見たり、聞いたりした時に鳥肌が立つ場合は、上記のようにgiveを使えば伝わるでしょう。
That is the conclusion. Having said that, let's start working on documents. (それが結論です。という訳で、資料作成に取り掛かりましょう)