factory（ファクトリー）は「工場」の意味で問題ないと思いますが、plantは大元に「植物」や「～を植える」といった意味があり、ここからイディオム的な使われ方もします。
工場を意味する場合にはfactoryとplantの両方が使えるケースもありますが、plantのみしか使わないケースもあります。
このあたりの違いをスティーブとカール、２人のネイティブスピーカーにヒアリングをしながらまとめてみました。
factoryとplantの違い
plantにはもともと「植物」の意味があり、果実がなるようなものをイメージするとわかりやすいです。そこから比喩的に「何かを生み出すもの、作り出すもの」といった形で「工場」の意味につながっています。
factoryとplantの違いについては、factoryは製造など物体を作るような場所に使われます。自動車の工場のように、目に見える物体、物質を扱うような工場です。
I work in a car-assembly factory.
自動車の組み立て工場で働いている。
I work in a solar panel factory.
私は太陽光パネルの工場で働いている。
一方のplantは電力などエネルギーなどを生み出す場所にも使うことができます。また物体、物質を生み出す場所の両方に使えます。
power plantは「パワーを生み出すもの」の意味から普通は「発電所」として使われます。
I work in a car-assembly plant.
自動車の組み立て工場で働いている。
I work in a nuclear power plant.
原子力発電所で働いている。
I work in a solar power plant.
太陽光発電所で働いている。
The states will build two new power plants in the next years.
州は来年に２つの新しい発電所を建設するだろう。
The Toyota plant in my hometown is closing down.
うちの町のトヨタの工場は閉鎖している。
物体を作っているものはfactoryに置き換えても違和感はありませんが、原子力や太陽光を生み出す場所にfactoryを使うと変です。
I work in a nuclear power factory.
I work in a solar power factory.
規模の大小は厳密には規定はありませんが、一般的にplantは大きなものを連想させます。
また街中にあるような小さな町工場をfactoryと呼ぶことはあっても、一般的にはplantと呼ぶことは普通の感覚ではありません。
factoryは大きな工場と小さな工場のどちらにも使えるので、巨大工場はfactoryでもあり、plantでもあります。
plant（植物）
plantは花、木、野菜などの「植物」のことです。
His garden was full of plants.
彼の庭は植物でいっぱいだった。
She is a vegetarian so she only eats plants.
彼女はベジタリアンなので、彼女は植物だけを食べる。
多くの木々が集まった農園は名詞で「plantation（プランテーション）」です。
あまり見かけませんが生物学などの専門用語でflora（フローラ）が植物、特にある地域に生息する植物の総称として用いられるケースがあります。空港などの注意書きでまれに見ることがあります。
木などを植える
そのまま動詞で植物を植えることを意味します。
I planted roses in my garden.
庭に薔薇を植えた。
I want to find a place where I can plant wasabi.
わさびを植えられる場所を見つけたい。
仕込む
ここから転じてサクラ、回し者、スパイなどを「仕込む」ことを指します。植えることからのつながりですね。
The magician had several plants in the audience for his mind-reading trick.
マジシャンは読心術のトリックのために何人かのサクラを観客の中に仕込んだ。
The salesperson had a plant in the crowd to pretend to be really interested in the product.
セールスマンは本気で製品に興味があるふりをするサクラを群衆の中に仕込んだ。
The police planted money in his apartment so they could arrest him.
警察は彼を逮捕できるように彼のアパートに金を仕込んだ。
The politician planted his assistants in the audience to ask certain questions that would make him look good.
政治家は彼の秘書を、彼をよく見せる質問をするように群衆の中に仕込んだ。
