Ve 14. stol. zde byl dřevěný kostel, na místě, kde je státní silnice č. 11, mezi obydlím č. p. 9 a 162, který byl zničen za husitských válek. Vedle něho stál hřbitov, v místě domku č. p. 162. O tom svědčí např. průvod občanů na Dušičky kolem roku 1895, jenž byl veden z tehdejšího kostela na tento starý hřbitov. Dne 19. června 1748 byl položen základní kámen k novému chrámu, který 25. července 1748, v den sv. Jakuba – patrona kostela, byl vysvěcen za přítomnosti tenkrát dědičného Pána Ant. VÍTA, hraběte z Bubna a Litic. Duchovní správu zpočátku vykonávali knězi ze Žamberka. Služby se konaly každou třetí neděli v měsíci. Za bohoslužby se odváděl poplatek Žamberecké faře, povinnost skončila až v r. 1869. Zvony – ze tří zvonů, velký sv. Jakub z r. 1558, prostřední sv. Antonín z r. 1765 a malý sv. Anna z r.1604, byly dva poslední zrekvirovány za 1. světové války.
Sv. Jakub byl v roce 2005 otočen v zavěšení, protože hrozilo jeho prasknutí a vyměněno uložení a zřízeno „elektrické zvonění“ na náklady obce Rybná n. Zd.
Hřbitov
Na hřbitově je pochován první kaplan lokalista v Německé Rybné František Tobiáš, + 1801. Na hřbitově se nachází náhrobek někdejšího místního faráře a děkana Jana Selichara /u zdi vlevo od hlavního vchodu do chrámu/. Vpravo od vchodu do kostela je pochován rybenský mecenáš Josef SEDLÁČEK, nar. 18. 2. 1909 + 20. 12. 1996. Na zdejším hřbitově jsou uloženy ostatky rybenského rodáka Nestora, význačného dějepisce a dokumentátora Stanislava BRKLA, nar. 7–10. 1922 + 15. 1. 1998.
Fara
Stará fara byla postavena ze dřeva v roce 1784. Nynější fara pochází z roku 1848. Faru obýval Albert Hlubík nar. 1916 – 1994, rodák ze Vsetínska; v dnešní době spravuje faru Mgr. Petr Hlavatý.