ML Engineer (OCR)
At a glance
Mid-level Machine Learning Engineering role at Toss. Seoul.
Pay not stated ML Engineer salary
aimlroles summary, based on the employer's posting.
What you'll do
- Build and improve OCR models for text recognition, document structure, and end-to-end processing with vision-language models
- Create models that extract key details, classify documents, detect tampering or copies, and compare official seals
- Design reusable training and deployment workflows that reduce dependence on country-specific data for global identity checks
- Set data collection approaches, including synthetic examples, labeling plans, and privacy masking rules
- Deploy models to GPU serving with Triton, check training-to-serving consistency, and use live data to diagnose performance problems
What you bring
- You have applied OCR or Document AI models in a live service
- You have deep experience with at least one of two-stage OCR, end-to-end OCR, or vision-language document understanding
- You can adapt vision architectures and loss functions to a problem, then investigate performance until it meets its target
- You have owned a model lifecycle from data collection and training through serving and operational monitoring
Who this fits
This mid-level role suits an ML engineer who can take document vision problems from data and model design through deployment and production improvement. Youโll work with vision ML, MLOps, and server engineers on financial documents and identity checks. The interview process includes a technical deep dive and ML system design discussion.
From the employer
#๐์ง๋ฌด ์ธํฐ๋ทฐ๋ง ๋ด๋ 100๋ง์, ํจ๊ปํ ํ์ ์ง์ ๋ง๋๋ณด๊ณ ๊ฒฐ์ ํ์ธ์!
- 10์ 8์ผ(๋ชฉ)๋ถํฐ 25์ผ(๊ธ)์ ์ง์ํ์๋ ๋ถ๋ค์๊ฒ๋ง ํด๋น๋๋ ํน๋ณ ์ ํ์ด์์. ํฉ๊ฒฉ ์ฌ๋ถ์ ์๊ด์์ด ์ง๋ฌด ์ธํฐ๋ทฐ์ ์ฐธ์ฌํ์๋ฉด 100๋ง์์ ๋ฐ์์. (์ ์ธ๊ณต๊ณผ๊ธ ๋ณธ์ธ ๋ถ๋ด)
- ์ด 7๊ฐ์ ์ง๊ตฐ, 40์ฌ๊ฐ์ ํฌ์ง์
์์ ์ฑ์ฉ์ ์งํํ๊ณ ์์ด์. [**ํ๋์ ๋ณด๊ธฐ**](https://toss.im/career/event/ai-ml-data-2026)
- ์ง์ํ์ ํฌ์ง์
๋ณด๋ค ๋ ์ ๋ง๋ ํฌ์ง์
์ด ์๋ค๋ฉด ์ ํฌ๊ฐ ๋จผ์ ์ ์๋๋ ค์. ๋ค๋ฅธ ์ง๋ฌด๋ก ๋ณ๊ฒฝํ์ฌ ์ธํฐ๋ทฐ๋ฅผ ์งํํ์
๋ 100๋ง์์ ๋์ผํ๊ฒ ์ง๊ธ๋ผ์.
# ํฉ๋ฅํ๊ฒ ๋ ํ์ ๋ํด ์๋ ค๋๋ ค์
- ML Engineer (OCR ยท Document AI)๋ Vision Service Team์ ์ํ์ฌ, Vision ML Engineer, MLOps Engineer, ์๋ฒ ๊ฐ๋ฐ์์ ํจ๊ป ์ผํด์.
- Vision Service Team์ Document AI, ์ ๋ถ์ฆ ์ง์ํ์ธ(eKYC), Generative AI, General Vision ๋ฑ ํ ์ค์ ๋ชจ๋ Vision ๊ธฐ์ ์ ์์ฒด ๊ฐ๋ฐํ๊ณ , ํตํฉ API ํ๋ซํผ์ผ๋ก ์ ์ฌ์ ์ ๊ณตํ๋ Vision ์ ๋ฌธ ์กฐ์ง์ด์์.
- ๋ค์ํ ์ธ์ด๋ฅผ ์ง์ํ๋ Document AI ๊ธฐ๋ฅ์ ๊ฐ๋ฐํ๊ณ ์์ด์. ๊ตญ๊ฐ๋ณ ์ ๋ถ์ฆ๊ณผ ์ฆ๋น ์๋ฅ์ ์ธ์ด ยท ์์์ ์ผ๋ฐํ๋ ๋ค๊ตญ์ด OCR ยท KIE ยท ์ง์ํ์ธ ๋ชจ๋ธ์ ์์ฒด ๊ธฐ์ ๋ก ํ๋ณดํ๊ณ , ํน์ ์ธ์ด์ ์ข
์๋์ง ์๋ ์ผ๋ฐํ ๋ชจ๋ธ๊ณผ ํ์ค ์จ๋ณด๋ฉ ํ์ดํ๋ผ์ธ์ ์์ฒด ๊ตฌ์ถํ๊ณ ์์ด์
# ํฉ๋ฅํ๋ฉด ํจ๊ป ํ ์
๋ฌด์์
- Text Detection / Recognition, ๋ฌธ์ ๋ ์ด์์ ๋ถ์, VLM ๊ธฐ๋ฐ End-to-End OCR ๋ชจ๋ธ์ ๊ฐ๋ฐํ๊ณ ๊ณ ๋ํํด์.
- ์ ๋ถ์ฆ ยท ๊ณ์ฝ์ ยท ์ ๋ถ ๋ฌธ์ ๋ฑ ๊ธ์ต ๋ฌธ์์ ํต์ฌ ์ ๋ณด ์ถ์ถ(KIE), ๋ฌธ์ ๋ถ๋ฅ, ๋ฌธ์ ์ง์ํ์ธ(์๋ณ์กฐ ยท ์ฌ๋ณธ ํ์ง), ์ง์ธ ์ผ์น ํ๋จ ๋ชจ๋ธ์ ๊ฐ๋ฐํด์.
- ๊ธ๋ก๋ฒ eKYC๋ฅผ ์ํด ๊ตญ๊ฐ๋ณ ํ์ต ๋ฐ์ดํฐ ์์กด๋๋ฅผ ๋ฎ์ถ ์ผ๋ฐํ ๋ชจ๋ธ(KIE ยท Quality Checker ยท Fraud Detection)์ ์ค๊ณํ๊ณ , ์ฌ์ฌ์ฉ ๊ฐ๋ฅํ ํ์ต ยท ํ๊ฐ ยท ๋ฐฐํฌ ํ์ดํ๋ผ์ธ์ ๋ง๋ค์ด์.
- OCR ยท Document AI ๋ฌธ์ ๋ฅผ ์ ์ํ๊ณ , ํฉ์ฑ ๋ฐ์ดํฐ ์์ฑ ยท ๋ผ๋ฒจ๋ง ์ ๋ต ยท ๊ฐ์ธ์ ๋ณด ๋ง์คํน ์ ์ฑ
์ ํฌํจํ ๋ฐ์ดํฐ ์์ง ์ ๋ต์ ์๋ฆฝํด์.
- ํ ์ค ์์ฒด Document AI Benchmark๋ฅผ ๊ตฌ์ถํ๊ณ , ์ ๊ท ๋ชจ๋ธ๊ณผ VLM ๋ฆด๋ฆฌ์ฆ๋ฅผ ์ ํ๋ ยท ์๋ ยท ํ ๋ฃจ์๋ค์ด์
ยท ๋น์ฉ ๊ธฐ์ค์ผ๋ก ์์ ํ๊ฐํด ๋ชจ๋ธ ๋์
์ ํ๋จํด์.
- ํ์ต-์๋น ์ ํฉ์ฑ์ ๊ฒ์ฆํ๋ฉฐ GPU ์๋น(Triton) ํ๊ฒฝ์ ๋ชจ๋ธ์ ๋ฐฐํฌํ๊ณ , ์ด์ ์ค์ธ ๋ชจ๋ธ์ ์ฑ๋ฅ ์ด์ ์์ธ์ ์ค๋ฐ์ดํฐ๋ก ํ์
ํด ๊ฐ์ ํด์.
# ์ด๋ฐ ๋ถ๊ณผ ํจ๊ปํ๊ณ ์ถ์ด์
- OCR ๋๋ Document AI ๋ชจ๋ธ์ ์ค์๋น์ค์ ์ ์ฉํด ๋ณธ ๊ฒฝํ์ด ์๋ ๋ถ์ด๋ฉด ์ข์์.
- Two-stage OCR(Detection + Recognition), End-to-End OCR, VLM ๊ธฐ๋ฐ ๋ฌธ์ ์ดํด ์ค ํ ๊ฐ์ง ์ด์์ ๊น์ด ๋ค๋ค ๋ณด์
จ๊ณ , ๊ฐ ๋ฐฉ๋ฒ๋ก ์ ์ฅ๋จ์ ์ ์ค๋ช
ํ ์ ์๋ ๋ถ์ด๋ฉด ์ข์์.
- ๋น๋๋ฉด ๋ณธ์ธํ์ธ(eKYC), ์ ๋ถ์ฆ ์ง์ํ์ธ, ๋ฌธ์ ์๋ณ์กฐ ํ์ง ๊ฒฝํ์ด ์์ผ๋ฉด ๋์ฑ ์ข์์.
- Vision ๋ชจ๋ธ ๊ตฌ์กฐ์ Loss Function์ ๋ฌธ์ ์ ๋ง๊ฒ ์ค๊ณ ยท ๋ณ๊ฒฝํ๊ณ , ๋ชฉํ ์ฑ๋ฅ๊น์ง Deep Dive ํด ๋ณธ ๋ถ์ด๋ฉด ์ข์์.
- ๋ฐ์ดํฐ ์์ง ยท ๋ผ๋ฒจ๋ง ยท ํฉ์ฑ ๋ฐ์ดํฐ ์์ฑ๋ถํฐ ํ์ต, ์๋น, ์ด์ ๋ชจ๋ํฐ๋ง๊น์ง ๋ชจ๋ธ ์์ ์ฃผ๊ธฐ ์ ์ฒด๋ฅผ ์ฑ
์์ ธ ๋ณธ ๋ถ์ด๋ฉด ์ข์์.
- ์ ๋ถ์ฆ ยท ๊ฐ์ธ์ ๋ณด๋ฅผ ๋ค๋ฃจ๋ ๊ธ์ต ๋๋ฉ์ธ์ ๋ฐ์ดํฐ๋ฅผ ์ดํดํ๊ณ , ๋ง์คํน ยท ํ๊ธฐ ยท ์ ๊ทผ์ ์ด ์ ์ฑ
์ ๊ธฐ์ ์ค๊ณ์ ์ ์ฝ์ผ๋ก ๊ณ ๋ คํ ์ ์์ผ๋ฉด ์ข์์.
- ๋ชจํธํ ํ์
์์ฒญ์ ๋ชจ๋ธ ๋ฌธ์ ๋ก ์ ์ํ๊ณ , ๊ฒฐ๊ณผ๋ฅผ ์ ๊ฐ๋ ๋น์ฉ ยท ๋จ์ถ๋ ๋ฆฌ๋ํ์ ๊ฐ์ ๋น์ฆ๋์ค ์ํฉํธ๋ก ์ค๋ช
ํ ์ ์๋ ๋ถ์ด๋ฉด ์ข์์.
# ์ด๋ฐ ๊ฒฝํ์ด ์์ผ๋ฉด ์ข์์.
- VLM(Vision Language Model)์ ๋ฌธ์ ์ดํด ยท ์ ๋ณด ์ถ์ถ์ ํ์ธํ๋ํ๊ฑฐ๋ ํ๊ฐํด ๋ณธ ๊ฒฝํ์ด ์์ผ๋ฉด ์ข์์.
- ์ธ๋ถ ์๋ฃจ์
์ ์์ฒด ๋ชจ๋ธ๋ก ๋์ฒดํด ๋๋ฑ ์ด์์ ์ฑ๋ฅ์ ํ๋ณดํด ๋ณธ ๊ฒฝํ์ด ์์ผ๋ฉด ์ข์์.
- ๋ค๊ตญ๊ฐ ยท ๋ค๋ฌธ์ ๋ฑ ๋ถํฌ๊ฐ ๋ค๋ฅธ ๋ฐ์ดํฐ์์ ์ผ๋ฐํ ์ฑ๋ฅ์ ๋์ด์ฌ๋ฆฐ ๊ฒฝํ์ด ์์ผ๋ฉด ์ข์์.
- Triton, TensorRT, ONNX ๋ฑ์ผ๋ก GPU ์๋น์ ์ต์ ํํ๊ฑฐ๋, ์์ํ ยท ๊ฒฝ๋ํ๋ก ์ฒ๋ฆฌ๋๊ณผ ๋น์ฉ์ ๊ฐ์ ํ ๊ฒฝํ์ด ์์ผ๋ฉด ์ข์์.
- ๋ชจ๋ธ ํ๊ฐ ๋ฒค์น๋งํฌ๋ ์๋ํ๋ ํ๊ฐ ํ๋ค์ค๋ฅผ ์ค๊ณ ยท ์ด์ํด ๋ณธ ๊ฒฝํ์ด ์์ผ๋ฉด ์ข์์.
# ์ด๋ ฅ์๋ ์ด๋ ๊ฒ ์์ฑํ์๋ ๊ฑธ ์ถ์ฒํด์
- ์ํฉํธ ์์๋ ์
๋ฌด ๋๋ ํ๋ก์ ํธ์ ๊ฒฐ๊ณผ๋ฅผ ์ ํ๋ ยท ์ฒ๋ฆฌ๋ ยท ๋น์ฉ ยท ๋ฆฌ๋ํ์ ๋ฑ ๊ตฌ์ฒด์ ์ธ ์์น๋ก ์์ฑํด ์ฃผ์ธ์.
- OCR ยท Document AI ๋ชจ๋ธ์ ๊ฐ๋ฐํ๋ฉด์ ๊ฒช์ ๋ฌธ์ (๋ฐ์ดํฐ ๋ถ์กฑ, ๋๋ฉ์ธ ์ฐจ์ด, ์๋น ์ฑ๋ฅ ์ดํ ๋ฑ)์ ๊ทธ ๋ฌธ์ ๋ฅผ ์ด๋ป๊ฒ ํด๊ฒฐํ๋์ง ๊ตฌ์ฒด์ ์ผ๋ก ์์ฑํด ์ฃผ์ธ์.
- ์ง์ ์ค๊ณํ๊ฑฐ๋ ๋ณ๊ฒฝํ ๋ชจ๋ธ ๊ตฌ์กฐ์ ๊ทธ ์ ํ์ ๊ทผ๊ฑฐ๋ฅผ ์ ์ด ์ฃผ์๋ฉด ์ข์์.
- ๊ธฐ์ ์ ์ผ๋ก ์ธ๋ถ ๊ณต๊ฐ๊ฐ ๋ฏผ๊ฐํ ์ฌํญ์ผ ๊ฒฝ์ฐ, ํด๋น ๋ถ๋ถ์ ์ ์ธํด ์ฃผ์ธ์.
# ํ ์ค๋ก์ ํฉ๋ฅ์ฌ์
- ์๋ฅ ์ ์ > ์ง๋ฌด ์ธํฐ๋ทฐ > ๋ฌธํ์ ํฉ์ฑ ์ธํฐ๋ทฐ > ๋ ํผ๋ฐ์ค ์ฒดํฌ > ์ฒ์ฐ ํ์ > ์ต์ข
ํฉ๊ฒฉ
- ์ง๋ฌด ์ธํฐ๋ทฐ์์๋ ์ฌ์ธต ๊ธฐ์ ๋ฉด์ ๊ณผ ML ์์คํ
์ค๊ณ๋ฅผ ์ฃผ์ ๋ก ๋ฉด์ ์ด ์งํ๋ ์์ ์ด์์.
# ํจ๊ปํ ๋๋ฃ๋ฅผ ์ํ ํ๋ง๋
> "ํ ์ค์ ๋ชจ๋ ๋ฌธ์์ ์ ๋ถ์ฆ์ ์ฐ๋ฆฌ ๊ธฐ์ ๋ก ์ฝ์ด๋ด๊ณ , ๊ทธ ๊ธฐ์ ์ ์ ์ฌ์ ๊ธ๋ก๋ฒ ์์ฅ์ผ๋ก ํ์ฅํ๋ ์ผ์ ๊ฐ์ด์ด ๋ฐ๋ ๋ถ์ด๋ผ๋ฉด ํจ๊ป ํ๊ณ ์ถ์ต๋๋ค."
- ์ธ๋ถ ์๋ฃจ์
์ ๊ธฐ๋์ง ์๊ณ ์์ฒด ๋ชจ๋ธ๋ก ๊ธ์ต ์๋น์ค์ ํต์ฌ ๋ฌธ์ ๋ฅผ ํธ๋ ๊ฒฝํ์ ํจ๊ป ๋ง๋ค์ด๊ฐ ๋๋ฃ๋ฅผ ๊ธฐ๋ค๋ฆฌ๊ณ ์์ด์.
- Document AI๋ฅผ ๋์ด eKYC, ์์ฑํ AI๊น์ง ํ ์ค์ Vision ๋ฌธ์ ๋ฅผ ํญ๋๊ฒ ํ์ด๊ฐ๊ณ ์ถ์ด์.