สารบัญ
Recap: เก็บ Evidence แบบ Manual ทันมั้ย?
ใน ตอน 09 เราคุยเรื่อง sampling — ตรวจตัวอย่างเพราะตรวจหมดไม่ได้ ใน ตอน 10 เราคุยเรื่องเก็บ evidence ที่ใช้ได้ — เน้นที่ quality ของ evidence
แต่ลองคิดดูครับ — ถ้าธนาคารมี 10 ล้าน transactions/วัน ตรวจ sample 100 รายการ → ได้ evidence แค่ 100 / 10,000,000 = 0.001% ของ population
ถ้าเราตรวจได้ ทั้ง 10 ล้าน ล่ะ? — confidence ของ audit opinion จะแข็งแกร่งกว่ามาก
นี่คือสิ่งที่ data analytics เข้ามาเปลี่ยน — และ Section 1.8 เล่าเรื่อง วิวัฒนาการของเครื่องมือ audit ที่ทำให้สิ่งนี้เป็นไปได้
วิวัฒนาการ: 3 Generations ของ Audit Tools
ก่อนเข้าเนื้อขอวางภาพใหญ่ก่อน — เครื่องมือ audit พัฒนามา 3 generations:
Generation 1: Manual sampling ├── ตรวจเอกสารด้วยมือ └── เครื่องคิดเลขเพื่อ recompute ↓Generation 2: CAATs (Computer-Assisted Audit Techniques) ├── Software ช่วยอ่าน + วิเคราะห์ data ├── ทำ full-population analysis ได้ └── แต่ยังเป็น "auditor รัน tool ตามจังหวะ" ↓Generation 3: Continuous Auditing + AI/ML ├── Audit ฝังในระบบ — ตรวจตลอดเวลา real-time ├── AI ค้นหา pattern ที่คนมองไม่เห็น └── บทบาท auditor เปลี่ยนเป็น tool designer + interpreterใน Section 1.8 เราจะคุยทั้ง 3 generations — เพราะข้อสอบถามถึงทั้งหมด
Data Analytics Overview: 8 Use Cases
Data analytics ใน audit = ใช้เครื่องมือเลือก + วิเคราะห์ full data sets เพื่อ model หรือ monitor key data ขององค์กร — หา abnormalities หรือ variances
8 use cases ที่ ISACA กำหนด:
- ประเมิน operational effectiveness ของ control environment
- แสดง effectiveness ของ procedures/controls ที่ปรับใหม่
- ระบุ business process issues
- ระบุ control weaknesses + non-adherence
- ระบุ exceptions / unusual business rules
- Benchmark performance
- ระบุ areas of poor data quality
- ทำ risk assessment ใน planning phase
Process ของ Data Analytics
ก่อนใช้ analytics ต้องเตรียมตัว:
- Set scope — analysis objectives, data sources, reliability
- Identify + obtain data — ขอจาก sources, ทดสอบ sample, extract
- Validate data — sufficient + reliable มั้ย?
- Validate balances/categories reconcile กัน
- Reconcile unusual data กลับไป source
- Perform analysis — รัน scripts, analytical tests
- Verify time period ของ dataset
- Verify all required fields included
- Document results
- Review results (qualified person review)
- Preserve results — worksheets, scripts, macros, data files
ทุกขั้นตอนสำคัญ — ถ้า data ไม่ valid ตั้งแต่ต้น analysis ที่ทำได้แค่ “garbage in, garbage out”
ตัวอย่าง Use Cases ที่ทำได้
- เปรียบ logical access files กับ HR employee master files (ใครยัง active ในระบบบ้าง vs. ใครออกไปแล้ว)
- เปรียบ file library settings กับ change management system data (changes ที่ deploy match กับที่ approve มั้ย)
- Match logins กับ employee records หา physical security violations
- ตรวจ table/system configuration settings
- Test completeness ของ data migrations
- ตรวจ logical security gaps (เช่น Active Directory + job descriptions analysis)
ทั้งหมดนี้ทำใน full population — ไม่ใช่ sample
CAATs: Computer-Assisted Audit Techniques
CAATs = tools ที่ให้ IS auditor gather + analyze data ระหว่าง IS review
จำเป็นเมื่อระบบ IS มี hardware/software environments ต่างกัน, data structures ต่างกัน, record formats ต่างกัน
5 ประเภท CAATs หลัก
1. Generalized Audit Software (GAS) — สำคัญที่สุด
GAS = software มาตรฐานที่อ่าน data จาก database platforms ต่างๆ, flat-file systems, ASCII formats
Functions ของ GAS:
- Data queries — filter / file structures
- File reorganization — indexing, sorting, merging, linking
- Data selection — global filtration
- Statistical functions — sampling, stratification, frequency
- Arithmetical functions — math computations, recomputations
Capabilities:
- Sequence checking
- Duplicate checking
- Stratification
- Statistical analysis
ทำไม independent: GAS ไม่ depend on auditee’s tools → IS auditor มี independent data access
2. Utility Software
- Report generators จาก DBMS
- Provides evidence ของ system control effectiveness
3. Test Data
- IS auditor ใช้ sample data ทดสอบ program logic
- ตรวจว่า program ทำงานตาม objectives
4. Application Software Tracing + Mapping
- Trace processing path ผ่าน application
5. Expert Systems
- ให้ audit direction + information จาก knowledge base ของ senior auditors
CAATs ใช้ทำอะไรได้บ้าง?
- Tests of transaction/balance details
- Analytical review procedures
- Compliance tests ของ IS general controls
- Compliance tests ของ IS application controls
- Network + OS vulnerability assessments
- Penetration testing
- Application security testing + source code scans
Implementation Considerations (Checklist ก่อน Deploy)
- Ease of use
- Training requirements
- Complexity ของ coding + maintenance
- Flexibility of uses
- Installation requirements
- Processing efficiencies
- Effort to bring source data into tools
- Integrity ของ imported data
- Time stamp ของ downloaded data
- Permission to install on auditee servers
- Reliability ของ software
- Confidentiality ของ data
กฎสำคัญ: CAATs Data Access
IS auditor ควรขอ READ-ONLY access ต่อ production data — manipulations ทั้งหมดทำกับ copies of production data ไม่ใช่ production direct
ถ้า auditor ทำ analysis บน production แล้วเผลอเปลี่ยน data → disaster — auditor กลายเป็น “agent of change” บน production = violate independence + อาจเสียหายทางธุรกิจ
Continuous Auditing + Monitoring
Continuous auditing = IS auditor evaluates แบบ ongoing โดยไม่กระทบ operations
มีค่ามากในสภาพแวดล้อมที่:
- Transaction volume สูง
- Paper trails น้อย/ไม่มี
- Time lag ระหว่าง misuse กับ detection ต้องลด
5 Continuous Auditing Techniques (เรียงตาม Complexity)
1. SCARF / EAM (Systems Control Audit Review File / Embedded Audit Modules) — Complexity: Very High
- ฝัง audit software ใน organization’s host application system
- รักษา applications แบบ selective
- ใช้เมื่อ: regular processing ขัดจังหวะไม่ได้
2. Snapshots — Complexity: High
- ถ่าย “ภาพ” ของ processing path ที่ transaction follow ตั้งแต่ input → output
- Tag transactions ด้วย identifiers
- ใช้เมื่อ: ต้องการ audit trail
3. Audit Hooks — Complexity: Medium
- ฝัง audit flags ใน application systems เป็น early warning red flags
- ใช้เมื่อ: ต้องการ audit เฉพาะ transactions/processes บางอย่าง
4. ITF (Integrated Test Facility) — Complexity: Low
- ตั้ง dummy entities ใน production files
- Process test transactions พร้อม live transactions
- เปรียบ output กับ independently calculated results
- ใช้เมื่อ: วิธีอื่นไม่ beneficial
5. CAS (Continuous and Automated Simulation) — Complexity: Medium
- จำลอง instruction execution ขณะ transaction ถูก enter
- ตรวจว่า transaction เข้า predetermined criteria
- ใช้เมื่อ: transactions ที่เข้าเกณฑ์เฉพาะต้องตรวจ
Continuous Auditing Advantages
- จับ control problems ขณะเกิด (ไม่ใช่หลายเดือนหลังจากนั้น)
- ป้องกัน negative effects ก่อนสะสม
- ลด delays, time constraints, late-discovered errors
Challenges ที่ต้องระวัง
- ต้องการ full top management support
- ต้องการ extensive technical knowledge
- False positives + false negatives ต้อง minimize
- อาจต้อง fine-tune auditing layers เป็นระยะ
Tools ที่ใช้
- Query tools, process + data analysis
- DBMS, data warehouses, data marts, data mining
- Social network technologies
- XBRL (Extensible Business Reporting Language)
AI/ML in IS Audit (Generation 3)
ITAF 5th edition (กุมภาพันธ์ 2026) เพิ่ง add section ของ AI ใน IS audit — เป็นเรื่องใหม่ที่ exam จะเริ่มถามมากขึ้น
Algorithms คืออะไร?
Algorithm = set up particular process. ไม่ใช่ทุก algorithm จะซับซ้อน — บางอันเป็นแค่ “if/then” logic
AI/ML techniques คือ evolution ของ CAATs — same considerations apply:
- Read-only access
- Validate data
- Document everything
- Human review ของผล
6 AI/ML Audit Applications
| Technique | ทำอะไร | Use ใน Audit |
|---|---|---|
| Document classification | จัด documents เข้า topics | เข้าใจ SOPs, infer จาก prior audit reports |
| Text summarization | สร้าง natural language summary | จัดรูปแบบ audit observations |
| Topic analysis | ระบุ topics ใน documents | วิเคราะห์ data, สร้าง keyword rule engines |
| Search and retrieval | หา documents ตรง search criteria | ค้นหา similar audit report references |
| Statistical analysis | ประเมิน trends ของ terms/phrases/topics | aggregate data, ระบุ trends |
| Sentiment analysis | สกัด + วิเคราะห์ text sentiment | ระบุ key issues + risk, prepare reports |
AI/ML Risks ที่ต้องระวัง
นี่คือส่วนที่สำคัญที่สุด — ถ้าใช้ AI ผิดวิธี = อันตรายกว่าไม่ใช้
- Training data ต้อง validate — ทั้งตอน implement และเป็นระยะ
- Numerical significance ต้องเข้าใจ — ผลต้อง represent ทั้ง audit universe ไม่ใช่บางส่วน
- Conclusion ต้องอิง substantive evidence — ไม่ใช่แค่ algorithm output
- AI tools ที่ human สร้าง = มี ethics + bias risks — judgment + stereotyping ของผู้สร้างฝังเข้าไป
- Training data ต้องครอบคลุม usual + unusual cases — ไม่งั้น AI จะ miss edge cases
- Always need human interpretation — AI ไม่เคยเป็น final word
Bias in AI Auditing — กรณีจริง
ถ้า AI tool ของ auditor ถูก train บน biased data — ผลลัพธ์อาจ flag transactions ของ กลุ่มคนบางกลุ่มมากกว่าปกติ โดยไม่มีเหตุผลที่ valid
ในบริบทธุรกิจ — อาจมี implication ทางกฎหมายเรื่อง discrimination ถ้า audit recommendation นำไปสู่การ deny service
หลักการของ ISACA: AI = tool, not decision-maker — auditor ยังคงเป็นคนตัดสิน + รับผิดชอบ professional opinion
Trap Patterns ที่ Exam ออก
| Trap | ความเข้าใจผิด | ความเข้าใจที่ถูก |
|---|---|---|
| CAATs replace IS auditor | คิดว่า CAATs ทำ audit อัตโนมัติทั้งหมด | CAATs = tools — IS auditor design + interpret + judgment |
| Continuous = always better | คิดว่า continuous auditing แทน periodic ได้ทั้งหมด | Continuous = setup cost สูง; periodic ยังเหมาะกับบาง engagements |
| SCARF = simplest | คิดว่า embedded modules = simple | SCARF = Very High complexity; ITF = Low complexity |
| AI = perfect | คิดว่า ML results objective + error-free | ML ต้อง human interpretation + training data biases ทำให้ผิดได้ |
| Test data on production | คิดว่า CAATs ใช้ test data บน production system | Manipulations ต้องทำบน copies ของ production — ห้ามแตะ production direct |
| GAS = financial only | คิดว่า GAS เป็น accounting software | GAS อ่านจาก database platforms ต่างๆ + flat files + ASCII |
Cross-Reference
- Sampling vs. Full Population — analytics replace บางส่วนของ sampling จาก ตอน 09
- Analytics output = evidence — ต้องผ่านมาตรฐาน sufficient + competent จาก ตอน 10
- CAATs ใน Audit Program — testing methodology ที่ระบุใน audit program จาก ตอน 08
- Continuous monitoring + IT Operations — Domain 4 จะลึก continuous monitoring ในระบบ IT operations
ในบทถัดไป — เมื่อ test เสร็จ + evidence เก็บครบ + analytics รันแล้ว → ขั้นถัดไปคือ “ออก report” ซึ่งจริงๆ ไม่ใช่แค่ writing — มันมี objective + structure + audience ที่ต้องเข้าใจ
อ้างอิง CRM (CISA Review Manual 28th Edition): Domain 1: Section 1.8 Audit Data Analytics
