• Giriş. 1
  
• Kanıtların Toplanması 1
  
  • Denetim Planının Takip Edilmesi 3
    
  • Özel Kanıt Toplama İşlemleri 3
    
  • Uzmanlarca Yapılan İşler 3
    
    
• Kanıtların Analiz Edilmesi ve Sonuçların Çıkarılması 4
  • Kanıtın Yeterliliği 5
    
  • Kanıtların Uygunluğu. 6
    
  • Kanıtların Yeterlilik ve Uygunluğunun Değerlendirilmesi 6
    
  • Kanıtın İkna Ediciliği 7
    
  • Alternatif Bulgular ve Çelişkiler 7
    
  • Kriter ve Alt Kritere Göre Analiz. 8
    
  • Yapılan Çalışmanın Özetlenmesi 8
    
  • Mantıksal Sonuçlar 9
    
  • Sonuçlar İçin Destek. 10
    
  • Ek Denetim Çalışması 10
    
    
• Önerilerin Geliştirilmesi 11
  
• Rapor Taslağının Hazırlanması 12
  
• Genel Dokümantasyon İlkeleri 13
  
• İç İnceleme. 14
  
  • Grup Başkanının İncelemesi 14
    
• İmzalar 15
  
• Genel Denetçi Yardımcısının Genel Onayı 16
  

• Denetlenen Kişi İle Birlikte Bulguların Netleştirilmesi 17
  
  • Hazırlık. 18
    
  • Rapor Hazırlanmadan Önce Son Tartışma. 18
    

Teknik Standartlar ve Prensipler 19

• Özel Kanıt Toplama Prosedürlerinin Gerçekleştirilmesi 19
  
• Performans Denetimi Muhakeme İşlemi 23
  
• Mantıksal Sonuçların Geliştirilmesi 25
  
• Standart Dosya Organizasyonu. 28
  
• Çalışma Kağıdı Standartları 31
  
• Denetim Tamamlama Kontrol Listeleri 32
  
  

Giriş

Bir performans denetiminin saha çalışma aşaması, denetimin planlanması aşamasında geliştirilen denetim planının gerçekleştirildiği aşamadır.

Saha çalışma aşamasının beş ana basamağı vardır (Tablo 6.1):

1.        Gerçek performansın denetim kriterleri ile ilişkisinin saptanmasına yönelik kanıtların toplanması;

2.        Toplanan kanıtların analiz edilmesi ve denetim kriterlerine göre gerçek performans hakkında sonuçlara varılması;

3.        İyileştirme gerektirdiğini düşündüğümüz performans alanları için önerilerin geliştirilmesi;

4.        Rapor taslağının hazırlanması ve

5.        Bulguların, sonuçların, önerilerin ve rapor taslağının onayının elde edilmesi amacıyla bir iç inceleme toplantısının düzenlenmesi.

Kanıtların Toplanması

Denetim ekibi onaylanan denetim planına göre gerçek performans hakkında kanıt toplamaktan ve denetim çalışmasının denetim kriterleri ve alt kriterleri ile bağlantısının ne şekilde olduğuna ilişkin belgeleri sunmaktan sorumludur.

Denetim planından önemli ölçüde sapmalar, Genel Denetçi Yardımcısı tarafından onaylanmalıdır.

Gerçek performansı değerlendirebilmemiz için, performansın ne olduğunu belirlememiz gerekir. Bu, -denetim kriterlerimizle bağlantılı olarak- yönetim tarafından kullanılan sonuçların, sistemlerin, işlemlerin ve prosedürlerin araştırılması anlamında gelir.

Gerçek performansın araştırılması, gerçeklerin öğrenilmesi – Kanıtların toplanması ile ilişkili bir konudur. Gerçek, doğruluğu ispatlanabilen bir şeydir.

Tablo 6.1

Saha çalışması işleminin gerçekleştirilmesindeki işlem basamakları

Denetim Planının Takip Edilmesi

Kanıtlar, onaylı denetim planında (bakınız Bölüm 5 – Denetimin Planlanması) belirtilen tekniklerle toplanmalıdır. Bu plan, gerçek performansa ilişkin yeterli ve uygun kanıtların tutumlu, verimli ve etkili bir biçimde toplanması için en iyi olduğu düşünülen yaklaşımı ortaya koymaktadır.  Böylece kanıt toplama planını genel denetim planında belirtildiği gibi gerçekleştirmek denetim ekibinin sorumluluğudur.

Saha ekibi orijinal denetim planından önemli ölçüde sapması gerektiğine karar verirse ve bu sapma öngörülen zaman ve maliyetlerin artmasına veya azalmasına yol açarsa, önerilen değişiklikler öncelikle denetimden sorumlu Grup Başkanı ile tartışılmalıdır. Değişiklikleri kabul etmesi durumunda, Grup Başkanı Genel Denetçi Yardımcısının onayını almalıdır. İncelenmekte olan kuruluşun yönetimi de, değişikliğin önceki bilgilerine göre önemli farklılıklar göstermesi durumunda bilgilendirilmelidir.

Özel Kanıt Toplama İşlemleri

Muhtemel kanıt kaynakları, “Denetimin Planlanması” başlıklı Bölüm 5’in Teknik Standartlar ve Prensipler’de belirlenmiş ve açıklanmıştı. El kitabının bu kısmının Teknik Standartlar ve Prensipler Bölümü çeşitli kaynaklardan nasıl kanıt toplanacağı ve sonuçların nasıl belgeleneceği konularında daha fazla bilgi sunmaktadır.

Uzmanlarca Yapılan İşler

İş ister Kurum ekibi isterse diğerleri (yani uzmanlar) tarafından yapılsın, performans denetimlerimizin politikalarımıza uygun bir biçimde gerçekleştirilmesini sağlamakla sorumluyuz.

Uzmanlarca yapılan özel analiz veya diğer işler daima yazılı olarak elde edilmelidir. Toplantılarda uzmanlarla önemli konular tartışılırken, tutanak tutulmalı ve kopyaları danışmanlara sunulmalıdır. Önemli telefon konuşmaları da not edilmelidir. Uzmanlarca ortaya konulan konuların yapısı da açıkça belgelenmelidir.

Bir uzman ekibin bir parçası olarak denetim işini yerini getirdiğinde, Grup Başkanı uzmanın çalışmasını diğer ekip elemanlarının çalışmasını incelediği gibi gözden geçirmelidir. Ayrıca bir uzmandan genellikle uzman bilgisi ve deneyimi sağlaması için yararlanıldığı için, Grup Başkanı Ekip Şefinin yardımıyla aşağıdakileri yapmak zorunda kalabilir:

·        Kullanılan yöntemleri, varsayımları ve kaynak verileri gözden geçirmek;

·        Uzman tarafından kullanılan varsayımların durum için mantıklı olup olmadığını belirlemek;

·        İşin görev şartlarını karşılayıp karşılamadığını belirlemek;

·        Bulguların mantıklılığını ve anlamlılığını belirlemek ve bunların denetim hedefleri, kapsamı ve kriterleri ile ilgi derecesi konusunda karar vermek ve

·        Uzmanın tavsiyesinin ve çalışmasının uygun şekilde belgelere geçirilmesini sağlamak.

Dokümanlar aşağıdakileri içermelidir:

·        Uzmanın rolünün bir açıklaması;

·        Görev şartları (kontratın bir sureti);

·        Uzmanın çalışmasının, tavsiyesinin veya vardığı sonuçların ayrıntıları (örneğin danışmanın tavsiyesi ve denetçinin bu tavsiye ile ilgili çalışması, danışmanın çalışma kağıtları ve danışmanın raporu) ve

·        Uzmanın çalışmasının ilgili denetim bulgu ve sonuçlarını desteklediğine ilişkin kanıtlar.

·        Uzmanların yönetilmesi ile ilgili daha fazla bilgi için, Bölüm 3 –Performans Denetimlerinin Sorumluluğu- ve Bölüm 8’i –Proje Yönetimi- inceleyiniz.

Kanıtların Analiz Edilmesi ve Sonuçların Çıkarılması

Denetim ekibi gerçek performans hakkında geçerli sonuçlara varılabilmesini sağlayacak yeterlilik ve uygunluğa sahip kanıtları toplamalıdır.

Kanıtlar toplandıktan sonra, bunlar değerlendirilmelidir. Bu değerlendirmenin önemli bir kısmı, saha çalışmasının bütün aşamaları boyunca kanıtlar bağlantıları ve güvenilirlikleri açısından incelenirken ve bulgular analiz edilirken gerçekleşir. Ancak bu aşamada kanıtların yeterlik ve uygunluğa ve denetim kriterlerine göre çıkarılan sonuçlara göre değerlendirilmesi gerekir.

Gerekli güvence seviyesinin elde edilmesi için yeterli ve uygun kanıtın mevcut olup olmadığı sorusu, profesyonel bir kararla ilgili bir konudur. Kurumun gerek duyduğu güvence seviyesi, gerçeklerin hemen hemen kesin ve yeterli ölçüde ikna edici olduğu ve çelişkisiz kanıtların bulguları ve sonuçları desteklediği seviyedir.

Bulgular, profesyonel kararların uygulanmasıyla elde edilen ara sonuçlardır. Bir bulgu bir ya da daha fazla gerçekten, diğer bulgularla bir araya getirilen gerçeklerden ya da bir araya getirilen iki veya daha fazla bulgudan türetilebilir. Bulgu ikna edici kanıtla desteklenmelidir ve bazı durumlarda hemen hemen kesin olabilir. Bir bulgu bir alt kriterin karşılanıp karşılanmadığı ile ilişkili olabilir.

Sonuçlar, bulgulardan türetilen özet fikirlerdir. Bunlar genellikle profesyonel karara bulgulara göre daha geniş bir ölçüde bağlıdır ve genellikle bulgulara göre daha yüksek bir denetim kriter düzeyi ile ilişkilidir.

“Yeterli” ve “uygun” terimleri, Paranın Değeri Denetim Standartlarında özel olarak tanımlanmamıştır. Ancak Kanada Yeminli Denetçiler Enstitüsü El Kitabı, terimleri performans denetimi için de uygun bir şekilde tanımlamaktadır. Yeterlilik “elde edilen denetim kanıtlarının miktarının bir ölçüsü” ve uygunluk da “kanıtın kalitesinin bir ölçüsüdür.”

Kanıtın Yeterliliği

Kanıtın yeterliliği (veya miktarı), aşağıdakilerden birine karşılık gelir:

·        Elde edilen kanıtın miktarı (örneğin tek tek toplanan gerçeklerin sayısı veya incelenen kalemlerin sayısı) veya

·        Kanıtın tamlığı (örneğin gerçekler ve bulguların denetim kriterleri ile uygun bir karşılaştırmaya olanak tanıyıp tanımadığı ve böylece denetim sonuçları için ikna edici destek sağlayıp sağlamadığı).

Kanıtların Uygunluğu

Kanıtın uygunluğu (veya kalitesi), birkaç özellikle belirlenir. Uygun olması için bir kanıtın;

·        Denetim hedefleri, kapsamı ve kriterleriyle bağlantılı olması.

·        Özel bir olaydan çok genel uygulamayı temsil edebilmesi.

·        Benzer kaynaklar (görüşme gibi) arasında uyumlu olması veya başka türlü doğrulanabilir olması.

·        Güvenilir olması (örneğin, belirli bir politikanın mevcut olduğunu belirten bir ekip görüşmesi, politika otoritesine başvuru ile desteklenmelidir.)

·        İnanılır olması ve güvenilir bir kaynaktan elde edilmesi. Güvenilirliğin belirlenmesi için, denetim ekibinin her durumda kanıtın yapısını değerlendirmesi gerekir. Örneğin dahili olarak yazılmış bir not belirli bir konuya işaret etse bile, bilginin ek kaynaklarla desteklenerek notun konunun eksik veya hatalı bir temsili olmadığından emin olunması gerekebilir.

·        Yansız olması (örneğin incelenmekte olan kuruluşun ekip üyelerince ifade edilen güçlü fikirler taraflı olabilir ve ek kaynaklarla desteklenmelidir).

·        Eksiksiz olması ve böylece performansa ilişkin eksiksiz bir görünüm elde edilmesine olanak tanıması.

·        Güncel olması ve rapor hazırlama süresince geçerli kalma olasılığının bulunması.

·        Dahili olarak güvenilir olması ve böylece bilginin uygun kontrollere sahip bilgi sistemlerinden geldiğinin bilinmesi veya iç doğrulama prosedürleri ile doğrulanabilmesi.

·        Çelişkisiz olması – Çelişkili kanıt bulunursa, bu tatminkar bir biçimde açıklanmalı ve anormallikler çözüme kavuşturulmalıdır. Örneğin farklı çalışanlarla yapılan görüşmeler sonucunda politika veya uygulama konusunda çatışan düşünceler ortaya çıkabilir. Gerçekte veya algılamadaki farklılık değerlendirilmeli ve destekleyici kanıt araştırılmalıdır.

Kanıtların Yeterlilik ve Uygunluğunun Değerlendirilmesi

Kanıtların yeterliği ve uygunluğu birbirine bağlıdır. kanıt miktarının yeterliği kalitesine, yani ne ölçüde uygun olduğuna bağlıdır. Bu bakımdan, eğer yüksek kaliteli bir kanıt söz konusu ise, daha düşük bir miktarda genellikle yeterlidir. Kanıt düşük kaliteli ise, o halde daha büyük bir miktar yeterli olabilir (ancak her zaman değil).

Denetçi her şeyden önce yeterli kanıtın elde edilip edilmediğini ve ikincisi, doğru kalitede kanıt elde edilip edilmediğini saptamayı bekleyemez. İkisini bir arada değerlendirmesi gerekir.

Bulguların ve sonuçların desteklenmesi amacıyla gerekli kanıtın yapısı, normalde gerçeklerin desteklenmesi için gereken kanıttan daha yüksek olamaz. Bunun nedeni, bulguların ve sonuçların saptanmasında profesyonel düşüncenin önemli bir rol oynaması ve böylece kanıttaki kesinlik derecesinin daha düşük olmasıdır. Sonuç olarak bulguların ve sonuçların değerlendirilmesi için uygun temel yaklaşım, bunların ikna edici kanıtlarla desteklenip desteklenmediğini düşünmektir.

Kanıtın İkna Ediciliği

Çoğu durumda bulgu ve sonuçları desteklemek amacıyla elde edebildiğimiz kanıt, kesin bir kanıt sunmayacaktır. Bunun yerine, uyguladığımız ölçü standardı ikna ediciliktir. Bu standarda göre, kanıt hemen hemen her zaman “makul kuşkunun ötesinde olmaktan” az, ancak “olasılıklar arasındaki bir dengeden” daha çoktur.

Tek bir kanıt tipi genellikle, birkaç destekleyici kanıt tipine göre daha az ikna edicidir. Örneğin kanıt yalnızca bir görüşmede elde edilen bilgileri içeriyorsa, bu yazılı teyit veya doğrudan gözlem yoluyla teyit alabildiğimiz durumlara göre daha az ikna edici olabilir. Genel olarak, farklı kaynaklardan elde edilen farklı kanıt tiplerinin bir arada kullanılması ile tek tek kanıtların kullanılmasına göre daha yüksek bir inandırıcılık derecesi elde edilmektedir: Toplam, onu oluşturan parçalardan daha büyüktür.

Ancak destekleyici kanıt araştırma gereksinimi, profesyonel görüşle ilgili bir konudur. Bazı durumlarda tek bir kaynaktan elde edilen kanıt çok ikna edici olabilir. Örneğin yazılı bir politikanın varlığı gibi belirli gerçeklere dokümanlar yoluyla ulaşılabilir. Bu sözlü kanıt veya analiz yoluyla ek teyit alınmasını gereksiz kılabilir. Etkin bir sistem veya işlemin doğrudan gözlenmesi de ikna edici bir kanıt sunabilir. O halde, destekleyici kanıta gerek olup olmadığına karar verilmeden önce her bir durumun uygun şekilde değerlendirilmesi gerektiği açıktır.

Alternatif Bulgular ve Çelişkiler

Denetim ekibinin bir bulguyu veya sonucu, alternatif bir bulgu veya sonucu destekleyen bir kanıta göre biraz daha güçlü bir kanıta dayandırması yeterli değildir. Bir denetim ekibi hiçbir şekilde, çelişkileri ortadan kaldırmadan bir bulgu ile yoluna devam etmemelidir.

Bazı kanıt parçaları destekleyici olmaktan çok çelişkili gibi görünüyorsa, daha fazla kanıt araştırılmalıdır. Örneğin daha fazla kanıtın çelişkinin tamamıyla benzersiz veya anlamsız bir istisna olduğunu kanıtlaması halinde, başlangıçta önerilmiş olan bulgu geçerliliğini koruyabilir. Örneğin bir denetçi tek tek hata durumları (sayı veya boyutça önemli değil) ortaya çıkmış olsa bile, bir kriterin genel olarak karşılanmış olduğu sonucuna varabilir. Öte yandan belirli bir çelişkinin sonuçlandırılması için kanıt bulunmaması durumunda, bulguların yeniden değerlendirilmesi gerekir. Hiçbir şekilde, belirli bir çelişkiyi ortadan kaldırmadan yolumuza devam etmemeliyiz.

Kriter ve Alt Kritere Göre Analiz

Denetim ekibi denetim işlemi boyunca kanıtları kriterlere ve alt kriterlere göre sınıflandırmalı ve analiz etmeli ve yapılan işin alt kriterlerine ve elde edilen sonuçlara göre bir özet hazırlamalıdır. Bu tür bir organizasyon bulgu ve sonuçların geliştirilmesinde hiçbir kanıtın gözden kaçırılmamasını sağlayacaktır. Ayrıca ekip üyeleri arasında organize ve ilgili konulara odaklanmış tartışmalar yapılmasını kolaylaştıracak ve toplanan kanıtların yeterliliği ve uygunluğu konusunda zamanında karar verilmesini sağlayacaktır.

Aynı zamanda, denetim ekibinin işlem sırasında çok hızlı bulgu ve sonuç geliştirmemesi de önemlidir, çünkü böyle yapılması aceleye getirilmiş genelleştirmelere yol açabilecektir. (Bu bölüme ait Teknik Standartlar ve Prensipler’deki “Mantıksal Sonuçların Geliştirilmesi” bölümü altında yer alan “Mantıksal Yanlışlıkları” inceleyiniz.)

Yapılan Çalışmanın Özetlenmesi

Kanıt toplanırken ve analiz edilirken, denetim ekibi yapılan işin bir özetini geliştirmeli ve düzenli olarak güncelleştirmelidir. Bu aşağıdakileri içermelidir:

·        O güne kadar yapılan denetim prosedürlerinin bir özeti (örneğin yapılan anahtar görüşmeler, analiz edilen anahtar belgeler, vs.),

·        O güne kadar belirlenen anahtar gerçekler (örneğin anahtar uygulamaların açıklamaları),

·        Bulguları etkileyen anahtar düşünceler ve bu düşüncelerin kaynağı ve kapsamı (örneğin, “10 Bölge Müdüründen 6’sı ve program işleyişinden sorumlu Bakan Vekili Yardımcısı görüşmelerde ……. olduğunu belirtmiştir”),

·        O güne kadarki kesin olmayan bulgular ve sonuçlar (olumlu ve olumsuz) ve

·        Yerine getirilmesi gereken geriye kalan prosedürler ve işlem adımları.

Bu özet;

·        denetim ekibinin devam etmekte olan çalışmasını değerlendirmesini ve gerekirse denetim yaklaşımını değiştirmesini,

·        Grup Başkanının elde edilen veya elde edilmesi planlanan kanıtların uygunluğunu, bütünlüğünü ve yeterliliğini zamanında gözden geçirmesini,

·        Grup Başkanının elde edilen kanıtlarla ilişkili bulgu ve sonuçların mantığını zamanında gözden geçirmesini ve

·        denetim ekibinin incelenmekte olan kuruluşun yönetimini denetimin durumu ve o güne kadarki sonuçları konusunda bilgilendirmesini mümkün kılar.

Bütün çalışmalar tamamlandığında, özet her alt kritere ilişkin bulguları ve sonuçları içermelidir.

Mantıksal Sonuçlar

Kanada Yeminli Denetçiler Enstitüsü araştırma çalışması, Paranın Değeri Denetimi Kanıtları, mantık kavramlarını kullanarak bir sonuç için destek oluşturulması işlemini savunmaktadır. Kurum da bu yaklaşıma katılmaktadır. Çalışma, bir performans denetimindeki adımların bir çizelgesine yer vermiştir (bakınız aşağıdaki Teknik Standartlar ve Prensipler).

Denetim ekibi, desteklenebilir sonuçlara varmak için mantıksal işlem adımları kullanmalıdır. Çizelge ayrıca, denetim ekibinin bulgu ve sonuçlarının mantığına ait genel görünümleri belgelemek için bir diyagramatik araç ve sonuçların mantığının yönetime sunulması için görsel bir araç olarak kullanılabilir.

Kanıt, bu kanıtın analizi, denetim kriterleri ve gerçek, bulgu ve sonuçların denetim raporundaki açıklamaları arasındaki bağlantı açıkça belgelenmelidir.

Denetim ekibi bulgu ve sonuçlarının sağlam bir mantıkla desteklendiğinden emin olmalıdır. Ekip elemanları aşağıdakilerden haberdar olmalıdır:

·        Mantıksal yanlışlık yapma olasılığı – hatalı muhakeme sonucunda geçersiz sonuçlara varılması ve

·        Hatalı veya yanlış yönlendiren sonuçlara varmaktan kaçınmak için istisnaları belirleme ve bulgu ve sonuçlarda uygun açıklayıcıları seçme gereksinimi.

Bu konuda daha fazla bilgi, bu bölüme ait Teknik Standartlar ve Prensipler’deki “Mantıksal Sonuçların Geliştirilmesi” başlıklı kısımda bulunabilir.

Sonuçlar İçin Destek

Alt kriter düzeyindeki bulgular ve sonuçlar ana kriter için mantıksal sonuçlar halinde bir araya getirilmeli ve dosyadan, üst düzey sonuçların temel aldıkları düşük düzey sonuçlara uygun olduğu açıkça anlaşılabilir olmalıdır.

Her kriter sonucu için aşağıdakileri içeren bir özet sayfası hazırlanmalı ve dosyada saklanmalıdır:

·        kriterler

·        ulaşılan sonuçlar ve

·        bir araya getirilence sonucun temelini oluşturan bulgular (yani alt sonuçlar).

Aynı şekilde, genel denetim amacıyla ilişkili sonuç için bir özet sayfası hazırlanmalıdır. Bu özet sayfası şunları içermelidir:

·        denetim amacı

·        ulaşılan genel sonuçlar

·        bir araya getirilince genel sonucun temelini oluşturan  ana kriterlere göre ulaşılan sonuçlar.

Ek Denetim Çalışması

Eğer toplanan kanıtlar gerçek performansın denetim kriterlerini karşılamadığını gösteriyorsa, Grup Başkanı denetim ekibinin geri kalanı ile birlikte, Genel Denetçi Yardımcısına ek denetim yapılması gerekip gerekmediği konusunda tavsiyede bulunur. Örneğin kriterler sonuçlara dayanıyorsa ilgili işlemler incelenmeli mi veya kriterler işlemlere dayanıyorsa ilgili sonuçlar incelenmeli mi?

Grup Başkanının tavsiyesi ve Genel Denetçi Yardımcısının buna vereceği karşılık belgelere geçirilmelidir.

Önerilerin Geliştirilmesi

Öneriler anlamlı ve pratik olmalı, program amaçlarına ulaşılması için nelerin yapılması gerektiği üzerinde odaklanmalıdır. Aynı zamanda, sonuçlara yönelik de olmalı ve yararlı olacak kadar özel de olmalıdırlar. Elbette yönetimin idare sorumluluğuna zarar verecek kadar özel de olmamalıdırlar.

Önerilerin sağlanması, performans denetimi kavramının tümleşik bir parçası olarak değerlendirilmez. Uygun olduğunda öneriler performans denetiminin değerli yan ürünleridir, ancak eğitim ve deneyimimiz yönetime hem pratik hem de harcanan emeğe değecek bir tavsiyede bulunma alt yapısını sunmaktadır.

Öneriler geleceğe yönelik olmasına ve uygulanmadan önce test edilememelerine rağmen, bunların şartlar için pratik ve mantıklı olmasını ve raporun geri kalan kısmının içeriği ile aynı katılıkla geliştirilmelerini sağlamak için mümkün olan her şeyi yapmalıyız. Önerilerin tarafsızlığımızı gölgeye düşürmemesine de dikkat etmeliyiz.

Raporlarımız etkili olduğu ve yönetim getireceğimiz önerilere göre davranabileceği için, önerilerin önemli alanları hedeflemesini ve iyi düşünülmüş ve pratik olmalarını sağlamalıyız.

Önerileri geliştirirken, aşağıdakileri dikkate almalıyız:

·        sorunun ana nedenleri,

·        kuruluşun ortamında, kriterlerin karşılanmasına yardım eden veya bu konuda güçlük çıkaran koşullar,

·        düzeltici eylem için alternatif yöntemler,

·        önerilerin benimsenmesi durumunda olumlu ve olumsuz etkiler,

·        önerinin pratikliği: Mantıklı mı ve sorunu çözecek mi?

·        bir önerinin uygulanmasının fizibilitesi ve maliyeti.

Önerilerin uygulanması üzerinde de dikkatle düşünülmelidir. Pratik olmayan çözümler veya Kurum tarafından önceden yapılmış önerilerle çelişecek çözümler önermekten kaçınmalıyız. Sonuçta, denetlenen kuruluşun yönetimi önerilerin gerçekleştirilip gerçekleştirilmeyeceği ve nasıl gerçekleştirileceği konusunda karar verecektir.

Bazı durumlarda, herhangi bir öneride bulunmak mümkün değildir. Bu durumda kuruluş için en önemli katkımız, durumun açıkça analiz edilmesi ve desteklenebilir sonuçlar çıkarılmasıdır. Denetlenen kuruluşun sorunu kabul etmesi ve uygun önlemi almış olması veya almaya başlamaya karar vermesi durumunda normal olarak bir öneriye gerek yoktur.

Her bir öneriyi destekleyecek belgeler aşağıdakilere yer vermelidir:

·        Önerinin hedeflediği sorun üzerinde istenilen düzeltici etkiye sahip olacağının kanıtı ve

·        Önerinin uygulanma maliyetiyle bağlantılı olarak geçerliliğine ilişkin kanıt.

Rapor Taslağının Hazırlanması

Denetim ekibi, bulguların, sonuçların ve önerilerin nasıl organize edilmesi gerektiğini ayrıntılı olarak gösteren bir rapor taslağını Genel Denetçi Yardımcısının onayı için hazırlamalıdır.

Rapor taslağının amacı, Genel Denetçi Yardımcısını ve denetim danışmanlık komitesini denetim raporunun planlanan yapısı ve içeriği konusunda bilgilendirmektir.

Rapor taslağı, sonuçlar dışında eksiksiz olarak geliştirilmesi gereken tam bir biçimde olabilir. Bulguların, sonuçların ve önerilerin kriterlere göre sunulmasının gerekmesi halinde, rapor taslağı bu bölümde daha önce açıklanmış olan her bir kriter için sonuç sayfaları ile uyumlu olmalıdır. Bulgular ve sonuçlar başka bir biçimde gruplanmışsa, rapor taslağının gruplandırmanın her kriterin sonucu ile ilişkisinin ne olduğunu açıkça belirtmesi gerekir.

Bulguları ve sonuçları kritere ve alt kritere göre açıklayan ayrıntılı çalışma kağıtları, rapor taslağının temelini oluşturmalıdır. Ancak rapor taslağı, durumun daha iyi anlatılması için gerekli olması durumunda bu sıradan sapabilir. Genellikle birkaç denemeden sonra bilginin nasıl sıralanacağına karar verilmesi daha kolay olduğu için, düşük ayrıntılı bir başlangıç rapor taslağının daha yüksek düzeyli bir rapor taslağının Genel Denetçi Yardımcısı tarafından onaylanmak üzere geliştirilmesinden önce hazırlanmasını önerilebilir.

Genel Dokümantasyon İlkeleri

Her bir denetim ekibi üyesi uygun ve yeterli kanıtın denetim dosyalarında sistematik olarak organize edilmesinden ve indekslenmesinden ve herhangi bir ekip üyesince kolayca ulaşılabilmesinin sağlanmasından sorumludur.

Yeterli ve uygun dokümantasyon, denetimin planlaması ve yöntemleri konusunda ve denetim ekibinin gerçekler, bulgular ve sonuçlara ilişkin açıklamaları hakkında verilen kararları destekleyen gerekli kanıtları sağlar. Ayrıca kalite güvence işlemlerinin ve gerekli dikkat ve uygun gözden geçirmeye yönelik profesyonel denetim standartları ile uyumluluğun kanıtlarını da sunar.

Dosyalar, herhangi bir denetim profesyoneli tarafından erişilebilecek ve anlaşılabilecek bir biçimde hazırlanmalıdır. Yalnızca denetim ekibi elemanlarınca erişilebilir olmaları yeterli değildir. Diğer ekip üyelerinin de bilgiye ulaşabilmesi gerekir. Ayrıca denetim sonrasındaki kalite güvence işlemleri sırasında dosyaların incelenmesi amacıyla dış denetçiler de çağrılabilir. Bu nedenlerle, dosyalar hazırlayanların sözlü yorumları olmaksızın tek başlarına anlaşılabilir olmalıdır.

Performans denetim dosyaları ile ilgili ilkeler, Kurum tarafından gerçekleştirilen herhangi bir denetim işlemi ile aynıdır. Dosyalar;

·        Eksiksiz ve doğru olmalıdır – Denetim işinin yapısını ve kapsamını göstermeli ve bütün denetim kararları, gerçekleri, bulguları, sonuçları ve önerileri için uygun şekilde belgelenmiş destek sunmalıdır.

·        Kısa ve açık olmalıdır – ek sözlü açıklama gerektirmemelidir (üçüncü bir şahıs denetim dosyalarında belgelenen kanıtları ve mantığı takip ederek denetim ekibi ile aynı sonuçlara varabilmelidir).

·        Uygun olmalıdır – yalnızca denetimin hedefleri ile ilgili, bu hedefler için önemli ve yararlı bilgileri içermelidir. Özel çalışma kağıtlarının denetim hedefleri ve kriterleriyle ilişkisi açıkça belgelenmelidir.

·        Okunaklı, düzenli ve tertipli olmalıdır – ek veri ve notlar için yeterli boşluğa sahip olmalıdır. Düzensiz ve kalabalık çalışma kağıtları verimsizdir ve genellikle kanıtın mantığını izlenmesi güç bir hale sokar ve temelde yatan çalışmayı yeterli ölçüde yansıtamaz.

·        Kolay erişilebilir olmalıdır – Böylece denetim sırasında ve daha sonra bilgilere kolaylıkla erişilebilir.

Standart dokümantasyon gereksinimleri bütün denetimler için kullanılmalıdır. (Bu bölümün Teknik Standartlar ve Prensipler kısmını inceleyin). Denetim ekibi, yaygın olarak gereken bilgi tiplerine ulaşmak için çalışma kağıtlarını organize etmeye ve hazırlama çalışırken “tekerleği yeniden icat etmek” zorunda kalmamalıdır.

İç İnceleme

Grup Başkanı, gerçekler, bulgular ve sonuçlar konusundaki açıklamalarını desteklemek için yeterli ve uygun kanıtı toplamasını sağlamaktan sorumludur. Genel Denetçi Yardımcısı taslak raporu inceleyerek yasama yetkililerinin ve kamunun son üründen yeterince yararlanmasını sağlamaktan sorumludur.

Grup Başkanının İncelemesi

Grup Başkanı toplanan kanıtların yeterliliğini ve uygunluğunu  ve bu analizin rapor edilen gerçeklerin, bulguların ve sonuçların desteklenmesindeki geçerliliğini sağlamaktan sorumludur. Gözlem, tartışma ve inceleme gibi çeşitli araçlardan yararlanarak kanıtların yeterliliği ve uygunluğu konusunda emin olabilir.

Denetim dosyaları gerçekleşmiş olan gözetim ve incelemenin kanıtlarını ve aynı zamanda, kıdemli ekip üyelerinin denetim saha ekibinin çıkardığı sonuçlara katıldığının kanıtlarını sunmalıdır. İnceleme notları, incelemenin gösterilmesi amacıyla kullanılabilen araçlardan biridir. Bunlar ayrıca denetim sırasında ortaya çıkan soruların takibinde yararlı olabilir ve açıklıkları, bütün kritik soru ve konuların yanıtlanmış olduğunu gösterir.

Grup Başkanı isteğine bağlı olarak saha çalışması süresi içinde resmi inceleme toplantıları düzenleyebilir. Bu toplantılara normal olarak, bilgi ve deneyimlerinden tartışma sırasında yararlanılabilecek danışmanlar ve denetim ekibi dışından seçilen bireyler dahil olmak üzere, denetim ekibi katılır. Bu tür toplantılar yapılırken, ayrıntılı tartışma notları hazırlanmalıdır.

Grup Başkanı tarafından kullanılan anahtar bir dosya, denetime ilişkin önemli kararları ve ürünleri vurgulayan Planlama, Kontrol ve Rapor Dosyasıdır. Bu dosya aşağıdaki bölümleri içermelidir:

·        Denetim planı ve varsa üzerinde yapılan değişiklikler,

·        Planlama işlemi sırasında elde edilen anahtar bilgiler (veya bu bilgilerin bulunabileceği kaynaklar),

·        Bütün anahtar denetim kararları ve bunların nedenleri,

·        İnceleme ve imzaların belgeleri,

·        Zaman ve bütçe analizi,

·        Danışman yönetim bilgisi ve

·        Bütün kanıt dosyalarının bir kontrol indeksi ve ayrıca bu dosyalarının her birinin içindekiler kısımlarının fotokopileri.

Bu dosyanın indeksinin bir kopyası, aşağıdaki Teknik Standartlar ve Prensipler kısmında gösterilmektedir.

İmzalar

Saha Denetim Ekibi

Denetim işi tamamlandığında ve nihai sonuçlar Grup Başkanına sunulmadan önce, saha denetim ekibi aşağıdakileri bildirerek Denetim Tamamlama Kontrol Listesinin A Bölümünü imzalamalıdır (bakınız bu bölüme ait Teknik Standartlar ve Prensipler):

·        İşin uyun şekilde planlandığı ve gerektiği gibi ifa edildiği ve

·        Dosyalarda sunulan sonuçların, bulguların ve gerçek açıklamalarının desteklenmesi için yeterli ve uygun kanıtların bulunduğu.

Uzmanlar

Denetim sırasında bir uzmanın oynadığı rolün yapısına bağlı olarak, Genel Denetçi uzmanın Denetim Tamamlama Kontrol Listesinin A Bölümünü imzalamasını veya bağlayıcı başka bir işaret sunmasını sağlaması gerekir. Bu işaretin danışmanın denetim rol ve sorumlulukları için uygun olması ve standart iç kontrol listelerinin genel ilkelerini yansıtması önemlidir.

Grup Başkanı

Grup Başkanı denetim çalışma kağıtlarını inceleyip bunları onayladıktan sonra, Denetim Tamamlama Kontrol Listesinin A Bölümünü imzalar.

Genel Denetçi Yardımcısının Genel Onayı

Bütün kanıtlar analiz edilip desteklenebilen sonuçlar her kriter ve genel denetim için çıkarıldıktan sonra, denetim ekibi denetim sonuç paketini ve bir rapor taslağını onayı için Genel Denetçi Yardımcısına sunar. Aynı zamana, kopyalar danışmanlık komitesinin üyelerine dağıtılır.

Denetim sonuç paketi Denetim Tamamlama Kontrol Listesinin A Bölümünü, özet sonuç sayfalarını ve alt kriterlere göre gerçekleştirilen gerçek, bulgu ve denetim çalışması ayrıntılı analizini içermelidir.

Son iç inceleme toplantısına denetim ekibi (uygunsa danışmanlarla birlikte), Genel Denetçi Yardımcısı ve danışmanlık komitesi katılır. Toplantının ilk amacı, Genel Denetçi Yardımcısının denetim bulgu ve sonuçlarının mantıklı olduğu ve iyi desteklendiği konusunda ikna olmasının sağlanmasıdır. Genellikle temel bilgiler verilmesi amacıyla kanıtlar ve analiz hakkında tartışmalar gerçekleşmesine karşın, toplantının amacı denetim kanıtlarının yeterliliği ve uygunluğu üzerinde odaklanılması değildir. Bu, toplantı başlamadan önce Grup Başkanının sorumluluğudur.

Genel Denetçi Yardımcısı denetim bulgu ve sonuçlarından tatmin olduğunda, incelemenin odak noktası rapor taslağına yönelir. Burada hedef, Genel Denetçi Yardımcısının rapor taslağının denetim bulgu ve sonuçları konusunda yeterince bilgi içerdiği ve yasama yetkilileri ve kamunun ilgisini çekecek bir öykü akışına sahip olacağı konularında tatmin olmasının sağlanmasıdır.

Bu toplantı sırasında resmi tutanaklar tutulmalıdır. Takip edilecek konular not edilmeli ve bunların yapısı belgelenmelidir.

Denetlenen Kişi İle Birlikte Bulguların Netleştirilmesi

Denetim ekibi, denetim işlemi boyunca kuruluşun önemli gerçekler, bulgular ve sonuçlar hakkında ve bunların ne şekilde rapor edileceğine ilişkin niyetimiz konusunda bilgilendirilmesini sağlamalıdır.

Denetim işlemi süresince, gerçekler uygun ekiple zamanında tartışılmalı ve bunlara netlik kazandırılmalıdır.

Gerçekler, kesin olmayan bulgular, kritere göre sonuçlar ve bunların rapor edilebileceği kapsam da muhtemel önerilerle birlikte periyodik olarak kıdemli program yönetimi (program Yardımcı Bakan Vekili ve bölge müdürleri gibi)  ile tartışılmalıdır. Ancak yalnızca denetimin aşaması için uygun materyal üzerinde tartışma yapılabilir. Bu tür bir tartışmanın başlangıcında henüz bütün kanıtların toplanmamış ve analiz edilmemiş olduğunun ve bulgu ve sonuçların değişikliğe uğrayabileceğinin altı çizilmelidir. Yönetimde yazılı herhangi bir materyal kalırsa, bunların kesin olmadığı mesajını açıkça verecek olan “Yalnızca Tartışma Amaçlı TASLAK” ibaresini net bir biçimde içermesi gerekir.

Kesin olmayan bulgu ve sonuçlar konusunda kıdemli program yönetimi ile yapılan erken tartışmalar, denetim ekibinin bütün ilgili kanıtlardan ve aynı zamanda alternatif yorumlardan zamanında haberdar olmasına yardım eder. Devam eden tartışmalar denetim ekibinin konuyu daha iyi anlamasını ve kıdemli program yönetiminin de ulaşılmış olan anlama seviyesini daha iyi değerlendirmeye almasını mümkün kılar. Dahası olası öneriler üzerine erkenden yapılacak tartışmalar denetim ekibinin bunların pratikliğini değerlendirmesini olanaklı hale getirir.

Bulguların ve ilk sonuçların rapor edileceği kapsam da tartışılmalıdır. Kapsam, bulguların ve ilk sonuçların denetim raporunu okuyan bir kişi tarafından ne şekilde yorumlanacağının belirlenmesi açısından önem taşır. Bu bakımdan denetim ekibi kapsam konusunda doğru ve uygun bir resim sunmalıdır.

Öte yandan genel sonuç ve rapor taslağı, Genel Denetçi Yardımcısı tarafından onaylanıncaya kadar denetlenen kişilerle tartışılmamalıdır.

Hazırlık

Denetim ekibi, açıklık kazandırma amacıyla yapılacak tartışmalara ilgili konuları iyi anladığını gösterecek şekilde iyi hazırlanmalıdır. Tartışmalar sırasında, ekip bulgular veya sonuçlar üzerinde anlamlı bir etkisi olabilecek herhangi bir ek bilgiye açık olmalıdır.

Bütün bağlantı ve açıklık kazandırma toplantılarında ayrıntılı tutanak tutulmalıdır.

Rapor Hazırlanmadan Önce Son Tartışma

Denetim raporunun taslağı hazırlanmadan önce, bütün anlamlı gerçekler, bulgular ve sonuçlar ve bunların rapor edilmesinin düşünüldüğü kapsam kıdemli yönetimle tartışılmalıdır. Taslak rapor gerçeklerin netleştirilmesi veya alternatif yorumların belirlenmesi amacıyla bir araç olarak kullanılmamalıdır. Bu bakımdan, son inceleme toplantısı yapıldıktan ve bulgular ve sonuçlar üzerinde gerekli bütün değişiklikler yapıldıktan sonra, Denetim Başkanı veya ekip şefi materyali denetimin gerçekleştiği kuruluşun kıdemli yönetimi ile tartışmalıdır.

Kıdemli yönetimle yapılan toplantı sırasında gündeme gelen bütün noktalar dikkate alınarak, rapor taslağı daha sonra denetim ekibinin atanmış bir elemanı tarafından hazırlanmalıdır. Denetim raporu ile ilgili daha fazla bilgi için, Bölüm 7 – Rapor Hazırlanması’nı inceleyiniz.

Özel Kanıt Toplama Prosedürlerinin Gerçekleştirilmesi

Görüşmelerin Yapılması

Görüşmeler, değerli bir bilgi kaynağı ve denetim kanıtı toplarken en yaygın olarak kullandığımız tekniklerden biridir. Yine de görüşülen kişilerden elde edilen bilgilerin kullanılması sırasında dikkatli olunmalıdır. Kanıtlarla desteklenmeyen ifadeler ve gerçek olmaktan çok görüş şeklindeki ifadeler dikkatle değerlendirilmeli ve mümkün olduğu kadar kanıt olarak kabul edilmeden önce teyit edilmelidir. Teyit almamız,

·        Diğer elemanlarla ek görüşmeler yapmamızı,

·        Dosya ve dokümanları incelememizi,

·        İşlemleri gözlememizi  veya

·        Merkezi acentalarla, dış müşterilerle veya diğer çıkar sahipleri ile görüşme yapmamızı gerektirebilir.

Grup Başkanının önceden olayı alınmadan, bir kurumun veya dış kuruluşun kıdemli yönetimi (bakan vekilleri, genel müdürler, yardımcı bakan vekilleri, vs.) ile görüşme yapılmamalıdır.

Dokümantasyon aşağıdakileri içermelidir:

·        Tarihi, görüşmecilerin adlarını ve görüşülen kişinin adını ve konumunu kaydeden daktilo edilmiş görüşme kapak sayfası,

·        Daktilo edilmiş görüşme özeti,

·        Orijinal görüşme notları,

·        Görüşülenlerin adlarının ve görüşme adlarının kaydı ve

·        Takip edilen maddelerin ve takip edilen kanıtların listesi.

Dokümanların İncelenmesi

Dokümanların incelemesi aşağıdakileri içerebilir:

·        Denetim altındaki program veya fonksiyonun anlaşılması amacıyla okuma,

·        Özel denetim kriterleri ile ilişkili belirli özelliklerin ve bilgilerin taranması veya

·        Görüşülen kişilerce görüşmeye alınan kanıtın teyidi olarak değerlendirilen bölümlerin incelenmesi.

Dokümanlar aşağıdakileri içermelidir:

·        anahtar dokümanların ve her birinin kaynaklarının bir listesi ve

·        kritere göre anahtar noktaların özetleri.

Dosyaların veya İşlemlerin İncelenmesi

Dosyaların veya işlemlerin incelenmesi aşağıdakileri içerebilir:

·        Özel denetim kriterleri ile ilgili benzersi bir öğenin analizi veya

·        Dosya veya işlemlerin bir örneğinde belirli özelliklerin veya bilgilerin taranması.

Sonraki durumda, izlenecek işlem adımları veya aranacak özellikler iş yapılmadan önce belirlenmeli ve belgelenmelidir.

Dokümanlar aşağıdakileri içermelidir:

·        İncelemenin denetim kriterleri ile bağlantılı hedefleri,

·        Yapılacak testler veya aranılan nitelikler,

·        Geçerli durumlarda örnek tasarım,

·        İncelenen her bir öğenin açıklaması ve incelemenin sonuçları ve

·        Bulguların ve sonuçların, inceleme amaçlarına ulaşılıp ulaşılmadığını gösteren bir özeti.

Doğrudan Gözlem ve Yoklamaların Gerçekleştirilmesi

Doğrudan gözlem ve yoklama, kanıt toplamak için kullanılan yaygın prosedürlerdir ve fotoğraf, çizelge, harita, video kaset, fiziksel numune, vs. değerli belgeler sunar.

Gözlemciler tarafından imzalanan ve tarihi atılan bir not aşağıdakileri belirtmelidir:

·        Gözlem veya yoklamanın denetim kriterleri ile bağlantılı hedefleri,

·        Gözlem veya yoklamanın gerçekleştirilmesi için izlenecek işlem adımları,

·        Gözlenen veya yoklanan öğelerin açıklaması,

·        İnceleme tarihi ve inceleyicinin (inceleyicilerin) adı ve

·        Bulguların ve sonuçların, gözlem veya yoklama amaçlarına ulaşılıp ulaşılmadığını gösteren  bir özeti.

Analitik İncelemelerin Yapılması

Analitik inceleme, daha çok mali hesapların denetimi yapılırken kullanılan bir denetim prosedürüdür.

Belirli ilkeler, gerçekleştirilen bütün analitik incelemeler için geçerlidir:

·        Analiz, denetim ekibinin doğruluğuna ve tamamlığına güvenebileceği veriyi temel almalıdır.

·        Dahili olarak üretilen verinin güvenilirliğinin sınırı, doğrudan denetim ekibinin bu veri üzerindeki iç kontrollere duyduğu güvenle ilişkilidir.

·        Denetim kuruluşu dışındaki kaynaklardan elde edinilen veriler için, kaynağın yapısı değerlendirilerek verinin yerinde, tam ve uygun olarak değerlendirilip değerlendirilemeyeceğine karar verilmelidir.

·        Hesaplamalarda veya karşılaştırmalarda kullanılan bilginin konu ile ilgili ve güncel olmasına dikkat edilmelidir.

·        Herhangi bir türde hesaplamalar bağımsız olarak incelenmelidir.

·        Bir bilgisayar modeli veya formülün kullanıldığı durumlarda, bu model veya formülün geçerliliği geliştiricisi dışında biri tarafından kontrol edilmelidir.

Dokümanlar aşağıdakileri içermelidir:

·        Analizin denetim kriterleri ilişkili hedefleri,

·        Analiz tarihi ve analizcilerin adları,

·        Analizin yapısı ve yöntemi,

·        Kullanılan bütün veri veya bilgiler (dahili veya harici) için özel kaynaklar,

·        Analiz ve sonuçları ve

·        Bulguların ve sonuçların, analiz amaçlarına ulaşılıp ulaşılmadığını gösteren  bir özeti.

Tetkik Anketlerinin Kullanılması

Tetkik anketleri, büyük miktarda düşünce veya veri örneği toplanması için çok etkili bir araç olabilir. Ancak anketler dikkatle uygulanmalıdır. Bunların tasarımı ilgili işlemlerin ayrıntılı bir bilgisini yansıtmalı ve tarafsız ve nesnel bilgiler toplayacak şekilde ayarlanmalıdır. Sorular öncelikle denetlenmekte olan kuruluşun kıdemli yönetimi ile birlikte gözden geçirilmelidir.

Denetim ekibine tetkik anketinin tasarımı ve sonuçların yorumlanması konularında yardımcı olmak üzere genellikle danışmanlar tutulur.

Bütün tetkiklerde:

·        Yanıt verecek kişiler seçilirken uygun örnekleme teknikleri kullanılmalıdır,

·        Sorular tarafsız olmalı ve açıkça ifade edilmelidir,

·        Sorular sahada kullanılmadan önce ekip dışındaki personel üzerinde test edilmelidir,

·        Soruları yanıtlayanların belirlenmesine gerekli özen gösterilerek uygun karşılık seviyelerine ulaşılması için soruları önceden yanıtlamamış olanlara ikinci isteklerin gönderilmesi mümkün kılınmalıdır (%50’den fazlası, sonuçları test edilen nüfusun geri kalanı için tahmin etmemizi önleyecek olan önyargı bozulmalarının azaltılması için gereklidir),

·        Yanıt verenlere gizlilik konusunda teminat verilmeli ve

·        Sonuçların yorumlanmasında çok dikkatli olunmalıdır.

Dokümanlar aşağıdakileri içermelidir:

·        Tetkikin denetim kriterleri ile ilişkili hedefleri,

·        Tetkik tasarımı için destek,

·        Örnek tasarım,

·        Tetkik anketi,

·        Sonuçların yorumlanması ve

·        Bulguların ve sonuçların, tetkik amaçlarına ulaşılıp ulaşılmadığını gösteren  bir özeti.

İç Denetimlere ve Diğer Değerlendirmelere Güvenilmesi

İç denetimlere veya diğer değerlendirmelere duyulan güvenle ilgili dokümanlar özel olarak bu güvenin doğasını ve kapsamını açıklamalıdır.

İç denetimlere veya diğer değerlendirmelere güvenirken, aşağıdakileri incelemeli, özetlemeli ve mümkün oldukça kopyalarını almalıyız:

·        Denetim programları veya çalışmaların başvuru şartları,

·        Çalışma kağıtları ve

·        Raporlar.

Ayrıca, iç denetçi veya değerlendirmeci tarafından varılan sonuçları desteklemek amacıyla bazı testler yapılmasının zorunluluğunu da ele almalıyız.

Performans Denetimi Muhakeme Süreci

Gerçeklerin bulgulara ve sonuçlara dönüştürülmesi amacıyla kullanılan muhakeme süreci aşağıda gösterilmekte ve bir sonraki sayfada da bir örnek verilmektedir.

Şekil 6.2

Muhakeme Süreci

Kaynak: Paranın Değeri Denetimi Kanıtı, D. M. Barnes 1991, Kanada Yeminli Denetçiler Enstitüsü

Şekil 6.3.

Performans Muhakemesinin Nasıl Yapılacağına İlişkin Bir Örnek

Kaynak: Paranın Değeri Denetimi Kanıtı, D. M. Barnes 1991, Kanada Yeminli Denetçiler Enstitüsü

Mantıksal Sonuçların Geliştirilmesi

Mantıksal Yanlışlıklar

Yanlışlıklar, sağlam temelleri olmasa bile ikna edici görünen argümanlardır. Tehlike, argümanın açıkça yanlış olmamasından kaynaklanmaktadır. Dikkatli inceleme yapılmadığı sürece, yanlış bir argüman mantıklı gibi görünebilir.

Kanada Yeminli Denetçiler Enstitüsü araştırma çalışması Paranın Değeri Denetimi Kanıtları’na göre, yanlışlıklar aşağıdakilerin herhangi birinden kaynaklanabilir:

·        Eksik gerçekler – Eksik gerçekler içeren mantıksal bir yanlışlık, “sorunun belirtilmesidir”. Bu, argümanın aslında desteklemesinin istendiği bir iddianın yeniden ifade edilmesi şeklinde olduğu durumlarda bu argümanın belirli bir sonucu destekleyecek biçimde ilerletilmesi ile ortaya çıkar. Buna “dairesel  argüman” da denir, çünkü gerçekte sabit bir temeli yoktur.

Denetim ekipleri, örneklerin kendilerini temel alan sonuçları desteklemeye yeterli olmasını sağlayarak bu tür yanlışlıklardan kaçınabilir. Mesela, bir sonucu destekleyen örnekler olarak yalnızca bir sorunun belirtilerinin kullanılmasından kaçınılmalıdır: Sorunun nedeni de ayrıca gösterilmelidir.

·        İlgisiz gerçekler – Diğer bir yanlışlık tipi, otoriteye yapılan hatalı başvurulardır. Bu, bilinen bir otoritenin adı verilmesine rağmen bunun uygun olmayan bir şekilde yapılmasıdır.

Bir performans denetiminde bu, bir uzmana uzmanlığı dışındaki bir alanda başvurulması, bir uzman düşüncesinin uygun kanıtlarla desteklenmemesi veya bir uzmanın düşüncesine diğer bir uzman tarafından karşı çıkılması durumunda ortaya çıkabilir. Bu durumların her birinde, sonuç geçerlidir çünkü “uzmanımız aynı görüşte” şeklindeki bir görüş hatalı bir argüman olacaktır.

İlgisiz gerçeklerin ikinci bir örneği, bilgisizlikten kaynaklanan bir argümandır. Bu, aksi yönde bir kanıtın bulunmaması temel alınarak bir sonuca varıldığında ortaya çıkar. Bir performans denetiminde, sonuçlar sadece zıt yöndeki kanıtların yokluğunu değil, doğrulayıcı kanıtların varlığını da temel almalıdır.

Yanlışlıklar, zamanı geçmiş bilgilerin kullanılması durumunda da ilgisiz gerçeklerden ortaya çıkabilir. Bir performans denetiminde, kanıt olarak kullanılan istatistiksel ve diğer bilgilerin kendilerinden çıkarılan sonuçları doğrulamaya yetecek kadar yeni olmasına dikkat edilmelidir.

·        Kusurlu gerçekler – Belki de performans kanıtlarının değerlendirilmesi için özellikle önemli olan diğer bir yaygın yanlışlık, aceleye gelmiş genellemelerin yapılmasıdır (“sonuçlara atlanması”).

Seçilen örneklerin geçerli bir sonuca varılmasına olanak tanımaya yetmesine dikkat ederek bu yanlışlıktan kendimizi koruyabiliriz. Alınan örnekler yeterince büyük (yeterli) olmalı ve nüfusu temsil edebilmelidir (tipik). Bu hem istatistiki hem de kararla ilgili örnekler için geçerlidir.

Ayrıca, ayrı örneklerden genelleme yapmamaya veya yalnızca belirli bir sonucu destekleyen kanıtları kullanmamaya özen göstermeliyiz. Bir sonuca ön yargı ile varmak aslında böyle olmadığı halde belirli bir bulgunun desteklenebilir ya da belirli bir olayın tipik olduğuna inanmamıza yol açabilir.

·        Yersiz varsayımlar – Bu yanlışlığın birkaç çeşidi bulunmaktadır:

Hatalı neden – Bu yanlışlık, A olayı B olayından önce olduğu için A olayının neden olması gerektiği şeklindeki bir sonuca varıldığında ortaya çıkabilir. Bu ise her zaman doğru olmayabilir.

Hatalı benzerlik – Bu yanlışlık, uygun olmayan bir örnekleme bir sonucu desteklemesi için kullanıldığında ortaya çıkabilir.

·        Belirsizlikler – Bulgu ve sonuçlarımızda kesin olmayan veya üstü kapalı bir dil kullanmak belirsizliğe yol açabilir. Bu, aynı argümanda birden fazla anlama sahip bir sözcük veya ifade kullanıldığında ortaya çıkar. Böylece mantıksal olmadığı halde öyle görünen bir sonuç ortaya çıkabilir.

Bu tür yanlışlıktan kaçınmak için istediğimiz anlamı tam olarak verecek olan kelimeler seçebilir ve bu kelimeleri uyumlu bir şekilde kullanabiliriz.

İstisnaların Belirlenmesi ve Uygun Açıklayıcıların Kullanılması

İstisnaların saptanması ve açıklanması ve bulgu ve sonuçlarda uygun açıklayıcıların seçilmesi hatalı veya yanlış yönlendirici sonuçlara ulaşılması ve bu sonuçların rapor edilmesi riskinin en aza indirgenmesine yardımcı olur.

·        İstisnalar – Hedef değerlendirmesinin bir parçası olarak, bir bulgu veya sonucun istisnalarının olabileceğini kanıtlar bu gerçeği işaret ettiğinde kabul etmek önemlidir. Anlamlı istisnaların belirlenmesi ve rapor edilmesi, okuyucuya daha iyi bilgi sunar ve raporun temelini çürütebilecek daha sonraki durumlara karşı koruma sağlar (bu tür durumlar ayrı koşulları temel alsa bile). Önemli istisnaların açıkça belirlenmesi, inceleyicilerin ve rapor okuyucularının rapor edilen bulgular ve sonuçlarla yanlış yönlendirilmesi riskini azaltır.

·        Açıklayıcılar ve değerlendiriciler – Performans denetimleri nitel değerlendirmelere yer verir. Finansal hesap denetimlerinin aksine, bunlar belirli konuların önemliliğinin veya sağlanan denetim güvence düzeyinin değerlendirilmesi için nicel temele bağlı kalmazlar. Bu nedenle, bulgu ve sonuçların açıklamalarının kalitesi çok önemlidir ve elde edilen kanıtı doğru bir biçimde göstermelidir.

Örneğin denetim dosyalarında ve denetim raporunda, bir olay aslında “sık sık” (çok kereler, ancak mutlaka çoğu zaman değil) olduğu halde “genellikle” (çoğu zaman) oluyor gibi açıklanmamalıdır. Aynı şekilde “bütün olasılıklarla” ifadesi belirli bulguların doğru olduğuna ilişkin sanal bir kesinlik sunmaktadır. “Muhtemelen” terimi daha az kesinliği ima etmektedir. Bulgu ve sonuçların açıklanmasında bu değerlendirme sözcük veya ifadelerinin kullanılmasının amacı, denetçinin bunlarla ilişkilendirdiği “kesinlik derecesini” mümkün olduğu kadar açık bir biçimde ifade edebilmektir. Seçilen açıklayıcılara ve değerlendirme ifadelerine bulgu ve sonuçlarda verilen destek, dosyalarda açıklanmalıdır.

Standart Dosya Organizasyonu

Planlama, Kontrol ve Rapor Dosyası

Bu dosya, denetim projesi yönetimi için ana referans noktasıdır. Bu dosya denetim planını ve varsa bütün değişikliklerini, planlama işlemi sırasında elde edilen anahtar bilgileri (veya bu bilgilerin bulunabileceği kaynakları), bütün anahtar denetim kararlarını ve bunların nedenlerini, inceleme ve imzaların belgelerini, zaman ve bütçe analizini, danışman yönetim bilgilerini, bütün kanıt dosyaları için bir kontrol indeksini ve aynı zamanda bu dosyaların her birinin içindekiler bölümünün fotokopilerini içermelidir.

Standart dosya indeksinin bir kopyası bir sonraki sayfada gösterilmektedir.

Rapor Destek Dosyası

Bu dosya, denetim ekibinin Genel Denetçiye sunduğu şekliyle taslak raporun bir kopyasını içermelidir. Raporun her bir sayfasının arkasında, rapordaki her bir bulgu ve açıklama için özel anahtar kanıtlar veya kanıtların bulunabileceği yerlerin referansları sunulmalıdır. Bu işlemin kolaylaştırılması için, her bir gerçek, bulgu ve sonuç raporda vurgulanmalı ve özel destekleyici kanıtlara atıfta bulunulmalıdır. Değerlendirme terimlerinin (“bazı” ve “çoğu” gibi) özel olarak desteklenmesinin sağlanmasına önem verilmelidir.

Bu dosya, taslak raporla birlikte Grup Başkanına teslim edilmelidir.

Rapor üzerinde Grup Başkanına teslim edildikten sonra değişiklik yapılması gerekirse, değişiklikler belgelenmeli ve ek destekleyici kanıtlar eklenmeli veya bunlara atıfta bulunulmalıdır.

Destekleyici Kanıt Dosyaları

Çoğu denetimde, gerçekleştirilen denetim işinin dokümantasyonunu ve ayrıca denetim bulgularını ve sonuçlarını içeren bir dizi kanıt dosyası ortaya çıkacaktır. Dosyaların organizasyonu denetime göre değişiklik gösterebilir, ancak genellikle aşağıdaki bölümlere yer verilecektir:

·        Görüşme notları ve görüşülenlerin kayıtları

·        Doküman özetleri veya alıntıları ve bir kayıt

·        Her bir denetim alt kriteri için:

-          sonuçlarımız

-          bulgularımız

-          önerilerimiz

-          görüşme/doküman alıntıları

-          diğer destekleyici kanıtlar

-          alt kriterle ilgili olarak gerçekleştirilen denetim işinin özet açıklaması

Her bir dosya, uygunsa bir materyal indeksi ile birlikte açıkça belirtilmelidir. Her bir indeksin kopyaları ile birlikte dosyaların bir özeti Denetim Yönetim dosyasının 7. Bölümü altında dosyalanmalıdır.

Çalışma Kağıdı Standartları

Denetim saha çalışması sırasında elde edilen her bir çalışma kağıdını indekslemek gerekli veya pratik değildir. Ancak aşağıdaki standartlar uygulanmalıdır:

·        Her görüşme görüşülen kişinin adını ve konumunu, katılan Kurum personelinin adlarını ve görüşme tarihini açıkça belirtmelidir.

·        Elde edilen genel olmayan bütün dokümanlar, kimden ve ne zaman alındıklarını göstermelidir.

·        Alt kriter için kanıt olarak dosyalanan bütün görüşme ve doküman alıntıları, orijinal görüşme notlarına veya dokümanlara açıkça atıfta bulunmalıdır.

·        Çalışma kağıtlarında not edilen hiçbir nokta veya soru karşılıksız bırakılmamalıdır.

Denetim Tamamlama Kontrol Listeleri

Denetim Tamamlama Kontrol Listesi, denetim tamamlamanın çeşitli aşamalarında imzalanacaktır. Kontrol listesinin içeriği, aşağıdaki sayfalarda gösterilmektedir.