圖書館服務的品質是品質管理及品質保證的課題之一,
國際標準組織發佈的圖書館績效指標, 企圖做為量化圖書館績效的工具, 衡量服務的效能(effectiveness)及資源的效率(efficiency), 垂直評鑑單一圖書館現在與過去的績效, 水平評鑑多個圖書館現在的績效。
績效指標無法函蓋圖書館所有的服務、活動及使用量。
以四種途徑取得數據:
國際標準組織(ISO)
於1998年公布ISO
11620資訊與文獻 - 圖書館績效指標(Information and documentation - Library
performance indicators),供各類型圖書館進行績效評估參考使用。2003修訂新增後,目前已完成的指標分成讀者知覺,公共服務及技術服務等三類,二十九項指標。
不包括電子圖書館的績效
指標。
圖書館績效指標不僅可做
為圖書館之間的水平對照,也可做為同一圖
書館營運成果的垂直比較。
圖書館績效指標無法看出
圖書館對個人及社會的影響。
圖書館績效指標是一種工
具,用來衡量圖書館服務與活動的品質及效
果,評估圖書館使用資源的效率。
績效指 標都具有下列的屬性(4.2):
績效指標有兩個作用:管理過程裡的控制工具;做為館員,上級主管機關及讀者的溝通工具。
資訊性(Informative content):績 效指標是衡量活動的工具,足以辨識其成就,找出圖書館績效的問題及缺點,以便採取行動改正它。提供決策所需的資訊:設定目標, 預算分配,服 務及活動的順位等。
可靠性(Reliability):績效指標須有可 靠性,在同樣的環境下,重複使用,可得到相同的結果。季節或經濟等在地變數,會影響績效指標的結果,這種情況不算可靠性失效。
有效性(Validity):績 效指標可衡量出預期 的內容。部份指標為間接指標或估計指標,不算是無效的指標。
合宜性(Appropriateness):績效指 標必須符合其預設的目的,計量及單位必須恰當,衡量的作業程序必須與圖書館的作業及配置相容。
實務性(Practicality):績效指標用到 的資料必須是在合理的館員時間,能力,作業成本及讀者的時間下取得。
比較性(Comparability):績效指標可 用於比較圖書館的服務品質及效率。祗能施行於可以比較的部份,可用於分出高下,但不宜當成絕對分數。
對圖書館的管理,上級主管機關及讀者是否有幫助?
圖書館員有足夠的知識,從績效指標瞭解特定服務的缺失。
足夠的時間及資源,以便取得績效指標所需的資訊,並分析結果,圖書館員應有相當的統計概念。
以同樣的資料,提供給上級主管機關評鑑。
績效指標的結果不會面面俱到,讀者滿意度高意味著每個讀者的單位成本也高,績效指標應與圖書館的預期目標對照,而不是追求特定績效指標
的高分。
取樣錯誤,衡量程序的主觀認定,衡量程序的資源或時間不當,都可能造成績效指標不正確(B.1.1.1,B.2.6.1),或不夠精準
(B.2.1.3,B.2.2.5)。有時,粗略的估計就夠了,精準的結果反而浪費力氣。
圖書館績效指標受到讀者使用圖書館的方式影響,以讀者極度不滿意圖書館的館藏為例,讀者欠缺查找適當資料的知識,也可能是圖書館缺乏適
當的資料,需
要仔細的評估;改進讀者使用館藏的知識,改變借書期限及購買更多的館藏,都是可能的相對的策略。
績效指標不良,不見得需要投入更多的資源去改善它,或許祗需調整資源的分配即可,館員的技巧,管理方式等因素,都對績效指標有不同程度
的影響。
績效指標有兩種常見的用途,同一圖書館不同年份的比較,或在相同基礎上,圖書館的互相比較。標準化績效指標及取得資料的程序,都有助於
達到此目的。
有些績效指標還沒有完成(如B.2.8等),祗能夠列名,等待將來再補充。
以8個層面描述各指標: 名稱、目的、範圍、定義、方法、說明及影響、來源、相關指標。
績效指標有兩大目的, 做為:
圖書館績效指標分為讀者知覺、公共服務、技術服務、推廣服務、讀者服務等五大項, 公共服務的指標佔絕大多數, 推廣服務尚無指標(洪世昌 2001)。
B.1 讀者認知(User Perception)
B.1.1.1 讀者滿意度(User Satisfaction)B.2 公共服務(Public Services)
B.2.1 總論B.3 技術服務(Technical Services)
B.3.1 採購(Acquiring documents)B.4
推廣服務(Promotion of
Services) - 指標待訂
B.5 讀者服務(User Services)
B.5.1.1 讀者與服務讀者之館員比(User Services Staff per Capita)讀者對整體圖書館或個別服務項目的滿意度。
可以依讀者身份區分, 大學圖書館的大學生、研究生、教職員; 公共圖書館的年長者、學生。
也可以針對圖書館的公共服務項目, 逐項衡量:
以李克特五點尺度量表(Likert five-point Scale)給分,1分最差,5分最好。
Likert, R. (1932). "A Technique for the Measurement of Attitudes" Archives of Psychology 140, 55.
抽樣或訪問均可,實際分數為:
A/B
A 為評分之總合
B 為回答問卷之人數
計算至小數點後第一位, 每個問題分別計分; 記錄各項服務被回答的次數。
很難館際比較, 讀者滿意度是非常主觀的, 視當時的個別環境而定, 讀者的期待是最重要的因素, 不曾享受高水準服務的讀者, 可能對低水準的服務感到滿意。
圖書館服務深入預期讀者群(target population)的程度; 預期讀者群可能是行政區域內的全部人口、可能是特定群體、也可能是其他的群體。
預期讀者群性質接近的圖書館, 可做互相比較。
一年之內, 到過圖書館或使用相關服務的人, 才算是讀者。借書記錄是最清楚的。辦理借書證的讀者, 可用於推算服務人口比率。
讀者可以是個人, 也可以家庭、機關、團體、公司行號。
A/B * 100%A 回答「是」的人數
B 問卷總人數
四捨五入至整數
以自動化借還書系統,找出屬於預期讀者群的借書人數
A/B * 100%四捨五入至整數。A 屬於預期讀者群的借書人數
B 預期讀者群總人數
沒有借書的讀者無法計入, 以此方法計算顯然偏低。
圖書館以外的因素,如:年齡結構、都市化程度、教育程度、環境特性(學校的教學方式、學生的經濟能力)、購書習慣、交通便利性、社會 情況、經濟狀 況等,都可能影響圖書館使 用率。
相關指標:
評估圖書館服務的成本與讀者人數的關係。
圖書館全年的經常費除以讀者數。
一年之內用過圖書館,才算是讀者。
從預期讀者群裡抽樣,詢問是否到過圖書館或使用相關服務; 計算圖書館全年的經常費, 必要時, 可以用預算代替:
A/[(B/C)*D]四捨五入, 計算至整數。A 圖書館的經常費
B 問卷回答「是」的人數
C 問卷回答總數
D 預期讀者群人數
以自動化借還書系統,找出屬於預期讀者群的借書人數
A/B * 100%四捨五入, 計算至整數。A 圖書館的經常費
B 屬於預期讀者群的借書人數
此指標用以計算圖書館的成本效益。
相關指標:
評估圖書館服務吸引讀者的能力。
全年進館人數除以預期讀者群, 所謂進館係指進入圖書館的地界, 使用圖書館提供的服務之一。
以旋轉門或紅外線計算進館或出館人數:
A/B四捨五入至整數。A 進館人數
B 預期讀者群人數
在取樣時間內, 公共圖書館通常以一週為單位, 大學圖書館以學期為單位,計算進館或離館人數,據以擴大推算全年進館總人數
A/B四捨五入至整數。A 進館人數
B 預期讀者群人數
數字愈高愈好, 旋轉門或紅外線計算進館人數,其數字必然偏高,包括重複進出的讀者及館員;無法具體呈現電子及電話等遠距服務,無法區別不屬於預期讀者群裡的人數, 被淡旺季的差距。
相關指標:
評估圖書館服務讀者的成本。
全年經常費除以進館人數。所謂進館係指進入圖書館的地界, 使用圖書館提供的服務之一。
以旋轉門或紅外線計算進館人數, 計算圖書館全年的經常費, 必要時, 可以用預算代替::
A/B四捨五入至整數。A 圖書館的經常費
B 整年進館人數
在取樣時間內, 公共圖書館通常以一週為單位, 大學圖書館以學期為單位,計算進館或離館人數,據以擴大推算全年進館總人數。
A/B四捨五入至整數。A 圖書館的經常費
B 整年進館人數
此指標必須與圖書館服務的範圍、品質及目標一起審視; 遠距服務及校園網路會影響讀者的行為。
以旋轉門或紅外線計算進館人數,其數字必然偏高,包括重複進出的讀者及館員;
相關指標:
供讀者使用館藏的可得性。
流通館藏、參考館藏, 應分開計算。
可處理特藏、主題區、分館、或時間區塊, 比較其可得性的差異性。
館藏可立即被讀者使用的比例。
閉架區的館藏, 算是可被使用。
處理中的館藏,如: 編目、分類、裝訂、歸架、遺失、誤置等狀況,均屬不可得,仍記錄在總館藏內。
從館藏抽樣,檢測其可得性; 概略地衡量, 祗查驗記錄; 深入研究者,可查驗實體館藏的可得性。
A/B * 100%四捨五入至整數。A 樣本中可得之圖書數
B 樣本總數
以圖書館自動化借還書系統內的記錄為準,查驗每筆記錄的可得性,祗查驗記錄,不查驗實體館藏。
A/B * 100%A 可得之館藏種數
B 館藏種數
四捨五入至整數。
差異性甚大的圖書館, 可間隔一段時間再去抽查, 取其均值。為了簡潔起見, 可重複使用樣本。
參考館藏和流通館藏混置時, 宜略去參考館藏。
影響此指標的因素:
相關指標:
從被讀者要求的館藏中,計算其實際的可得率。
外借館藏和參考館藏(館內閱覽)應分開計算。
至少一個複本,可供讀者在館內使用,或可被借出館外,才計入可得率。
處理中的館藏,如: 編目、分類、裝訂、歸架、遺失等狀況,均屬不可得,仍記錄在總館藏內。
期刊的論文可以計入。
以至少被一個讀者要求的館藏為母體,抽樣調查,記錄其可得性; 可以祗查驗圖書館記錄,也可深入查驗實際的館藏。A/B * 100%
A 樣本中可得的數量
B 樣本總數
四捨五入至整數。
有兩種取樣的方法:
向抽樣的讀者詢問其書目需要,剔除館藏以外的部份,祗保留確實的書目,不含主題書目,重複者以一本計。祗向讀者詢問一本書目,該抽樣才算是真的隨機樣本。
由實際的借還書、館際互借、預約及館內閱覽等記錄中取樣,刪除重複。這種樣本比較不受讀者影響, 但祗能反應實際被使用過的館藏。
圖書館活動有明顯淡旺季之分時, 可間隔一段時間後, 持續計算, 取其均值。
限館內閱覽圖書與外借流通混合排架時, 應將限館內閱覽圖書抽出, 分別計算。
受到複本的數量、借書期限、圖書量等因素,都可能影響此指標。
相關指標:
評估讀者所需的圖書資訊,佔館藏的比例。
以特定館藏、分館或時段為母體, 互相比較。
調查時,已經發出訂單,視為館藏的一部份。
期刊的論文也可以計入。
隨機抽取讀者, 詢問找尋的圖書, 至少被一位讀者尋找; 必須每位讀者祗抽一本圖書, 每本圖書祗被一位讀者選中, 才算是真正的隨機。
祗要擁有即可,不以可得為必要條件。
A/B * 100%
A 樣本中在館藏的數量
B 樣本總數
四捨五入至整數。
計算讀者需求的圖書, 在館藏的比率。若比率偏低, 除了指出館藏不符合讀者的期望外, 也可能表示讀者對館藏的屬性認知錯誤。預期的數值, 視圖書館的性質而定。相關指標:
評估讀者所需圖書的立即可得性或在指定時間內的可得性。
以特定館藏、分館或時段為母體, 互相比較。
調查當時或在指定時間內, 至少有一個複本,可供讀者在館內使用,或可被借出館外,才計入可得率。從閉架書庫取得, 亦計入可得率。
編目、分類或上架中等正在處理的圖書, 或遺失、誤置等情況, 都不計入可得率, 但計入樣本總數。
經由館際互借或讀者推薦到館, 都算是圖書。期刊的論文也可以計入。
依據圖書館的任務及政策, 決定指定時間的長短。
本指標係用來衡量在一段連續的時間之內, 立即、一週、兩週、一個月、三個月不等, 取得需求圖書的比率。
A/B * 100%
A 樣本中可得的數量
B 樣本總數
四捨五入至整數。
有兩個方式取得樣本:
向正在館內查找資料的讀者詢問,祗限明確的圖書資訊,不包括主題書目, 刪除重複。必須每位讀者祗抽一本圖書, 每本圖書祗被一位讀者選中, 才算是真正的隨機。
以實際的記錄為取樣對象,包括: 借書、調閱閉架書庫、預約、館內閱覽、館際借書及讀者推薦等。
有兩個方法建立指定時間內的可得率:
監測指定時間內的樣本動態, 記錄可得的時間
以出納記錄或其他方法, 估算館藏樣本在指定時間的可得性; 向貸方合作館洽詢館際互借可能的到館日。
圖書館活動有明顯淡旺季之分時, 可間隔一段時間後, 持續計算, 取其均值。
限館內閱覽圖書與外借流通混合排架時, 應將限館內閱覽圖書抽出, 分別計算。
影響此指標的因素:
相關指標:
評估在館內的館藏使用量。
一年內在館內使用的館藏, 除以預期的被服務人口數。
選定抽樣時間,請求讀者不要歸架其已用的館藏, 歸架前, 計算資料的數量。
[(A/B)*C]/D
A 抽樣期間取得的館藏
B 抽樣期間的開館日數
C 全年開館日數
D 預期的被服務人口數
被外借的館藏, 不計入A。
可能在歸架前,被下個讀者使用,因此,歸架的頻率影響此指標值; 有些館藏被取下後, 並未被實際使用, 虛增指標值; 冇些館藏被非預期的被服務者使用, 造成指標值的偏差。
期刊的裝訂方式,也會影響此指標。
相關指標:
評估館藏的整體利用率。
本指標亦可用於評估館藏對預期被服務對象的楔合度。
可針對特定館藏、主題、分館或時段, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
借出在館外或在館內閱覽,都視為被利用。
藉由抽樣時段內,圖書資料的使用比例,估算整體館藏的利用率。也可用來評估預定讀者的使用館藏率。
處理中的館藏,如: 編目、分類、裝訂、歸架等, 或遺失、誤置等狀況,均不算被利用,仍記錄在總館藏內。
有兩種計算的方法:
隨機抽樣館藏,對照借書記錄或館內使用記錄,判斷該圖書資料是否屬於利用中。
A/B * 100%
A 利用中的樣本數
B 樣本總數
四捨五入至整數。
(A+B)/C * 100%
A 借出的館藏數
B 館內利用的館藏數
C 館藏總數
四捨五入至整數。
根據此指標, 估算隨機抽取的館藏被利用的機率。
影響此指標的因素:
相關指標:
計算特定期間內未被利用的館藏。
可針對特定館藏、主題、分館或時段, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
借出在館外或在館內閱覽,都視為被利用。
有兩種計算的方法:
隨機抽樣館藏,對照借書記錄或館內利用記錄,判斷該圖書資料是否屬於利用中。
(C-A-B)/C * 100%
A 借出的樣本數
B 館內利用的樣本數
C 樣本總數
四捨五入至整數。
(B-A)/B * 100%
A 借出的圖書資料數
B 可借出的圖書資料總數
四捨五入至整數。
第二個方法未函蓋館內使用, 與真實的未利用率有偏差, 然而, 在某些情況下, 這是不得已的選擇。
影響此指標的因素:
相關指標:
館藏目錄與實體館藏排架的正確性。
可針對特定館藏、主題、分館, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
借出、裝訂、遺失等有記錄可尋的館藏, 剔除在外。
有兩種計算的方法:
抽查排架的館藏,記錄正確排架的館藏;
誤置的圖書資訊應再對照館藏書目記錄。開架區域應在閉館後查驗,並把待歸架的圖書資訊歸架完畢。
A/B * 100%
A 正確排架的圖書資料數
B 樣本總數
有記錄可尋的館藏, 剔除在外。
四捨五入至整數。
遺失的館藏有兩種: 誤置及被竊, 館藏記錄不會標示。
(A-B)/A * 100%
A 調查期間在架上的圖書資料總數
B 誤置的圖書資料數
四捨五入至整數。
遺失的館藏有兩種: 誤置及被竊, 館藏記錄不會標示。
第二種方法較為便捷, 已足敷估計之用。
影響此指標的因素:
相關指標:
評估檢索系統的效率。
適用於有閉架館藏的圖書館。
從供讀者調閱的閉架書庫中,抽取樣本。
記錄讀者遞交調閱單的時間,及可供取用的時間,計算其間隔。
以降冪
排列,取其中間值,樣本數為偶數時,取其中間二數的平均值。
有兩種方式取得樣本:
自未借出館藏抽樣,由評估者或其他人在隨機的時間裡,提出調閱申請
從實際被調閱的記錄裡抽樣
評估圖書館標示及排架的正確性。
從開架區域抽樣,檢視樣本的可得性及架上位置,由熟悉圖書館的讀者查尋若干樣本,先以目錄查檢,再到書架取書。
檢視記錄應包括: 目錄檢索完成的時間、書架上找到圖書的時間。計算兩者的時間差,以分為單位,降冪排列,取其均值,樣本數為偶數時,取其中間二數的平均值。
幾分鐘的時間, 是可以被接受的, 時間太長, 表示讀者難以理解圖書館的標示系統, 或公共目錄區離書架太遠。
相關指標:
評估流通館藏的整體使用情況。
針對特定館藏、主題、分館或新購館藏, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
計算特定時間內,館藏的平均流通次數。
A/B
A 被借出的館藏數
B 可借出的館藏數
四捨五入至小數點第一位。
限館內使用的館藏不應計入。
影響的因素有:
- 館藏內容與讀者期望的楔合度,新書較多者,流通之數較多;
- 撤架的政策
- 複本數量
- 限館內使用館藏的比重
- 借期及借量
- 推廣活動
- 續借手續的方便性
從這個指標可看出:
- 呆滯館藏的比例
- 至少使用一次的館藏比例
相關指標:
評估預期讀者使用資料的比例,也可用來評估館藏品質及圖書館推廣其館藏的能力,包括圖書以外的館藏。
針對特定館藏、主題、分館, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
A/B
A 一年內的出借數量
B 預期讀者數
四捨五入至小數點第一位。
不含館際借閱量。
借期或借量的改變, 將影響此指標; 可根據館藏主題或讀者性質, 詳細分析其意義。可用來彰顯需求偏低的部份或不滿意的部份, 找出還有改進空間的地方。
館內的閱覽氣氛, 在地社區的素養、經濟情況等政經變數, 都可能影響此指標。
相關指標:
針對特定館藏、主題、分館, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
在特定的期限內(通常是一天),計算流通館藏內被借出的數量, 除以預期讀者群。
A/B
A 被借出數量
B 預期讀者數
四捨五入至小數點第一位。
相關指標:
特定時間內經常費與借閱總數的關係。
此指標可用於比較
會計年度內的總經常費除以同時段借閱資料總數。
跨國比較時, 應剔除加值稅、營業稅、服務稅等地區性的稅捐。
必要時, 可以用預算數代替。
A/B
A 經常費支出
B 被借出的館藏數
不含館際借閱。
此指標代表借書量與所有服務的關係, 不能解釋為借閱單位成本。當借閱是圖書館的主要服務項目時, 此指標可用來衡量圖書館服務的效率。
相關指標:
評估館員與流通量的關係。
政策與服務接近的圖書館, 可以互相比較此指標; 應特別釐清流通政策帶來的影響, 借期、續借、館內閱覽館藏等。
全年借閱數除以同時段的館員數。全年工作的館員視為1, 正常休假以外的請假, 照比例扣減計算至小數點第二位; 兼職人員換算為全職人員的工作量, 計算至小數點第二位。
圖書館付薪的職位, 都應計入。
A/B
A 被借出的館藏數
B 全職館員人數
四捨五入至整數。
兼職及工讀生等,應換算成全職館員人數。
不含館際借閱。
此指標代表借書量與所有館員的關係, 不能解釋為每次借閱使用的館員工時。
當借閱是圖書館的主要服務項目時, 此指標可用來衡量借閱的效率; 可用於評估自動化系統生產力帶來的影響, 服務項目改變、服務政策調整及人事政策變動等, 所帶來的影響。
不能單獨看待此指標, 必須在更大的角度, 與其他的服務指標放在一起考量。
相關指標:
特定時間點,流通館藏的使用率。
針對特定館藏、主題、分館, 分別計算; 若分別計算館內的特定館藏, 應比較其顯著差異。
A/B * 100%
A 借出在外的館藏數
B 流通館藏總數
四捨五入至小數點第一位。
流通率高表示讀者沒什麼選擇性,流通率低表示不必要的流通館藏太多。受到採購政策、撤架政策及借期的影響。
相關指標:
評估館際借入的效率。
在指定的處理天數內,如:7天、14天。21天、30天或60天內,完成館際互借案件的比例。有兩個方法:
在抽樣的時間內,查閱本館館藏無法滿足的借閱記錄,應有下列的資料:
以接到外來圖書資訊的時間減去收到讀者借閱單的時間,就是實際處理的天數。
計算公式為:
A/B * 100%
A 調查期間內,於抽樣時間內處理完畢的案件數
B 抽樣時間內, 提出申請的案件數
四捨五入至整數。
接到館外圖書資訊的時間或告知讀者圖書資訊到館的時間, 可擇一為終止時間。
讀者提出申請,透過館際借入的圖書資訊,應記錄下列的資料:
以接到外來圖書資訊的時間減去收到讀者借閱單的時間,就是實際處理的天數。處理天數可設定7天,14天,21天,30天或60天。
計算公式為:
A/B * 100%
A 調查期間內,於指定天數內處理完畢的案件數
B 調查期間內, 提出申請的案件數
這個數字反應若干現象:
收到讀者借閱單至發出訂購圖書資訊的天數,顯示館際互借部門的人力、訓練、書目資源等是否充裕?
發出訂購單至收到圖書資訊的天數,顯示圖書館分配訂購單的能力,網路訂購、電子郵件訂購或傳統郵件訂購?選擇貸出圖書館的考量, 影 響處理速度, 如:向不收費的圖書館借入圖書資訊。
收到圖書資訊至通知讀者的天數,圖書館如何通知讀者,傳統郵件、電子郵件或電話?
借閱單的性質,研究型圖書館向國外借入的比例較高,處理天數較多; 本國最近出版的學刊論文較易取得
相關指標:
評估圖書館員提供參考服務的能力, 以正確回答參考問題為指標。
這個指標有點複雜且相當專業,適合大型的公共及學術圖書館使用。多半採用無干擾測試法,設計有代表性的題目及答案,在館員不自覺
的情況下,以
代理讀者發問。
應注意下列事項,才能得到有效的指標值:
- 問題要仔細設計
- 代理讀者需能代表實際的讀者群
- 代理讀者應受相當訓練,確保完成其工作
答案的正確性很難評估, 進而影響指標的可靠性及實用性。
A/B * 100%
A 回答正確的參考問題數
B 所有提出的參考問題數
四捨五入至整數。
此指標祗能反應參考服務的效果,它受到很多因素影響,如:提出的問題、館員的溝通技巧, 參考工具書與資料庫的數量、種類及近用性等。
參考館員的績效, 除了正確回答問題外, 還包括指導使用者運用參考資源, 回答問題的速度等; 問題的難度也影響績效, 有些問題存在多種答案, 或讀者可從多個角度選擇偏好的答案。經由圖書館目錄,以書名找到館藏的比率。
將編目規則及目錄型制列入考慮, 此指標可做跨館比較。
請求以書名檢索的讀者配合, 詢問相關資訊:
A/B * 100%
A 讀者以書名在目錄找到的館藏數
B 讀者檢索的書目總數,祗限實際在目錄內的部份
四捨五入至整數。
讀者本身的能力影響此指標, 使用者對目錄標示認知錯誤、公用目錄的使用者介面或檢索系統等, 都可能影響成功率。
藉由此指標, 圖書館可以做管理決策:
相關指標:
B.2.7.2
主題檢索成功率(Subject
Catalogue Search Success Rate)
經由圖書館目錄,以主題找到館藏的比率。
將編目規則及目錄型制列入考慮, 此指標可做跨館比較。
關鍵詞及主題檢索, 可視為主題目錄。
請求以主題檢索的讀者配合, 詢問相關資訊:
詢問之後, 應對讀者訪談, 進一步瞭解讀者取用的主題; 館員覆核讀者的主題檢索,確認相關的主題標目都被檢索過, 排除更廣或更狹的主題標目, 祗覆核相關的主題標目。
A/B * 100%
A 讀者在目錄依主題找到的館藏數
B 讀者檢索的書目總數,祗限實際在目錄內的部份
四捨五入至整數。
讀者本身的能力影響此指標, 使用者對目錄標示認知錯誤、公用目錄的使用者介面或檢索系統等, 都可能影響成功率。主題編目的規則未能符合讀者的搜尋模式。
藉由此指標, 圖書館可以做管理決策:
若已記錄讀者類型, 可針對指定類型讀者給予特定的輔導; 圖書館業務的淡旺季、新讀者停留在圖書館的時間、館員的溝通及搜尋技巧, 都可能影響此指標。
相關指標:
評估圖書館提供的設備, 在特定時間內, 可以被讀者使用的比例。
可選擇一天、一週、一年的特定時間計算此指標, 淡季旺季應敘明。
不計入保留給館員使用的設備。
損壞、關閉、上鎖等情況, 都不被計入可用數, 但計入提供數。
有兩個計算方法:
1) 指定時間內, 計算可用的設備數
A/B * 100%
A 可用的設備數
B 提供的設備數
四捨五入至整數。
被讀者佔用, 即使沒有真正使用, 亦計為不可用。
由於此指標的內在可變性, 間隔一段時間, 再測量, 取其平均值; 加總各次的可用設備值, 除以各次設備的總和, 乘以100。
2) 祗有一件設備可使用時,以特定時段內, 按既定的間隔, 查看可用的次數
A/B * 100%
A 可用的次數
B 觀察的次數
四捨五入至整數。
相關指標:
保留給館員使用的設備, 不列入統計。
損壞、關閉、上鎖等情況, 都不被計入可用數, 但計入提供數。
有兩種計算方法:
1)
A/B * 100%
A 使用中的設備數
B 提供的設備數
四捨五入至整數。
調查期間, 被讀者佔用的設備, 即使沒有被使用, 仍計算一個使用中的設備。
由於此指標的內在可變性, 間隔一段時間, 再測量, 取其平均值; 加總各次的可用設備值, 除以各次設備的總和, 乘以100。
2) 祗有一件設備可使用時,以特定時段內可以使用的次數為依據
A/B * 100%
A 已使用的次數
B 觀察的次數
四捨五入至整數。
相關指標:
圖書館提供給讀者閱讀及研究的座位, 評估其在指定時間點的使用率。
保留給館員使用的座位, 不列入統計。座位的狀況甚多, 可分開計算:
在演講廳、表演廳等地的座位, 不是為圖書館目的而設, 不列入統計。
- 有桌子或工作空間搭配, 但沒有其他設備的座位;
- 有桌子或工作空間搭配, 且有電腦、視聽設備等的座位;
- 非正式休閒用的座位;
- 會議室、討論室的座位。
A/B * 100%
A 已使用的座位數
B 提供的座位數
四捨五入至整數。
擺放外套、提袋、筆記本等的座位, 即使讀者離席, 仍計算為已使用。
由於此指標的內在可變性, 間隔一段時間, 再測量, 取其平均值; 加總各次的已用數, 除以各次座位的總和, 乘以100。
相關指標:
評估圖書館的自動化系統被讀者使用的程度。
採用相同系統績效範疇下, 才能進行跨館比較。
維持特定標準時, 系統可供讀者使用的時間, 與預期提供讀者使用時間的比較。
應先訂立可接受的績效, 再使用此指標, 包括評估方法及臨界值, 應以圖書館及館員的需求為準。
有兩種計算方法:
1) 祗計算主機/伺服器的可用率
計算固定時間內的資料, 先決定預期開放使用的時數, 不包括事先規劃的停機時間。以記錄檔(log file)的資料為準, 記錄當機及低於特定服務水準的時間, 不包括事先規劃的停機時間。以
(A-B)/A * 100%
A 預期開放使用的時數
B 無預警當機的時數,或低於特定服務水準的時數
四捨五入至整數。
2) 包括所有不能運作的使用端設備, 含客戶端電腦、印表機等
計算固定時間內的資料, 先決定預期開放使用的時數, 不包括事先規劃的停機時間。包括伺服器等中央系統當機及低於特定服務水準的時間, 伺服器等中央系統正常運作時, 使用者端設備不能運作的數量及時間。
實務上, 以報修至修復的時間為不能運作的時間。
{A-[B+(C/D)]}/A * 100%
A 預期開放使用的總時數
B 無預警當機的總時數,或低於特定服務水準的總時數
C 各使用者端無法運作的時間(所有時數加總)
D 客戶端設備的總數
四捨五入至整數。
方法2)較為精確, 不過基於很多考量, 1)已經足敷使用。
忽略或延誤報告使用者端設備不能運作, 將使2)的數值偏高。
相關指標:
評估供應商的效率。
記錄採購圖書資料訂購時間及到館時間,計算其間隔天數,依降冪排列,取其中間值,若為偶
數,則取中間兩個值的平均。可用於比較供應商的服務成效。不包括交換贈送的資料, 也不含預約訂購的資料。
採用自動化系統的圖書館, 可從從採錄模組取得每筆資料的訂購時間、到館時間及供應商。計算到館與訂購時間的天數, 依降冪排列, 取其中數; 未到館的資料, 不列入統計。
以人工作業的圖書館, 則從各學科各供應商隨機抽樣; 取得數據後, 依降冪排列, 取其中數; 未到館的資料, 不列入統計。
取其中間值,若為偶數,則取中間兩個值的平均, 四捨五入至整數。
此指標可用於分析供應商及學科資料的狀況。
此指標可指出供應商的績效及圖書館採購程序的瑕疵。
依此指標的結果, 可供管理決策的參考:
出版社處理來自供應商的訂單, 需要時間, 樣本足夠的情況下, 可以進一步評估出版社的績效。
預購及過期的採購案, 都可能提高此指標的數值。
相關指標:
B.3.2.1 處理中數時間(Median Time of Document Processing)
評估各種資料的處理程序。
跨館比較時, 應特別注意各館的敘述編目、主題編目、裝訂政策等程序的差異; 解讀結果時, 應特別注意電腦化及複本編目的應用程度。
記錄館藏到館的時間, 以及可供讀者使用的時間(通常是上架的時間)。
有兩種方法指定評估的時間, 到館或上架。
以電腦或人工方式, 記錄該期限內到館館藏的相關資訊, 或該期限內上架館藏的相關時間:
計算每個館藏到館簽收後,至可被讀者取用的時間差,依降羃排列,取其中間值,若為偶數,則取中間兩個值的平均。
採用期限內到館館藏方式時, 在指定的評估時間內, 無法進行至上架程序的館藏, 則略去不計。
(A+B)/2
四捨五入至整數。
急件、善本書、交換贈送等需特殊處理的館藏, 應分別記錄。
該指標可指出:
相關指標:
B.3.1.1 採購進館中位時間(Median Time of Document Acquisition)
評估製作書目記錄的政策。
難以跨館比較, 自動化範圍及複本編目的程度有相當的差異。
編目及置入書目資料庫的成本除以編目的數量。
祗以敘述編目為主,包括對外抓取的權威記錄、主題分析、索引及分類。
指定評估的時間, 祗蒐集指定時間內的資訊。
[(A*B)+C]/D
A 工作時數
B 每小時的人事成本(評估時間內的薪資及工作費等加總, 除以正常的工作時間)
C 取得書目記錄及相關資料的其他費用
D 評估時間內的編目數量
建築及行政等費用, 均略去不計。
編目層次影響編目的成本, 影響目錄的品質使用:
結果用於與過去的成本比較, 或與同時的其他圖書館編目成本比較; 成本的高低必須納入圖書館的其他變數一起考量:
評估館員可服務之讀者數, 祗限直接服務讀者之館員。
這個指標不適用於以遠距讀者為主的圖書館。
採用同樣的衡量方法時, 可以跨館比較任務及讀者相仿的圖書館。
讀者服務的範圍包括: 借還書、參考服務、館際互借、使用者教育、複印、排架、檢索。
有兩種計算方法:
1) 選定取樣時間(如: 一或二週),不是淡季也不是旺季,記錄每個館員實際投入讀者服務的時間,估計在取樣時間內,被服務的讀者的人數。
A/(B*C*D)
A 館員服務讀者的總時數
B 取樣的週數
C 每週的工作時數
D 被服務的讀者人數
2) 在會計年度內,投入讀者服務的全職館員人數。
A/B
A 直接投入讀者服務的全職館員數
B 被服務的人口數
此指標必須與其他相關的品質指標, 如: B.2.6.1 回答正確率 (Correct Answer Fill Rate)等, 合併考量。
此指標受到若干因素影響:
應該考慮服務讀者之館員比率。
相關指標:
查看圖書館投入公共服務及幕後服務的人力情況。
以同樣的方法衡量職位, 就可以針對類似任務及讀者群的圖書館做跨館比較。
此指標計算出, 直接服務讀者的全職館員人數, 佔所有全職館員人數的百分比。
讀者服務的範圍包括: 借還書、參考服務、館際互借、使用者教育、複印、排架、檢索。
於固定時間內, 查看指定於讀者服務的全職職位人數。
有多重職位的館員, 應將其工作時間換算為全職人員。
依照人事單位的記錄, 計算全職館員的人數, 全年在勤的全職館員計為1, 部份時間在勤的全職館員, 依在勤比例, 計算至小數點第二位; 兼職館員、委外人力、時薪人員等, 均換算為全職館員。
A/B * 100%
A 直接投入讀者服務的全職館員數
B 全職館員總數
四捨五入至整數。
應與其他的質量指標合併考量。
此指標受到若干因素影響:
相關指標:
英格蘭近代的公共圖書館服務, 起源於 1997年的 People's Network [人民的網路] / 英國文化媒體及體育部, 1997/10/15, 第一階段於2002年完成, 隨即進入 Framework for the Future: Libraries, Learning and Information in the Next Decade [未來的架構: 未來十年的圖書館、學習及資訊], 2003年2月, 60 頁, http://www.culture.gov.uk/global/publications/archive_2003/framework_future.htm
國際標準組織(ISO)於一九九八年公布ISO
11620資訊與文獻—圖書館績效指標標準,供各類型圖書館進行績效評估參考使用。2003修訂新增後,
目前已完成的指標分成三類,計二十九項指標,分述如下:
B.1 讀者知覺(User Perception)
B.1.1.1 讀者滿意度(User Satisfaction)B.2 公共服務(Public Services)
B.2.1.1 圖書館使用率(Percentage of Target Population Reached)B.3 技術服務類(Technical Services)
B.3.1.1 圖書資料採購進館之平均時間(Median Time of Document Acquisition)B.4 推廣服務(Promotion of
Services) - 指標待訂
B.5 讀者服務(User Services)
B.5.1.1 (User Services Staff per Capita)讀者對圖書館整體或個別服務的滿意度。
以五等第給分, 1分最差, 5分最好。
抽樣或訪問均可, 實際分數為:
A/B
A 為評分之總合
B 為回答問卷之人數
圖書館服務深入預定讀者群(target population)的程度。
一年之內用過圖書館, 才算是讀者。
A/B * 100%A 回答使用圖書館的人數
B 問卷總人數
以自動化借還書系統, 找出屬於預定讀者群的借書人數
A/B * 100%A 屬於預定讀者群的借書人數
B 預定讀者群總人數
評估圖書館服務的成本與讀者人數的關係。
一年之內用過圖書館, 才算是讀者。
從預定讀者群裡抽樣, 詢問是否用過圖書館:
A/[(B/C)*D]A 圖書館服務的總支出
B 問卷回答使用圖書館的人數
C 問卷回答總數
D 預定讀者群人數
以自動化借還書系統, 找出屬於預定讀者群的借書人數
A/B * 100%A 圖書館服務的總支出
B 屬於預定讀者群的借書人數
評估圖書館服務吸引讀者的能力。
以旋轉門或紅外線計算進館人數:
A/BA 整年進館人數
B 預定讀者群裡被服務的人數
以特定時間, 通常以一週為單位, 計算進館人數, 再據以擴大推算全年進館總人數
A/BA 整年進館人數
B 預定讀者群裡被服務的人數
評估圖書館服務吸引讀者的能力。
以旋轉門或紅外線計算進館人數:
A/BA 圖書館服務的總支出
B 整年進館人數
以特定時間, 通常以一週為單位, 計算進館人數, 再據以擴大推算全年進館總人數
A/BA 圖書館服務的總支出
B 整年進館人數
圖書館館藏中, 確實供讀者使用的可得性。
處理中的館藏, 如: 編目、分類、裝訂、歸架、遺失等狀況, 均屬不可得, 仍記錄在總館藏內。
從館藏記錄裡抽樣, 檢測其可得性; 深入研究者, 可檢測館外館藏的可得性。
A/B * 100%A 樣本中可得之館藏數
B 樣本總數
以圖書館自動化借還書系統內的記錄為準, 查驗每筆記錄的可得性, 祗查驗記錄, 不查驗實體館藏。
A/B * 100%A 可得之館藏數
B 館藏總數
館藏被讀者要求的部份, 計算其實際的可得性。
處理中的館藏, 如: 編目、分類、裝訂、歸架、遺失等狀況, 均屬不可得, 仍記錄在總館藏內。
以至少被一個讀者要求的館藏為母體, 抽樣調查, 記錄其可得性; 可以祗查驗圖書館記錄, 也可深入查驗實際的館藏。
A/B * 100%
A 樣本中可得的數量
B 樣本總數
有兩種取樣的方法:
向抽樣的讀者詢問其書目需要, 剔除館藏以外的部份, 祗保留確實的書目, 不含主題書目, 重複者以一本計。
由實際的借還書記錄、館際互借及館內閱覽中取樣, 刪除重複。
評估讀者所需的圖書資訊, 佔館藏的比例。
隨機抽樣至少一位讀者的圖書資訊需求, 詢問其實際的需求。
A/B * 100%
A 樣本中在館藏的數量
B 樣本總數
評估讀者所需的圖書資料的立即可得性或在特定時間內的可得性。
A/B * 100%
A 樣本中可得的數量
B 樣本總數
有兩個方式取得樣本:
正在館內查找資料的讀者詢問, 祗限特定的圖書資訊, 刪除重複。
以實際的出納記錄為取樣對象, 包括: 借書、館內閱覽、館際借書及讀者推薦購書等。
評估在館內的圖書資料使用量。
固定的時間內, 請求讀者不要歸架其已用的圖書資料。
[(A/B)*C]/D
A 抽樣期間取得的圖書資料數量
B 抽樣期間的開館日數
C 全年開館日數
D 預定讀者人數
藉由抽樣時段內, 圖書資料的使用比例, 估算整體館藏的利用率。也可用來評估預定讀者的使用館藏率。
借出在館外或在館內被利用, 都視為被利用。
處理中的館藏, 如: 編目、分類、裝訂、歸架、遺失等狀況, 均不算被利用, 仍記錄在總館藏內。
有兩種計算的方法:
隨機抽樣館藏, 對照借書記錄或館內使用記錄, 判斷該圖書資料是否屬於利用中。
A/B * 100%
A 利用中的樣本數
B 樣本總數
(A+B)/C * 100%
A 借出的圖書資料數
B 館內利用的圖書資料數
C 館藏總數
計算特定期間內未被利用的館藏。
有兩種計算的方法:
隨機抽樣館藏, 對照借書記錄或館內利用記錄, 判斷該圖書資料是否屬於利用中。
(C-A-B)/C * 100%
A 借出的樣本數
B 館內利用的樣本數
C 樣本總數
(B-A)/B * 100%
A 借出的圖書資料數
B 可借出的圖書資料總數
館藏目錄及排架的相關正確性
有兩種計算的方法:
抽查館藏, 記錄正確排架的圖書資訊; 誤置的圖書資訊應再對照館藏書目記錄。開架區域應在閉館後查驗, 並把待歸架的圖書資訊歸架完畢。
A/B * 100%
A 正確排架的圖書資料數
B 樣本總數
(A-B)/A * 100%
A 調查共間在架上的圖書資料總數
B 誤置的圖書資料數
評估檢索系統的效率。
從供讀者調閱的閉架書庫中, 抽取樣本。
記錄讀者遞交調閱單的時間, 及可供取用的時間, 計算其間隔。以降冪排列, 取其中數, 樣本數為偶數時, 取其中間二數的平均值。
有兩種方式取得樣本:
沒被借出的館藏中抽樣, 由評估者或其他人在隨機的時間裡, 提出調閱申請
從實際被調閱的記錄裡抽樣
評估圖書館指標及排架的正確性。
從開架區域抽樣, 檢視樣本的可得性及架上位置, 由熟悉圖書館的讀者查尋若干樣本, 先以目錄查檢, 再到書架取書。
檢視記錄應包括: 目錄檢索完成的時間、書架上找到圖書的時間。計算兩者的時間差, 以分為單位, 降冪排列, 取其中數, 樣本數為偶數時, 取其中間二數的平均值。
評估流通館藏的整體使用情況。計算特定時間內, 館藏的平均流通次數。
A/B
A 被借出的圖書資訊數
B 可借出的圖書資訊總數
評估預訂讀者使用資料的比例, 也可用來評估館藏品質及圖書館推廣其館藏的能力, 包括圖書以外的館藏。
A/B
A 一年內的出借數量
B 預訂讀者總數
以特定的一天為準, 查核留在館內可供借出的圖書資料量為分子, 預訂讀者群為分母。
A/B
A 可出借數量
B 預訂讀者總數
A/B
A 會計年度的總支出
B 同一時間借書總數
A/B
A 全年借書數
B 同年全職人數
兼職及工讀生等, 應換算成全職人數。
計算特定時間內, 流通館藏的使用率。
A/B * 100%
A 借出在外的館藏數
B 流通館藏總數
有兩個方法:
館際借閱記錄應有下列的資料:
館際貸出記錄應有下列的資料:
A/B * 100%
A 被正確回答的參考問題數
B 所有提出來的參考問題數
A/B * 100%
A 讀者在目錄依書刊名找到的書刊數
B 讀者檢索的書刊總數, 祗限實際在目錄內的部份
A/B * 100%
A 讀者在目錄依主題找到的書刊數
B 讀者檢索的書刊總數, 祗限實際在目錄內的部份
有兩個計算方法:
1)
A/B * 100%
A 可用的設備數
B 提供的設備數
2) 祗有一件設備可使用時, 以特定時段內可以使用的次數為依據
A/B * 100%
A 已使用的次數
B 可使用的次數
有兩種計算方法:
1)
A/B * 100%
A 使用中的設備數
B 提供的設備數
2) 祗有一件設備可使用時, 以特定時段內可以使用的次數為依據
A/B * 100%
A 已使用的次數
B 可使用的次數
A/B * 100%
A 已使用的座位數
B 提供的座位數
有兩種計算方法:
1)
(A-B)/A * 100%
A 預期開放使用的時數
B 無預期當機的時數, 或低於特定服務水準的時數
2)
{A-[B+(C/D)]}/A * 100%
A 預期開放使用的時數
B 無預期當機的時數, 或低於特定服務水準的時數
C 各使用者端無法運作的時間(所有時數加總)
D 使用者端的總數
記錄採購圖書資料訂購時間及收到時間, 分別計算其天數, 依降羃排列, 最其中間值,
若為偶數, 則取中間兩個值的平均。
(A+B)/2
記錄圖書到館之後的相關時間:
(A+B)/2
編製目錄的內容, 包括: 權威目錄、主題分析、索引及分類。
[(A*B)+C]/D
A 工作時數
B 每小時的人事成本
C 其他費用
D 取樣時間內的編目數量
這個指標不適用於以外地讀者為主的圖書館。
讀者服務的範圍包括: 借還書、參考服務、館際互借、使用者教育、複印、排架。
有兩種計算方法:
1) 以一或二週為取樣時間, 不是淡季也不是旺季, 記錄每個館員實際投入讀者服務的時間, 估計在取樣時間內, 被服務的讀者的人數。
A/(B*C*D)
A 讀者服務的總時數
B 取樣的週數
C 每週的工作時數
D 被服務的讀者人數
2) 在會計年度內, 投入讀者服務的全職館員人數。
A/B
A 直接投入讀者服務的全職館員數
B 被服務的人口數
讀者服務的範圍包括: 借還書、參考服務、館際互借、使用者教育、複印、排架。
A/B * 100%
A 直接投入讀者服務的全職館員數
B 全職館員總數
標桿分析與ISO 11620 於圖書館績效評估之運用 / 洪世昌
圖書館績效評估研究初探 / 餘勝, http://www.szln.gov.cn/UserFiles/magazine/1152520375089.doc
圖書館資訊交換標準 / 衡中青 - 中國指標, 2004 - 維普資訊
公共圖書館績效評估之研究 / 王珮玲, 國家圖書館館刊 九十年第二期(2001.12)
基於圖書館基礎架構的電子資源利用統計結構 / 徐革 - 現代圖書情報技術, 2006 - 維普資訊
數字圖書館的評價模式——網站首頁資訊的比較 / 李世玲 - 圖書情報通訊, 2005 - 維普資訊
論高校圖書館的績效評估 / 謝先進 - 圖書館, 2005 - 維普資訊
論電子資源服務績效評估的含義與影響因素分析 / 索傳軍, http://www.paper.edu.cn/en/downloadpaper.php?serial_number=200508-190&type=1
天津高校數字化圖書館聯盟投資效益分析的幾個問題 / 史永強, 齊玉強 - 圖書情報工作, 2005 - 維普資訊
績效評估——圖書館科學管理的探索 / 薑曉 - 圖書館雜誌, 2003 - 維普資訊
ISO/TC46 標準化工作的現狀 / 唐健雄, 李世玲 - 情報雜誌, 2004 - 維普資訊
圖書館績效評價研究初探 / 肖蔚 - 圖書館研究與工作, 2005 - 維普資訊
高職高專人才培養中圖書館評估指標探析 / 錢大衛 - 安順師範高等專科學校學報, 2006 - 維普資訊
國外數字圖書館績效評估研究述評 / 劉文梅 - 津圖學刊, 2003 - 維普資訊
目標與方向明確優勢與不足共存--評四川省高校圖書館自動化網路化建設評估指標標準 / 瞿曉靜, 楊長平 - 四川圖書館學報, 2004 - 維普資訊
國際大都市圖書館數字圖書館建設評估研究 = Metropolitan Digital Library Services Evaluation: Measures / W Liu - 2007 - http://eprints.rclis.org/archive/00010459/
電子資源服務績效評估的含義及影響因素分析 / 索傳軍 - 圖書情報知識, 2005 - 維普資訊
CALIS 評估指標體系構架初探 / 楊梁彬, 姚曉霞, 馮英, 陳凌 - 大學圖書館學報, 2006 – 維普資訊
Standardized measures in the changing information environment / R Poll - Performance Measurement and Metrics, 2006 - emeraldinsight.com
Are we effective? How would we know? / D Bawden, R Petuchovaite, P Vilar - New Library World, 2005 - emeraldinsight.com
Evaluation of library performance: current developments in Estonia / A Nuut - Performance Measurement and Metrics, 2006 - emeraldinsight.com
Benchmarking with quality indicators: national projects / R Poll - Performance Measurement and Metrics, 2007 - emeraldinsight.com
Building a culture of quality assurance in the libraries of the University of Ljubljana / N Turk - New Library World, 2007 - emeraldinsight.com
Together We Shape Better Libraries: the Swedish Quality Handbook Project / CJN Adrial, J Edgren, J Nilsson, S Mansby - IFLA Journal, Vol. 31, No. 2, 188-193 (2005)
Quality measures for libraries and information services / LB Melo, MI Sampaio - 2006 http://eprints.rclis.org/archive/00007073/
The evaluation of electronic resources as a strategic factor in the decision making process: tools, / F Toni - 2005 - http://eprints.rclis.org/archive/00004163/
Successful Web Survey Methodologies for Measuring the Impact of Networked Electronic Services (MINES / B Franklin, T Plum - IFLA Journal, Vol. 32, No. 1, 28-40 (2006)
The impact of leadership on Library quality: Outcomes of a benchmarking project between ATN …/ L Levinge, K Tang - 2006 - http://eprints.qut.edu.au/archive/00005370/
Academic computing at Malaysian colleges / SA Mokhtar, RA Alias, AA Rahman - International Journal of Education and Development using ICT, 2007 - http://ijedict.dec.uwi.edu/printarticle.php?id=312&layout=html
Exploitation of information resources within knowledge society: digital library / A Repanovici - 2006 - https://bora.uib.no/handle/1956/1834?language=en